Вова, это невозможно, или что можно сказать по вашим лайкам

Это рассказ о том, как мы провели большое исследование на малых данных, построили интересный сервис массового рекрутмента творческих специалистов и научились главному — польза важнее всего. И статистика. С машинным обучением.

***

Однажды я работал дизайн-менеджером в Альфа-Банке, и мне пришла задача — нанять 30 (тридцать) дизайнеров до конца года. Дело было в апреле 2017 года. Володя, мой менеджер, помогал придумать как оптимизировать процесс (не только потому что он хороший менеджер, но и потому что ему тоже очень было надо). Одной из массы проблем была оценка входящих резюме: очень много, и много искренне плохих. Традиционно такие входящие в корпорациях сначала смотрят рекрутеры, которые параллельно смотрят всех разработчиков и прочую айтишную братию. Ну и пропускали часто совсем слабых ребят, а сильных могли браковать по причине недопонимания или предубеждений. Вова говорит: научи их отсматривать как ты сам делаешь! — А я такой, на пафосе и дизайнерских понтах отвечаю: ну пусть они сначала пятнадцать лет поработают как я! Как я вложу им в головы то, что сам пытался понять годами? Вова, это — невозможно.

Мы тогда наняли всех до кого могли дотянуться. Но я захотел сделать задачу решаемой без надрыва, в штатном режиме, и три года думал как это сделать. И, кажется сделал, о чем спешу рассказать. Кажется, возможно, но иначе.

В мае 2018 года я покинул должность дизайн-директора банка, сел в самолёт и отправился в Нью-Йорк.

Тема найма дизайнеров продолжала преследовать меня и там, поэтому продолжал исследовать её в свободное время.

Теперь, не будучи связанным с банком, я оказался в уникальной ситуации, когда смог свободно сотрудничать с остальными дизайн-менеджерами индустрии без нарушения корпоративных и этических норм. Я старомодный и мне это важно.

Результатом такого сотрудничества сначала стало масштабное исследование верха воронки найма, а затем формирование нового сервиса для дизайнеров, в котором сообщество помогает соискателям получить обратную связь от коллег и экспертов, а лучшим — найти работу.

В исследовании приняли участие нанимающие дизайн-менеджеры крупнейших продуктовых компаний, российских и иностранных: Альфа-Банк, Мэйл.Ру Групп, Револют, Яндекс, Сбербанк, Криэйтив Пипл, Акронис, Миро, Интерком. Всего на стороне экспертов было 16 человек. Условия было два — эксперт должен принимать решение о найме специалиста и было важно чтобы оба пола были представлены одинаково.

Суть простая: все желающие получить оценку своего отклика (или найти работу) могли написать в сервис рассказ о себе и ссылки на всё что считали нужным. Приглашенные дизайн-менеджеры решают — пропустить на следующий этап или нет. Грубо говоря у них есть три кнопки — да, нет, спам.

Целью исследования было заявлено изучить влияние сопроводительного письма на шансы кандидата оказаться на собеседовании.

Результаты исследования и исходные данные (обезличенные) я выложил на гитхабе, а здесь расскажу историю проекта.

И ещё про то как у нас получился продукт для поиска работы.

Отличием от других исследований в данном случае было то, что экспертам было нужно принять решение по настоящим откликам: пропустить кандидата на этап собеседования или отказать ещё на этапе рассмотрения сопроводительного письма и портфолио.

То есть не поделиться мнением, а принять судьбоносное решение по кандидатам.

На основе этих решений был сделан анализ 243 откликов настоящих дизайнеров, которые воспользовались возможностью написать письмо сразу 16 известным дизайн-менеджерам страны.

Лично для меня ценность в том, что это реальные действия вместо мнений.

Те кто давно делает исследования продукта знают, что люди врут — либо потому что стесняются, либо потому что хотят понравиться, либо потому что у них своя повестка. Последнее особенно актуально в вопросах найма!

Например, кандидатам говорят — мы всем отвечаем. А по факту отвечают избранным. Потому что всем отвечать это тяжело. Или говорят что нужен многолетний опыт, а берут либо подешевле, либо вчерашних студентов (которые могут быть невероятно талантливыми и влияние стажа отсутствует). Пишут в рекомендациях что нужен профиль на Бихансе, а на деле эти профили потом не смотрят. Или говорят что внимательно всё читают — но 50 секунд это объективный показатель, а понятие «внимательно» и «всё» у каждого своё.

Одной из проблем кандидатов является отсутствие обратной связи.

Отправляют отклики в никуда.

Работодатели не всегда в состоянии детально прорабатывать каждого кандидата — особенно крупные компании, с сильным брендом и потому с большим потоком входящих откликов.

Кроме потока входящих, есть законодательные и моральные нормы, с которыми неприятно сталкиваться, и проще промолчать, чтобы не провоцировать неадекватных соискателей. То есть нельзя отказать по куче признаков. И есть кандидаты-экстремисты, которые ходят по судам и цепляются к словам, пишут в соцсетях гадости и так далее. Часто на пустом месте, потому что почему бы не поплавить мозги банкирам например.

В то же время, отсутствие обратной связи мешает развиваться хорошим специалистам с потенциалом — они не знают, что плохого в их работе или подходе, и было ли что-то плохое в принципе — и это тормозит их развитие. Потому что неопределенность обидна.

Отделить одних от других сложно и потому компаниям проще никак не реагировать и явно об этом предупредить на сайте: мол, мы отвечаем только тем кто нам интересен. Но это не решает ни одной проблемы.

В исследовании мы пообещали людям что вернем обратную связь в виде оценки шанса их отклика стать приглашением на собеседование. Это цифра и перечень характеристик, но уже больше чем ничего.

По совокупности всех этих условий обезличенная оценка шансов оказаться на собеседовании даёт соискателю мощный сигнал: например, у тебя почти гарантированный отказ, или пятеро из семи готовы рассмотреть дальше — тогда шансы большие. При этом ты не знаешь, кто именно готов тебя рассмотреть, но понимаешь какие шансы на собеседование имеет твой рассказ.

Чуть ниже расскажу про методологию.

Мы провели исследование, эксперты отсмотрели больше двухсот откликов и оценили их, и мы начали обрабатывать статистику.

Дизайн эксперимента изначально строился так, чтобы обойтись минимумом правил и полей, но получить максимум данных для обработки.

Кроме оценки шанса попасть на собеседование соискатели получили и статистику по группам откликов и характеристики лучших откликов (что общего было в откликах, которые все эксперты решили пропустить на следующий этап).

Оценка не указывает на проблемы в отклике или опыте, но даёт понимание шансов.

При этом можно сравнить свой рассказ с тем на что обращают внимание нанимающие дизайнеров менеджеры и сделать свои выводы, перестроить презентацию или карьерный путь.

Так мы решили проблему отсутствия обратной связи и это уже первый шаг к пользе.

Но есть и вторая сторона проблемы — как это всё разгрести на стороне работодателя.

Принять решение про двум сотням кандидатов — огромный труд.

При том что куча стартапов стремится научить алгоритмы отличать хорошие отклики от плохих, и на огромном количестве данных, хороших автоматизированных решений пока что нет. Я разговаривал об этом в акселераторах. В том числе с ребятами которые построили Indeed, и мягко говоря, такое решение называют "Holy Grail" рекрутмента (и все его ищут).

Рано или поздно процесс замыкается на ручной отбор.

И, как показало наблюдение — найти время на такой труд экспертам (дизайн-менеджерам) крайне трудно. В результатах исследования я специально выложил графики по тому как эксперты голосовали во времени, по дням. Виден всплеск интереса в начале и ускорение в последние дни, когда уже все дедлайны были успешно преодолены.

По своей практике помню, что просмотреть пачку откликов довольно тяжело, особенно когда у тебя есть основная работа, которую никто не отменял. И здесь наблюдение показало что проблема времени есть у всех.После просмотра 20-30 откликов они все начинают выглядеть однотипными и такой труд вызывает дополнительную эмоциональную нагрузку.

В ходе исследования мы смогли посмотреть сколько времени уходит на принятие решения «да/нет»: в среднем не больше 50 секунд на кандидата.

Получается, чтобы просто посмотреть — не ответить, а для начала отфильтровать 240 откликов — нужно потратить больше четырёх часов. И это речь идёт о ребятах натренированных, тех что каждый день с дизайнерами общаются или ими являются и знают, на что именно обращать внимание.

Есть возможность ошибки, если кандидата оценит один эксперт. Поэтому в исследовании участвовали 16 экспертов, чтобы подстраховать оценки.

Конечно, эксперты не видели оценок коллег и не могли их обсудить. Каждая оценка была изолирована от остальных.

Чтобы снизить нагрузку, из пула откликов убирали тех кто получил семь голосов. Алгоритм гарантированно показывал отклик двум экспертам-женщинам, двум экспертам-мужчинам и три раза без учета пола, наугад. Так мы обеспечили учёт всех факторов и дали возможность шансу проявить себя.

В итоге экспертам не нужно было оценивать каждого кандидата, что радикально уменьшило трудозатраты, но дало максимальный охват. При этом все без исключения кандидаты получили оценки шансов. Поэтому мы справились с этапом оценки в какой-то приемлемый срок.

На основе только семи оценок и интервалов между голосами можно сделать очень много выводов, например:

- Сколько времени тратят на оценку отклика

- Какой шанс у отклика сконвертироваться в собеседование

- Как отклики группируются

- Общие характеристики хороших и плохих откликов

- Какие эксперты попадают в тренд, какие сильно отличаются в оценках от остальных. Здесь было немного сложнее, потому что у ребят разные требования к соискателям, но особенно мощные отклонения оказались слишком заметными.

Мы увидели возможность дать соискателям функцию рейтинговать друг друга ещё пока делали дизайн исследования. Было опасение, что рейтинг будет нерелевантный: захотят просто так поставить голоса, бездумно. И было важно сначала получить ориентир, решения нанимающих людей. Поэтому на первом этапе мы получили оценки экспертов.

Через три месяца анализа и подготовки мы просто включили рейтингование на участников, которые раньше не видели откликов друг друга (поделились своими откликами только те, кто явно выразил такое намерение).

Я оказался очень приятно удивлен и обрадован, потому что люди вовлеклись и стали активно друг другу ставить оценки. Весьма адекватные! Мы смотрели соотношение хороших и плохих оценок, и в лидеры к концу третьего дня уверенно вышли отклики явно сильных дизайнеров. Доверие к нашим участникам оправдало себя.

Получается, сообщество дизайнеров помогает друг другу с обратной связью. Если триста человек оценят по десять-тридцать откликов, то это будут тысячи оценок, при этом нагрузка распределится равномерно, и все получат результат. Именно это мы и увидели в первые недели с момента запуска.

Получается, люди помогают друг другу правильно рассказать о себе и найти работу.

Или дают очень внятный сигнал о том, что в отклике что-то не так.

Следующий шаг — дать возможность тем кто ищет работу и у кого хороший отклик найти работу.

Так мы вернули нанимающих экспертов в сервис и настроили им уведомления о том что автор такого-то отклика ищет работу, у этого отклика 15 оценок и из них минимум 10 позитивных.

Вот отзывы первых работодателей:

Мне приходят письма о новых откликах с рейтингом более 50%. Такой подход экономит время на просмотре неподходящих откликов. На прошлой неделе мы связались с шестью кандидатами из сервиса, двое уже не искали работу, с четверыми общаемся прямо сейчас.

***

Мы смотрим отклики, которые ребята присылают в сервис, и делаем это практически каждый день. Если письмо написано хорошо и с заботой о читателе, конструктивно рассказано об опыте и кандидат находится в Москве — обязательно связываемся, потому что всегда есть несколько открытых вакансий на проектах.

Я прочитал исследование и рекомендации, что написала Ксюша Стернина, — всё откликается и близко к реальности: грамотно написанный cover letter увеличивает шанс скрининга и шанс на созвон, а потом и на встречу.

В целом впечатления позитивные, и сервис — еще один хороший канал для поиска мотивированных ребят.

***

Я слежу за проектом с самых первых прототипов. Круто наблюдать как идея трансформируется в реальную пользу, не каждый день такое увидишь. У Вани получился отличный эксперимент, который в умелых руках станет очень полезным инструментом для поиска работы. У дизайнеров появился огромный пул данных и обратная связь от экспертов и коллег по цеху, а вот как этим добром работать — зависит от самих дизайнеров.

У менеджеров появился отличный инструмент для поиска сотрудников. Искать дизайнеров — сложная задача, и, кажется, Ване удалось её упростить. Во-первых, куча дизайнеров в одном месте. Во-вторых, простая механика просмотра, которая в первую очередь заточена под мобилку (где-то 95% откликов я смотрел по пути на работу или с работы). В-третьих, обучение работает в обе стороны — менеджеры тоже учатся на ваших откликах, ребята.

Я считаю, что если вашего отклика ещё нет в системе, это ошибка. Скорее это исправьте, ведь эксперты, которых Ваня собрал под одной виртуальной крышей, реально ищут хороших дизайнеров. Я тоже ищу и жду вас в Почте:-)

***

Первых работодателей я конечно нашел по знакомым, хотя в какой-то момент стали обращаться люди мне незнакомые. Мы всех пускали тестировать (и нанимать), но просили написать заявку с корпоративной почты.

Сейчас через наш сервис нанимают сотрудники Мэйл. Ру Групп, Альфа-Банк, Яндекс, ВТБ, МТС, Ютэйр, Почта России и другие.

Я верю в лучшее и думаю что коллеги хотят друг другу помочь и это у дизайнеров дружное сообщество.

Есть и другие причины:

- Чтобы получить статистику по своему отклику, нужно дать оценки другим участникам

- Если поставить 50 оценок, я смогу вернуть статистику точности: насколько оценки кандидата совпадают с оценками экспертов. Тут просто сопоставление с экспериментальным (первым) датасетом и подмешивание откликов в выдачу, чтобы были пересечения.

- На днях мы сделаем возможность создавать новый отклик, если первый был неудачным. И эта возможность тоже раскрывается только для супер-юзеров, которые дали оценки другим соискателям, не менее 50.

Последняя штука очень важная — пока делаешь оценку других откликов, тренируешься видеть позитивные и негативные паттерны и шансы правильно изложить факты о своем опыте увеличиваются. Это великолепный тренажер, который еще и подскажет насколько точно ты оцениваешь отклики.

Три года назад я конечно начал с изучения возможностей нейросетей и со звонка другу, и тот посмеялся надо мной: «Ваня, надо хотя бы пару миллионов откликов, размеченных, и куча народу пытается ту задачу решить и ты не суйся».

Чтобы сформировать собственное мнение, я изучил питон, закончил курсы по машинному обучению и примерно год спустя начал понимать, что он имел в виду. Подход «в лоб» явно не сработает, но силу машинки и статистики никто не отменял, и надо было найти способ эту силу точечно применить.

Анализ популярных сайтов с портфолио тоже не очень много даёт — несмотря на то что можно всё спарсить, и даже натренировать сетку отбирать нужный стиль в графике, это не даёт потока соискателей (не все ищут работу когда выкладывают портфолио на условный Биханс).

Сейчас у нас набралось достаточно откликов, оценок и данных чтобы угадывать с большой вероятностью ответ «да» или «нет», и в ближайших планах внедрить эту штуку в сервис и сделать так чтобы она обучалась на новых входящих.

У нас получается несколько слоёв отсева. Такой механизм ускоряет получение обратной связи кандидатами и фильтрует отклики для работодателей:

- кандидаты оценивают друг друга

- работодатели оценивают фильтр и исходный пул

- алгоритм сверяется с теми и другими, смотрит в начальный датасет и либо подаёт сигнал об отклонении (тогда я иду руками разбираться), либо учится.

Так мы нащупали подход, в котором получается, что люди всё ещё делают такую работу лучше машины, но машина уже даже на таких маленьких данных может включаться и помогать.

Самое интересное рассказали первые пользователи сервиса — кандидаты. Я пообщался с 17 кандидатами и спрашивал о том, что они чувствовали когда ставили рейтинг другим ребятам, почему вообще решили принять участие и выслушал много занимательных историй про найм в компании.

Авторы откликов посмотрели на себя со стороны нанимающих менеджеров — увидели, как их отклики выглядят в общем потоке, смогли сравнить свой текст с другими.

Это наблюдение вызывало у кандидатов одну из самых сильных эмоций и желание переписать, убрать лишнее, сместить фокус.

Кандидаты перегружены своими представлениями и переживаниями, и до тех пор пока не начинают активный поиск, не до конца осознают, что именно важно а что нет. Отсюда появляются огромные резюме с рассуждениями о том, что такое Agile или с подробными описаниями пройденных курсов.

Когда кандидат видит свой отклик в другом контексте, с примерами чужих откликов, понимание приоритетов смещается.

Двое человек решили скорректировать свой карьерный путь и освоить дополнительные направления, лучше поняли как работать над портфолио.

Сама необходимость принять решение по другим людям меняет отношение к процессу.

Отказ может быть сформулирован по-разному, но кандидат скорее его воспримет болезненно в любом случае. Я послушал несколько историй где отказы на последних этапах травмировали кандидатов, особенно непонятностью формулировок. Из интересного — «у вас хорошие навыки и портфолио, но вы нам не подходите по химии».

Вчерашние кандидаты, которые получили отказ, завтра могут оказаться желанными специалистами. Если они получили некорректный отказ, они могут отказаться работать в компании, затаив обиду. Хуже — начнут рассказывать о негативном опыте на рынке или в соц. сетях. Это всё начинает работать против эйчар-бренда в долгосрочной перспективе.

Интересно устроен процесс в Фейсбуке, Гугле: после любого интервью, независимо от результатов, если с кандидатом была коммуникация — присылают анкету с опросом по каждому сотруднику, с которым коммуницировал кандидат, по разным аспектам. Это в дополнение к опросу по всему процессу. В этих же компаниях очень сложно быть допущенным к проведению интервью с кандидатами, и процессы автоматизированы, поэтому есть возможность такие опросы проводить.

Судя по интервью с кандидатами, у российских флагманских продуктовых компаний эти процессы пока что либо отсутствуют, либо не автоматизированы.

Мне кажется что проект только начинается. Мы приглашаем всех желающих рассказать о себе и порейтинговать других участников:

https://designer.mintblaster.ru/

Нанимающих менеджеров мы тоже приглашаем к сотрудничеству: https://designer.mintblaster.ru/request

Сейчас в активном состоянии только вакансия дизайнера цифровых продуктов, но есть большая вероятность расширения другими вакансиями.

1. А я у вас всю базу украду!— Люди пишут в откликах свои контактные данные, я же могу просто сам связаться и ними и всё.

— Да, мы на самом деле не редактируем такое и всё все видят. Но настоящую почту, по которой регистрировался пользователь, видят только работодатели и только если соискатель указал что ищет работу (и статус этот можно менять). Поэтому среди откликов в общем пуле встречаются откровенные фейки, тестовые отклики или отклики людей, которые не ищут работу но хотят получить фидбэк. Если нечем заняться то можно конечно всех вручную перебрать. А кто не хочет вручную и может автоматизировать, тот скорее всего может и просто написать нам и получить доступ работодателя:-)

2. А почему такой простой дизайн? — У сервиса слишком простой дизайн и куча глюков!

— Это правда! Мы сейчас очень небольшой командой нащупываем то что точно нужно людям и соответствует цели. Если можно проверить две гипотезы вместо того чтобы полировать иконку — мы именно будем проверять гипотезы. Бэклог идей растёт. Люди пользуются и находят работу — пока что фокус на пользе. А если найдёте баги обязательно напишите мне!

3. Про алгоритмы для фильтрации входящих

— Пробовал всякое, но пока что пятеро соседей дают 67% угадываний, и на сете это лучший результат. Фичи пришлось долго выбирать и процесс еще не завершен, но финал уже в поле зрения.

4. А что будет с проектом дальше?

Очень сильно виден интерес со стороны кандидатов — нравится возможность, наличие обратной связи, понимание тренажёра. Просят добавить другие языки и страны, новые профессии кроме дизайнеров. Постепенно всё появится. Уже сейчас сервис может быть отличным помощником для выпускников курсов по дизайну, которые ищут работу. В ближайшее время мы планируем запустить пилот с Британской Высшей Школой Дизайна, и приглашаем к сотрудничеству другие курсы, которые заинтересованы в трудоустройстве своих выпускников.