«Карьерный цех» — сколько мы зарабатываем на конкурсах для продуктовых менеджеров

Привет. Меня зовут Глеб Кудрявцев, я руковожу продуктами в Skyeng. В 2020 году вместе с Пашей Шишкиным (ex-Head of Product Avito) мы основали проект «Карьерный цех».

Я нанимаю очень много айтишников. Самых разных специальностей — продактов, аналитиков, дизайнеров и даже разработчиков. В активе больше тысячи собеседований и десятки закрытых позиций. Не буду скромничать, результаты моих наймов всегда были сильно выше среднего. Особенно горжусь ачивкой — нанять подчиненного, который стал твоим же начальником. Привет, Денис!

При этом я всегда был сторонником того, что при найме нужно ориентироваться не на косвенные, а на прямые признаки. Нужно, чтобы человек писал код? Дай ему написать код (и не на бумажке и не синтетический тест, а что-то похожее на ваши рабочие задачи). Нужно, чтобы он проводил эксперименты? Дай ему спроектировать эксперимент. Остальное, может и имеет какое-то значение, но непонятно, как на самом деле связано с успешностью кандидата.

Поэтому я всегда делал ставку на тестовое: дорабатывал его, смотрел, как это делают другие, и наконец научился быстро скорить кандидатов, вытаскивать на поверхность тех, кто реально многое умеет, но еще не имеет впечатляющего послужного списка — такие ребята классно раскрывались потом у нас в Skyeng.

Со временем я пришел к тому, что вообще перестал смотреть резюме до того, как человек выполнит тестовое. Меня не интересуют ни пол, ни возраст, ни формальный опыт кандидата, если он может справиться с моими задачами. И наоборот.

Но параллельно возникла другая проблема: отобрав 5-6 классных кандидатов из 50-ти, я мог нанять только одного. А что делать с остальными? Отпускать жалко. Куда бы их пристроить? Как помочь им раскрыть свою реальную ценность?

Так появилась идея сервиса, который расскажет рынку о достойных кандидатах.

С идеей конкурса я ходил два года и думал о том, что когда-нибудь обязательно ее запущу. Не самое продуктивное занятие. Поэтому в очередную минуту мизантропии и самокопания решил разобраться — что мне мешает это сделать.

И понял, что я физически не смогу запустить проект в одиночку. Мне нужен напарник. Чтобы его найти, я начал рассказывать всем подряд об этой идее. И однажды звезды сошлись — я был готов работать с человеком, и ему моя идея понравилась. Так я нашел Пашу. С ним дело пошло существенно быстрее. Мы стартанули в августе 2020 года и уже к концу сентября запустили первый конкурс, запрограммировав движок на bubble.

Схема очень простая: продакты и аналитики регистрируются на платформе и получают тестовое задание, на которое дается несколько дней. Участники делают его одновременно. Важная фишка — у конкурса нет ни жюри, ни народного голосования, участники сами оценивают работы друг друга. Затем мы вместе разбираем кейсы и публикуем рейтинг работ. Топ-30 считаются победителями. Конкурс проводится потоками, два раза в год весной и осенью. В марте этого года стартует уже четвертый поток.

Сама идея профессиональных конкурсов не новая, у разработчиков, например, давно есть разные хакатоны. Но для продактов и аналитиков такого еще не было. Мы первые, кто это упаковал в продукт.

Что получают кандидаты: возможность проверить себя, понять, «кто я на рынке» и «сколько могу зарабатывать». Плюс подтверждение навыков, на которое можно ссылаться в резюме.

Что получают компании: отскоренную воронку кандидатов, которую можно переиспользовать несколько раз. В основном это люди с опытом от года до трех.

Нужно понимать, что сейчас рынок найма в ИТ принадлежит кандидату. Компании, которые за него борются, условно можно разделить на два типа: гиганты вроде Яндекса, Сбера, Авито или Тинькофф, которые пылесосят поляну и забирают лучших специалистов. И остальные, менее крупные компании без сильного эйчар-бренда.

Первым нужна только воронка, отбирать они умеют и сами. А вторым — важно подсказать: какого кандидата искать, как правильно упаковать оффер. Часто специалисты не понимают, почему им стоит пойти в такую компанию, что она даст их карьере. Здесь мы можем помочь.

Сначала мы сами составляли тестовые. Перед этим я подробно изучил тему, провел исследование среди коллег, узнал, какие задания они предлагают кандидатам и вывел формулу «идеального тестового». Об этом можно почитать здесь.

Потом мы стали брать кейсы реальных компаний. Оказалось, это win-win решение: после конкурса эксперт проводит разбор на ютубе, делится знаниями, прокачивает эйчар-бренд. Часто ребята потом пишут ему в фейсбук, что хотели бы поработать вместе.

На первом этапе конкурса задания проще, на втором — сложнее. Итоговый рейтинг публикуется после завершения двух туров. Задания никогда не повторяются.

Самое важное требование к заданиям — отсутствие однозначного правильного ответа. Как и в жизни, допустимы разные подходы. Оценивать такие работы сложнее, чем тесты с выбором из четырех вариантов ответа, но интереснее.

Перед конкурсом мы просим каждого кандидата оценить себя по уровню. И что интересно, у многих эта оценка не совпадает с конечным результатом.

Это показывает, как много на рынке недооцененных специалистов, которых можно быстро вывести на более высокий уровень даже при недостатке формального опыта.

Мы используем p2p-модель, то есть участники оценивают друг друга. Это наше ноу-хау.

Я знал, что от доверия к оценке будет зависеть популярность конкурса. А если сам процесс будет слишком сложным — то проект не получится масштабировать (представьте, сколько времени нужно, чтобы проверить 100 работ). Начал изучать литературу, и оказалось, что про p2p-модель написано множество статей, есть даже эксперименты среди студентов. Но по какой-то причине ее мало применяют в реальном мире. Мы решили воспользоваться этими методиками.

Каждый участник получает по 10 работ, которые должен расставить в порядке убывания — от лучшей к худшей. Затем специальный алгоритм смотрит, как оценили его и как он оценил других. И на основании этого строится рейтинг и вводятся поправочные коэффициенты. Например, оценки человека сильно выбиваются из общей тенденции, а сам он не получил высоких оценок окружающих. В этом случае алгоритм снизит 'рейтинг доверия' такому автору и его влияние на оценки других. И с другой стороны - оценки того, кого оценили высоко, получают больший вес.

Участники говорят, что им нравится оценивать чужие задания. Так они могут «подсмотреть», как справились другие, узнать что-то полезное.

Алгоритм для оценки написал Паша и, кажется, он один его до конца понимает. Паша учился в школе анализа данных, три года работал в Яндексе аналитиком и даже выиграл золотую медаль в финале чемпионата мира по программированию ACM ICPC. Поэтому здесь передаю ему слово.

Прежде чем испытывать алгоритм «в бою», нам нужно было убедиться, что он действительно работает и может определять рандомщиков. Ведь мы нашли его в литературе и видели только теоретические выкладки. Вдобавок, мы не знали, сколько именно работ должны оценивать участники.

Для этого мы сгенерировали синтетический датасет из условных 300 работ и каждой из них назначили некий «идеальный рейтинг качества». Из 300 оценивающих 20% назначили рандомщиками, которые ставят оценки случайно и всячески портят рейтинг. Все это скормили алгоритму и оказалось, что вариант последовательной оценки десяти работ дает самые точные результаты:

• 95% точность того, что лучшие 20% участников реально попадают в лучшие 20%.
• почти 100% точность того, что 20% оппортунистов реально попадают в худшие 20%.
• средний случайный разброс (погрешность) не более чем +/- 2,7 позиции от «правильного» места в рейтинге.

После первого конкурса мы еще раз, вручную, проверили точность алгоритма и убедились — более способные кандидаты, так называемые чемпионы, примерно одинаково подходят к проверке чужих работ, их оценки коррелируют между собой и с оценками независимых экспертов.

В первый раз мы совсем не тратились на продвижение — использовали только свои соцсети и каналы в Telegram. Еще нас поддержали коллеги, которые тоже ведут блоги: Аня Булдакова, Ваня Замесин и другие.

Кому-то из коллег, с кем лично не были знакомы, предлагали бартер: мы вам классный, содержательный контент, а вы про нас напишите. Еще хорошо сработала сарафанка — участники конкурса рассказывали о нас в фейсбуке, делились впечатлениями, добавляли запись о конкурсе себе в CV.

На первый конкурс удалось собрать больше ста участников, которые выполнили задания до конца. Хотелось бы сказать, что это превзошло наши ожидания, но нет — примерно так мы и рассчитывали :)

Мы решили запускать конкурсы два раза в год — весной и осенью, постепенно добавляя новые фишки. В следующий запуск появился поток не только продактов, но и аналитиков.

Каждый запуск мы экспериментируем с форматом и заданиями, чтобы оживить их и сделать более интересными для участников.

Мы перепробовали разные способы монетизации и в итоге остановились на двух:

• Продажа базы победителей конкурса. Мы спрашиваем у участников согласие на передачу их CV и контактов нашим партнерам, около 70% соглашаются. База в основном используется для поиска специалистов с опытом работы до 3-х лет. Ее есть смысл обрабатывать месяц-два после конкурса, а потом она теряет актуальность. Поэтому проводим набор в пик рекрутингового сезона — весной и осенью.

• Агентская помощь в найме. Помогаем найти узких специалистов, например, синьор-продакта, который разбирается в финансах и умеет в ML. Еще часто приходят за С-level кандидатами (директор по продукту, главный аналитик). В последний раз за два месяца показали заказчику 24 человека, из которых 11 он пригласил на интервью.

Также пробовали делать доску с вакансиями прямо на платформе, но этот формат не выстрелил — откликались не те, кого компании хотели у себя видеть. Сейчас переформатировали его в «Карьерного Бота», и он уже пошел хорошо, это направление развиваем.

С каждого конкурса мы разными способами зарабатываем порядка миллиона рублей. Продолжаем пробовать разные подходы, так как пока еще не нашли по-настоящему масштабируемый канал роста, но операционно продукт себя уже окупает.

Многие нанимающие менеджеры сами заинтересовались конкурсом и просто добавлялись в чаты, наблюдали. Потом они выбивали бюджеты и возвращались уже за базой кандидатов.

Например, в Borzo (ex-Dostavista) искали аналитиков и пришли к нам. Менеджер посмотрел несколько тестовых и в итоге выбрал толковых кандидатов, которые, по его собственному признанию, по одному резюме точно получили бы отказ.

А осенью 2021 года Авито наняли с нашей помощью сразу восемь человек.

Большую часть работы и первый запуск осенью 2020 года мы сделали вдвоем. В команде я отвечаю за стратегический вижн, маркетинговые смыслы, продвижение, стримы с разборами и другие коммуникации.

Паша, кроме программирования и подсчета рейтингов, взял на себя почти весь операционный менеджмент и продажи.

Позже в команде появился Егор, наш продакт, мастер на все руки, который помогает развивать платформу и Оля, аккаунт-менеджер, которая ведет клиентов. Сейчас расширяемся, чтобы передать больше задач другим ребятам и сосредоточиться на росте.

У проекта теоретически есть два направления для развития: образовательное и рекрутинговое. Мы больше смотрим в сторону второго — хотим помогать компаниям с наймом и собираемся развивать продукт в эту сторону.

Сейчас мы не умеем нанимать в больших масштабах — максимум несколько десятков специалистов в год. Но хотим сильно больше. Основные деньги рынка в найме разработчиков. Хочется туда пойти, но пока колется :)

Потом конечно, расширим конкурс и для других ИТ-специалистов. Для этого будем привлекать партнеров. Если вы профи в своем деле и у вас есть собственные развитые каналы (Facebook, Telegram) — пишите, с удовольствием пообщаемся.

Для меня конкурс это прежде всего продукт для души. Я чувствую, что делаю по-настоящему кайфовое дело и помогаю людям достигать их целей. Каждый раз, когда с нашей помощью кто-то находит работу, понимаешь, что делаешь это не зря.

Зарабатываем пока еще очень мало. Но уже хватает себя содержать. Это важная веха в жизни любого стартапа :)

Продолжаем активно перебирать гипотезы роста и проводить новые потоки. Следующий уже в марте: продакты, дата-аналитики и новый секретный поток!

Чтобы узнать больше про конкурс и его участников, а также получать анонсы других наших активностей — подписывайтесь на канал «Карьерного цеха» в Telegram.