«Карьерный цех» — сколько мы зарабатываем на конкурсах для продуктовых менеджеров

Сооснователь «Карьерного цеха» Паша Шишкин раздает советы продактам на конференции Epic Growth

Привет. Меня зовут Глеб Кудрявцев, я руковожу продуктами в Skyeng. В 2020 году вместе с Пашей Шишкиным (ex-Head of Product Avito) мы основали проект «Карьерный цех».

Я нанимаю очень много айтишников. Самых разных специальностей — продактов, аналитиков, дизайнеров и даже разработчиков. В активе больше тысячи собеседований и десятки закрытых позиций. Не буду скромничать, результаты моих наймов всегда были сильно выше среднего. Особенно горжусь ачивкой — нанять подчиненного, который стал твоим же начальником. Привет, Денис!

При этом я всегда был сторонником того, что при найме нужно ориентироваться не на косвенные, а на прямые признаки. Нужно, чтобы человек писал код? Дай ему написать код (и не на бумажке и не синтетический тест, а что-то похожее на ваши рабочие задачи). Нужно, чтобы он проводил эксперименты? Дай ему спроектировать эксперимент. Остальное, может и имеет какое-то значение, но непонятно, как на самом деле связано с успешностью кандидата.

Поэтому я всегда делал ставку на тестовое: дорабатывал его, смотрел, как это делают другие, и наконец научился быстро скорить кандидатов, вытаскивать на поверхность тех, кто реально многое умеет, но еще не имеет впечатляющего послужного списка — такие ребята классно раскрывались потом у нас в Skyeng.

Со временем я пришел к тому, что вообще перестал смотреть резюме до того, как человек выполнит тестовое. Меня не интересуют ни пол, ни возраст, ни формальный опыт кандидата, если он может справиться с моими задачами. И наоборот.

Но параллельно возникла другая проблема: отобрав 5-6 классных кандидатов из 50-ти, я мог нанять только одного. А что делать с остальными? Отпускать жалко. Куда бы их пристроить? Как помочь им раскрыть свою реальную ценность?

Так появилась идея сервиса, который расскажет рынку о достойных кандидатах.

Миссия «Карьерного цеха» — это поиск «бриллиантов» среди кандидатов. Думающих, скилловых ребят, которые еще не работали в компаниях с громким брендом, но уже умеют решать сложные задачи уровня таких компаний.

В природе бриллианты тоже не сразу выглядят привлекательными и блестящими: сначала это просто камешки, которые еще нужно отполировать и выставить на витрину. Наш конкурс — это выявление и огранка таких бриллиантов, пока только среди продактов и аналитиков.
Глеб Кудрявцев, Сооснователь Карьерного цеха, руководитель продуктов в Skyeng

С идеей конкурса я ходил два года и думал о том, что когда-нибудь обязательно ее запущу. Не самое продуктивное занятие. Поэтому в очередную минуту мизантропии и самокопания решил разобраться — что мне мешает это сделать.

И понял, что я физически не смогу запустить проект в одиночку. Мне нужен напарник. Чтобы его найти, я начал рассказывать всем подряд об этой идее. И однажды звезды сошлись — я был готов работать с человеком, и ему моя идея понравилась. Так я нашел Пашу. С ним дело пошло существенно быстрее. Мы стартанули в августе 2020 года и уже к концу сентября запустили первый конкурс, запрограммировав движок на bubble.

Схема очень простая: продакты и аналитики регистрируются на платформе и получают тестовое задание, на которое дается несколько дней. Участники делают его одновременно. Важная фишка — у конкурса нет ни жюри, ни народного голосования, участники сами оценивают работы друг друга. Затем мы вместе разбираем кейсы и публикуем рейтинг работ. Топ-30 считаются победителями. Конкурс проводится потоками, два раза в год весной и осенью. В марте этого года стартует уже четвертый поток.

Сама идея профессиональных конкурсов не новая, у разработчиков, например, давно есть разные хакатоны. Но для продактов и аналитиков такого еще не было. Мы первые, кто это упаковал в продукт.

Что получают кандидаты: возможность проверить себя, понять, «кто я на рынке» и «сколько могу зарабатывать». Плюс подтверждение навыков, на которое можно ссылаться в резюме.

Что получают компании: отскоренную воронку кандидатов, которую можно переиспользовать несколько раз. В основном это люди с опытом от года до трех.

Нужно понимать, что сейчас рынок найма в ИТ принадлежит кандидату. Компании, которые за него борются, условно можно разделить на два типа: гиганты вроде Яндекса, Сбера, Авито или Тинькофф, которые пылесосят поляну и забирают лучших специалистов. И остальные, менее крупные компании без сильного эйчар-бренда.

Первым нужна только воронка, отбирать они умеют и сами. А вторым — важно подсказать: какого кандидата искать, как правильно упаковать оффер. Часто специалисты не понимают, почему им стоит пойти в такую компанию, что она даст их карьере. Здесь мы можем помочь.

Сначала мы сами составляли тестовые. Перед этим я подробно изучил тему, провел исследование среди коллег, узнал, какие задания они предлагают кандидатам и вывел формулу «идеального тестового». Об этом можно почитать здесь.

Потом мы стали брать кейсы реальных компаний. Оказалось, это win-win решение: после конкурса эксперт проводит разбор на ютубе, делится знаниями, прокачивает эйчар-бренд. Часто ребята потом пишут ему в фейсбук, что хотели бы поработать вместе.

Стрим с разбором заданий и работ конкурсантов

На первом этапе конкурса задания проще, на втором — сложнее. Итоговый рейтинг публикуется после завершения двух туров. Задания никогда не повторяются.

Самое важное требование к заданиям — отсутствие однозначного правильного ответа. Как и в жизни, допустимы разные подходы. Оценивать такие работы сложнее, чем тесты с выбором из четырех вариантов ответа, но интереснее.

Перед конкурсом мы просим каждого кандидата оценить себя по уровню. И что интересно, у многих эта оценка не совпадает с конечным результатом.

Часто тот, кто оценивает себя как джун, может справиться с заданием на уровне уверенного миддла. И наоборот — синьоры иногда справляются с заданием хуже, чем миддлы или даже джуны. В последнем потоке, например, из 30 первых мест 62% были миддлами, а 34% — джунами.

Это показывает, как много на рынке недооцененных специалистов, которых можно быстро вывести на более высокий уровень даже при недостатке формального опыта.

Мы используем p2p-модель, то есть участники оценивают друг друга. Это наше ноу-хау.

Я знал, что от доверия к оценке будет зависеть популярность конкурса. А если сам процесс будет слишком сложным — то проект не получится масштабировать (представьте, сколько времени нужно, чтобы проверить 100 работ). Начал изучать литературу, и оказалось, что про p2p-модель написано множество статей, есть даже эксперименты среди студентов. Но по какой-то причине ее мало применяют в реальном мире. Мы решили воспользоваться этими методиками.

Каждый участник получает по 10 работ, которые должен расставить в порядке убывания — от лучшей к худшей. Затем специальный алгоритм смотрит, как оценили его и как он оценил других. И на основании этого строится рейтинг и вводятся поправочные коэффициенты. Например, оценки человека сильно выбиваются из общей тенденции, а сам он не получил высоких оценок окружающих. В этом случае алгоритм снизит 'рейтинг доверия' такому автору и его влияние на оценки других. И с другой стороны - оценки того, кого оценили высоко, получают больший вес.

Участники говорят, что им нравится оценивать чужие задания. Так они могут «подсмотреть», как справились другие, узнать что-то полезное.

Алгоритм для оценки написал Паша и, кажется, он один его до конца понимает. Паша учился в школе анализа данных, три года работал в Яндексе аналитиком и даже выиграл золотую медаль в финале чемпионата мира по программированию ACM ICPC. Поэтому здесь передаю ему слово.

Мы взяли за основу алгоритмы ординального оценивания, то есть вместо проставления баллов каждой работе, участники сравнивают их по принципу «лучше-хуже». Кому интересно, исследование об эффективности таких моделей можно почитать здесь.
Паша Шишкин, Сооснователь «Карьерного цеха», ex-Head of Product в Авито

Прежде чем испытывать алгоритм «в бою», нам нужно было убедиться, что он действительно работает и может определять рандомщиков. Ведь мы нашли его в литературе и видели только теоретические выкладки. Вдобавок, мы не знали, сколько именно работ должны оценивать участники.

Для этого мы сгенерировали синтетический датасет из условных 300 работ и каждой из них назначили некий «идеальный рейтинг качества». Из 300 оценивающих 20% назначили рандомщиками, которые ставят оценки случайно и всячески портят рейтинг. Все это скормили алгоритму и оказалось, что вариант последовательной оценки десяти работ дает самые точные результаты:

95% точность того, что лучшие 20% участников реально попадают в лучшие 20%.
почти 100% точность того, что 20% оппортунистов реально попадают в худшие 20%.
средний случайный разброс (погрешность) не более чем +/- 2,7 позиции от «правильного» места в рейтинге.

После первого конкурса мы еще раз, вручную, проверили точность алгоритма и убедились — более способные кандидаты, так называемые чемпионы, примерно одинаково подходят к проверке чужих работ, их оценки коррелируют между собой и с оценками независимых экспертов.

В первый раз мы совсем не тратились на продвижение — использовали только свои соцсети и каналы в Telegram. Еще нас поддержали коллеги, которые тоже ведут блоги: Аня Булдакова, Ваня Замесин и другие.

Кому-то из коллег, с кем лично не были знакомы, предлагали бартер: мы вам классный, содержательный контент, а вы про нас напишите. Еще хорошо сработала сарафанка — участники конкурса рассказывали о нас в фейсбуке, делились впечатлениями, добавляли запись о конкурсе себе в CV.

На первый конкурс удалось собрать больше ста участников, которые выполнили задания до конца. Хотелось бы сказать, что это превзошло наши ожидания, но нет — примерно так мы и рассчитывали :)

Мы решили запускать конкурсы два раза в год — весной и осенью, постепенно добавляя новые фишки. В следующий запуск появился поток не только продактов, но и аналитиков.

Каждый запуск мы экспериментируем с форматом и заданиями, чтобы оживить их и сделать более интересными для участников.

Мы перепробовали разные способы монетизации и в итоге остановились на двух:

Продажа базы победителей конкурса. Мы спрашиваем у участников согласие на передачу их CV и контактов нашим партнерам, около 70% соглашаются. База в основном используется для поиска специалистов с опытом работы до 3-х лет. Ее есть смысл обрабатывать месяц-два после конкурса, а потом она теряет актуальность. Поэтому проводим набор в пик рекрутингового сезона — весной и осенью.

Агентская помощь в найме. Помогаем найти узких специалистов, например, синьор-продакта, который разбирается в финансах и умеет в ML. Еще часто приходят за С-level кандидатами (директор по продукту, главный аналитик). В последний раз за два месяца показали заказчику 24 человека, из которых 11 он пригласил на интервью.

Также пробовали делать доску с вакансиями прямо на платформе, но этот формат не выстрелил — откликались не те, кого компании хотели у себя видеть. Сейчас переформатировали его в «Карьерного Бота», и он уже пошел хорошо, это направление развиваем.

С каждого конкурса мы разными способами зарабатываем порядка миллиона рублей. Продолжаем пробовать разные подходы, так как пока еще не нашли по-настоящему масштабируемый канал роста, но операционно продукт себя уже окупает.

Многие нанимающие менеджеры сами заинтересовались конкурсом и просто добавлялись в чаты, наблюдали. Потом они выбивали бюджеты и возвращались уже за базой кандидатов.

Сейчас через нас прошли около 120 компаний. Мы помогли им сократить время на поиск (в среднем пять интервью на один найм) и сориентироваться — кто им нужен на самом деле. Часто случается, что компания ищет миддла с большим опытом и нереалистичным набором навыков, а на самом деле сможет доверить свои задачи грамотному джуну.

Например, в Borzo (ex-Dostavista) искали аналитиков и пришли к нам. Менеджер посмотрел несколько тестовых и в итоге выбрал толковых кандидатов, которые, по его собственному признанию, по одному резюме точно получили бы отказ.

А осенью 2021 года Авито наняли с нашей помощью сразу восемь человек.

Большую часть работы и первый запуск осенью 2020 года мы сделали вдвоем. В команде я отвечаю за стратегический вижн, маркетинговые смыслы, продвижение, стримы с разборами и другие коммуникации.

Паша, кроме программирования и подсчета рейтингов, взял на себя почти весь операционный менеджмент и продажи.

Позже в команде появился Егор, наш продакт, мастер на все руки, который помогает развивать платформу и Оля, аккаунт-менеджер, которая ведет клиентов. Сейчас расширяемся, чтобы передать больше задач другим ребятам и сосредоточиться на росте.

У проекта теоретически есть два направления для развития: образовательное и рекрутинговое. Мы больше смотрим в сторону второго — хотим помогать компаниям с наймом и собираемся развивать продукт в эту сторону.

Сейчас мы не умеем нанимать в больших масштабах — максимум несколько десятков специалистов в год. Но хотим сильно больше. Основные деньги рынка в найме разработчиков. Хочется туда пойти, но пока колется :)

Потом конечно, расширим конкурс и для других ИТ-специалистов. Для этого будем привлекать партнеров. Если вы профи в своем деле и у вас есть собственные развитые каналы (Facebook, Telegram) — пишите, с удовольствием пообщаемся.

Для меня конкурс это прежде всего продукт для души. Я чувствую, что делаю по-настоящему кайфовое дело и помогаю людям достигать их целей. Каждый раз, когда с нашей помощью кто-то находит работу, понимаешь, что делаешь это не зря.

Зарабатываем пока еще очень мало. Но уже хватает себя содержать. Это важная веха в жизни любого стартапа :)

Продолжаем активно перебирать гипотезы роста и проводить новые потоки. Следующий уже в марте: продакты, дата-аналитики и новый секретный поток!

Чтобы узнать больше про конкурс и его участников, а также получать анонсы других наших активностей — подписывайтесь на канал «Карьерного цеха» в Telegram.