Идеальное тестовое для продакта: самые популярные вопросы при найме

Есть у меня хобби — нанимать продактов. Ну как хобби, рабочая необходимость. За последние 4 года я провел несколько сотен собеседований и нанял пару десятков человек. Но до сих пор делаю это не идеально и постоянно учусь.

Поэтому недавно я решил освежить знания по рынку, кто и как это делает. А для этого кинул клич в FB прислать мне тестовые задания из разных компаний (тестовые — это суть найма, кто их не дает или у кого кандидаты не хотят их делать, тот просто не вкурил тему).

И нашлись классные товарищи, которые это сделали. Им ушли мои глубочайшие респекты, а также тестовые, составленные мной лично с краткими комментариями.

Так вот, у меня есть на руках множество тестовых из самых топовых компаний рунета. Что дальше?

Дальше можно было бы углубиться в то, какие качества требуются от продакта. Однако я не хочу. Есть прекрасная табличка от Егора Руди, и в целом я с ней согласен. Ее можно брать и использовать в работе.

Но одно дело теория, а другое дело посмотреть, кого же компании ищут на самом деле. На самом деле — значит именно эти качества пытаются отобрать на скрининге. В тестовых и в собеседованиях.

Собеседования идут по софт-скиллам и там дофига вопросов, поэтому их анализ дается сложновато. Ну то есть я тоже их собирал и компилировал опросники, но это пока готово сугубо для внутреннего пользования, то есть для меня.

А вот с тестовыми все оказалось намного понятнее, вопросы быстро начали повторяться, и сегодня я с вами смогу поделиться выводами.

Это будет не статистика (доверительные интервалы, размер выборки и так далее идет нафиг, ибо столько данных нету).

Так что чистый хардкор: экспертность и кейсовость =) Короче, самая мякотка.

Далее я приведу самые популярные вопросы в тестовых заданиях для продакта с моими комментариями. Бонусом — идеальное тестовое, которое включает их все.

Пойдем по частоте встречаемости. Наверху — самые популярные. Сами вопросы я перефразировал так, чтобы выделить среди них основную суть.

Погнали!

Оно же:

Логично.

Продакту нужно бы знать, что делать с продуктом. Его в общем-то для этого нанимают и хочется, чтобы он делал именно ту дичь, которую от него ожидают. Кстати, совпадение с ожиданиям это важно, ибо критерии оценки у разных компаний могут быть диаметрально противоположны, хотя здесь и есть какие-то общие тенденции.

Этот вопрос так или иначе встречается чуть ли не в каждом задании.

Что стоит отметить. Компании очень любят спрашивать в тестовых про себя любимых. Я считаю, что это антипаттерн. Он сильно ограничивает кандидата по сравнению с проверяющим по количеству априорных знаний о продукте.

В итоге тестовые превращаются не в проверку аналитических скиллов, а в «угадай, над чем мы прямо сейчас ломаем голову». Вдобавок, кандидаты не любят такое делать, ибо думают, что вы украдете у них идеи (это, конечно, бред, но это понимают только те, кто уже прочитал пару сотен тестовых с одними и теми же идеями).

Поэтому советы по данному вопросу следующие:

Кандидатам: тренируйтесь составлять бэклоги и придумывать, что нужно сделать в продукте X, отталкиваясь от метрик.

Нанимающим: перефразируйте кейс на синтетическую компанию, или какую-то компанию с рынка, но не вашу. Вам важно не знать о проблеме слишком много специфической информации. Только так вы сможете корректно оценить уровень мышления кандидата, а не просто случайное совпадение того, что он знает с тем, что знаете вы. Например, в моих задачах уже давно нет ни слова про Skyeng, и это только помогает мне скринить.

(На самом деле номер один и два крайне близки по частоте встречаемости. Под вторым номером тоже крайне популярный вопрос)

Оно же:

Короче, про метрики.

Все с ума посходили с этими метриками. Скоро как мантры будут видимо читать. Произнесите протяжно:

CAC LTV LTV NPээээээS

CAC LTV LTV NPээээээS

Похоже на продуктовый ом-мани-падме-хум. И каждый монах должен эти мантры знать и работать с ними в меру своего разумения. И это будет модной темой на скрининге до тех пор, пока кандидаты не перестанут в этом плавать (а они все не перестают).

Кстати, я считаю, что это правильно (ха-ха, да, я туда же). Ну просто работа в терминах метрик это самый простой способ начать задавать себе вопрос «а на хрена мы это вообще делаем?», а значит и находить другие варианты действия, а не только те, которые сходу пришли в голову.

Совет кандидатам: умейте рассказать о своем продукте, о чужом продукте, о своей семье и о своей собаке в терминах метрик. И я не шучу про собаку, это реальный вопрос с собеседования. Тренируйтесь, на деле это достаточно простой навык.

Нанимающим: попробуйте задавать тот же вопрос с подковыркой. Первое, что делает кандидат, когда видит такой вопрос — лезет в гугл, забивает туда «какие метрики бывают у продукта», и начинает про них что-нибудь умно рассказывать.

Перефразируйте это так, чтобы нужно было включать мозг. Например, задайте вопрос: «В продукте X измеряется NPS. Последний месяц он понизился на Y%. Какие могут быть причины? Выпишите гипотезы, как нам его увеличить? Можете ли вы сказать, как с этим связано изменение churn? Предложите дополнительные метрики, на которые нужно обратить внимание в этом случае?». Короче, заставьте кандидата поломать голову.

Оно же:

В общем, это вопрос из той эпохи, когда то, что сейчас называется продакт-менеджментом, было просто куском маркетинга.

Продакту конечно крайне необходимо это все знать и уметь, поэтому вопрос годный. Но есть и минус — высокая сложность выполнения. На кривой козе к анализу рынка не подъедешь и за пару часов не сделаешь. В итоге кандидаты вынуждены делать крайне поверхностный анализ в стиле «ничего обо всем».

Самые умные кандидаты в этом случае делают поверхностный обзор по всему спектру проблем, при этом отдельно углубляются в какую-то частную проблему, давая понять, что они могли бы покопать и глубже, будь у них время.

Из этого и рождается первый совет.

Нанимающим: проблемой для нанимающего менеджера является то, что каждый из успешных испытуемых в этом случае углубляется в что-то свое, таким образом их становится сложно сравнить между собой.

Поэтому совет следующий — прикидывайте по времени, сколько должно занять выполнение задания и прямо пишите, какую тему вы бы хотели раскрыть подробнее.

Кандидатам: при анализе рынков всегда вспоминайте конечные пользовательские метрики и думайте о конкуренции именно в их контексте. См. предыдущий вопрос. Так, например, вы обнаружите, что ближайшие конкуренты Netflix это соцсети и сон, а вовсе даже не обязательно кинотеатры.

Не забывайте, что многие продукты имеют сложную бизнес-модель и разные категории участников, у которых есть разные интересы. Так, простейший пример про Фейсбук. Его истиными клиентами являются рекламодатели, а пользователи и их внимание по сути товар, который предлагается им к покупке.

И работа происходит на двух разных рынках — рынке привлечения внимания пользователей и рынке продажи рекламы. Или Skyeng — это рынок услуг для клиентов и одновременно рынок работы для преподавателей. Ваш анализ рынка обязан учитывать наличие таких нюансов.

Оно же:

Лично я считаю этот тип заданий самым важным для уровня джун-мидл. На этом уровне обычно вам еще говорят, что нужно делать, поэтому высокие материи про метрики и позиционирование в реальности уходят на второй план, хотя про них и любят спрашивать. Зато от вас ждут предложений нормальных решений.

Данное задание показывает то, как кандидат умеет связать теоретические построения в голове с осязаемым результатом на выходе. Продакт может сколько угодно ходить на митинги и выражаться красивыми словами, но если из-под него не выходит документации и других реальных артефактов, то он идет лесом :)

Проверяют:

Советы кандидатам: не пренебрегайте картинками и макетами. Они делают любую документацию в 10 раз понятнее. Объясняйте ход своих мыслей в комментариях или сносках. Ценится логичность и последовательность рассуждений, а не только итоговая правильность.

Нанимающим: В данном задании проверяются практические навыки кандидата, а не стратегический вижен. Поэтому старайтесь сужать формулировку задания. Например, вместо предложения перепроектировать всю воронку, предложите улучшить один экран или кейс. Так вам будет намного проще сравнивать кандидатов между собой.

А пятого нет. Дальше повторяемость исчезает и начинают идти различные вопросы, которые не складываются в какую-либо четкую систему. Они есть почти у каждой компании, при этом у каждой свои и не встречаются у других.

Это могут быть вопросы типа «что такое идеальный продукт?» Или задачки из разряда «есть два эксперимента, какой сам сделаешь а какой коллеге предложишь?»

В общем, всякая всячина, поэтому сильно рассматривать ее не будем.

Следует помнить, что чем более странный и нетипичный вопрос попался в тестовом, тем более сложно отскринить по нему кандидатов. До такой степени, что проверяющий может перестать рассматривать этот вопрос при оценке. Это я могу сказать по собственному опыту задавания странных вопросов :)

Поэтому первоочередное внимание обращайте на топ вопросов из списка. Вот их оценивать будут пристально.

Итого, мы рассмотрели основные типы вопросов, встречающихся в тестовых заданиях для продакт-менеджеров. Я их кратко прокомментировал.

И чтобы подвести точку, хочу представить вам ноу-хау!

Подставив в этот шаблон значения по вкусу, вы можете использовать его как скрининг для своих вакансий:

/// Ремарка для составителей тестовых. Обратите внимание, что на каждом шаге я НЕ предлагаю использовать результаты предыдущего шага, а задаю условия заранее. Так ошибки кандидатов на предыдущих шагах не будут мешать объективно воспринимать их результаты на следующем шаге

На этом спасибо, буду рад ответить на ваши комментарии.

Если вам понравился материал, то :

Глеб Кудрявцев, руководитель продуктов, Skyeng.

#продактменеджмент #наём