Идеальное тестовое для продакта: самые популярные вопросы при найме

Есть у меня хобби — нанимать продактов. Ну как хобби, рабочая необходимость. За последние 4 года я провел несколько сотен собеседований и нанял пару десятков человек. Но до сих пор делаю это не идеально и постоянно учусь.

Поэтому недавно я решил освежить знания по рынку, кто и как это делает. А для этого кинул клич в FB прислать мне тестовые задания из разных компаний (тестовые — это суть найма, кто их не дает или у кого кандидаты не хотят их делать, тот просто не вкурил тему).

И нашлись классные товарищи, которые это сделали. Им ушли мои глубочайшие респекты, а также тестовые, составленные мной лично с краткими комментариями.

Я продолжаю эту акцию и собираю коллекцию тестовых заданий продактов. Вы можете поделиться своими материалами. То есть то, что вы даете кандидатам, либо сами получали как кандидат. Все это абсолютно анонимно. В ответ я пришлю те тестовые, которые придумал и давал сам.

Так вот, у меня есть на руках множество тестовых из самых топовых компаний рунета. Что дальше?

Дальше можно было бы углубиться в то, какие качества требуются от продакта. Однако я не хочу. Есть прекрасная табличка от Егора Руди, и в целом я с ней согласен. Ее можно брать и использовать в работе.

Но одно дело теория, а другое дело посмотреть, кого же компании ищут на самом деле. На самом деле — значит именно эти качества пытаются отобрать на скрининге. В тестовых и в собеседованиях.

Собеседования идут по софт-скиллам и там дофига вопросов, поэтому их анализ дается сложновато. Ну то есть я тоже их собирал и компилировал опросники, но это пока готово сугубо для внутреннего пользования, то есть для меня.

А вот с тестовыми все оказалось намного понятнее, вопросы быстро начали повторяться, и сегодня я с вами смогу поделиться выводами.

Это будет не статистика (доверительные интервалы, размер выборки и так далее идет нафиг, ибо столько данных нету).

Так что чистый хардкор: экспертность и кейсовость =) Короче, самая мякотка.

Идеальное тестовое для продакта: самые популярные вопросы при найме

Далее я приведу самые популярные вопросы в тестовых заданиях для продакта с моими комментариями. Бонусом — идеальное тестовое, которое включает их все.

Пойдем по частоте встречаемости. Наверху — самые популярные. Сами вопросы я перефразировал так, чтобы выделить среди них основную суть.

Погнали!

Номер один. Составление бэклога

Оно же:

  • Предложите способы вырастить метрику X?
  • Придумайте фичи и приоритизируйте бэклог.
  • Как улучшить продукт Y?

Логично.

Продакту нужно бы знать, что делать с продуктом. Его в общем-то для этого нанимают и хочется, чтобы он делал именно ту дичь, которую от него ожидают. Кстати, совпадение с ожиданиям это важно, ибо критерии оценки у разных компаний могут быть диаметрально противоположны, хотя здесь и есть какие-то общие тенденции.

Этот вопрос так или иначе встречается чуть ли не в каждом задании.

Что стоит отметить. Компании очень любят спрашивать в тестовых про себя любимых. Я считаю, что это антипаттерн. Он сильно ограничивает кандидата по сравнению с проверяющим по количеству априорных знаний о продукте.

В итоге тестовые превращаются не в проверку аналитических скиллов, а в «угадай, над чем мы прямо сейчас ломаем голову». Вдобавок, кандидаты не любят такое делать, ибо думают, что вы украдете у них идеи (это, конечно, бред, но это понимают только те, кто уже прочитал пару сотен тестовых с одними и теми же идеями).

Поэтому советы по данному вопросу следующие:

Кандидатам: тренируйтесь составлять бэклоги и придумывать, что нужно сделать в продукте X, отталкиваясь от метрик.

Нанимающим: перефразируйте кейс на синтетическую компанию, или какую-то компанию с рынка, но не вашу. Вам важно не знать о проблеме слишком много специфической информации. Только так вы сможете корректно оценить уровень мышления кандидата, а не просто случайное совпадение того, что он знает с тем, что знаете вы. Например, в моих задачах уже давно нет ни слова про Skyeng, и это только помогает мне скринить.

Идеальное тестовое для продакта: самые популярные вопросы при найме

Номер два. Выбор метрик

(На самом деле номер один и два крайне близки по частоте встречаемости. Под вторым номером тоже крайне популярный вопрос)

Оно же:

  • Выберите метрики, с помощью которых мы поймем, что продукт X (хороший/плохой/какой вообще?)
  • На какие метрики вы будете смотреть, составляя бэклог?

Короче, про метрики.

Все с ума посходили с этими метриками. Скоро как мантры будут видимо читать. Произнесите протяжно:

CAC LTV LTV NPээээээS

CAC LTV LTV NPээээээS

Похоже на продуктовый ом-мани-падме-хум. И каждый монах должен эти мантры знать и работать с ними в меру своего разумения. И это будет модной темой на скрининге до тех пор, пока кандидаты не перестанут в этом плавать (а они все не перестают).

Кстати, я считаю, что это правильно (ха-ха, да, я туда же). Ну просто работа в терминах метрик это самый простой способ начать задавать себе вопрос «а на хрена мы это вообще делаем?», а значит и находить другие варианты действия, а не только те, которые сходу пришли в голову.

Совет кандидатам: умейте рассказать о своем продукте, о чужом продукте, о своей семье и о своей собаке в терминах метрик. И я не шучу про собаку, это реальный вопрос с собеседования. Тренируйтесь, на деле это достаточно простой навык.

Нанимающим: попробуйте задавать тот же вопрос с подковыркой. Первое, что делает кандидат, когда видит такой вопрос — лезет в гугл, забивает туда «какие метрики бывают у продукта», и начинает про них что-нибудь умно рассказывать.

Перефразируйте это так, чтобы нужно было включать мозг. Например, задайте вопрос: «В продукте X измеряется NPS. Последний месяц он понизился на Y%. Какие могут быть причины? Выпишите гипотезы, как нам его увеличить? Можете ли вы сказать, как с этим связано изменение churn? Предложите дополнительные метрики, на которые нужно обратить внимание в этом случае?». Короче, заставьте кандидата поломать голову.

Идеальное тестовое для продакта: самые популярные вопросы при найме

Номер три. Классический маркетинг

Оно же:

  • Проанализируйте рынок X.
  • Отсегментируйте пользователей, проанализируйте конкурентов?
  • Какие каналы/стратегию продвижения изберете?

В общем, это вопрос из той эпохи, когда то, что сейчас называется продакт-менеджментом, было просто куском маркетинга.

Продакту конечно крайне необходимо это все знать и уметь, поэтому вопрос годный. Но есть и минус — высокая сложность выполнения. На кривой козе к анализу рынка не подъедешь и за пару часов не сделаешь. В итоге кандидаты вынуждены делать крайне поверхностный анализ в стиле «ничего обо всем».

Самые умные кандидаты в этом случае делают поверхностный обзор по всему спектру проблем, при этом отдельно углубляются в какую-то частную проблему, давая понять, что они могли бы покопать и глубже, будь у них время.

Из этого и рождается первый совет.

Нанимающим: проблемой для нанимающего менеджера является то, что каждый из успешных испытуемых в этом случае углубляется в что-то свое, таким образом их становится сложно сравнить между собой.

Поэтому совет следующий — прикидывайте по времени, сколько должно занять выполнение задания и прямо пишите, какую тему вы бы хотели раскрыть подробнее.

Кандидатам: при анализе рынков всегда вспоминайте конечные пользовательские метрики и думайте о конкуренции именно в их контексте. См. предыдущий вопрос. Так, например, вы обнаружите, что ближайшие конкуренты Netflix это соцсети и сон, а вовсе даже не обязательно кинотеатры.

Не забывайте, что многие продукты имеют сложную бизнес-модель и разные категории участников, у которых есть разные интересы. Так, простейший пример про Фейсбук. Его истиными клиентами являются рекламодатели, а пользователи и их внимание по сути товар, который предлагается им к покупке.

И работа происходит на двух разных рынках — рынке привлечения внимания пользователей и рынке продажи рекламы. Или Skyeng — это рынок услуг для клиентов и одновременно рынок работы для преподавателей. Ваш анализ рынка обязан учитывать наличие таких нюансов.

Номер четыре. Проектирование MVP

Оно же:

  • Как проверить востребованность продукта X на рынке?
  • Напишите ТЗ для проверки гипотезы.
  • Опишите эксперимент
  • Как бы вы реализовали фичу Y?

Лично я считаю этот тип заданий самым важным для уровня джун-мидл. На этом уровне обычно вам еще говорят, что нужно делать, поэтому высокие материи про метрики и позиционирование в реальности уходят на второй план, хотя про них и любят спрашивать. Зато от вас ждут предложений нормальных решений.

— Мышки, станьте ежиками
— Сова, но как?
— Мое дело стратегия...

Данное задание показывает то, как кандидат умеет связать теоретические построения в голове с осязаемым результатом на выходе. Продакт может сколько угодно ходить на митинги и выражаться красивыми словами, но если из-под него не выходит документации и других реальных артефактов, то он идет лесом :)

Проверяют:

  • Соответствие достижения заявленной цели (в задании построить подводную лодку не нужно проектировать самолет).
  • Умение отделить главное от второстепенного.
  • Бережное отношение к ресурсам.
  • Вменяемость UX для пользователя.
  • Понятность для разработчиков.
  • Понимание того, как будут делаться выводы об успешности изменения/эксперимента..

Советы кандидатам: не пренебрегайте картинками и макетами. Они делают любую документацию в 10 раз понятнее. Объясняйте ход своих мыслей в комментариях или сносках. Ценится логичность и последовательность рассуждений, а не только итоговая правильность.

Нанимающим: В данном задании проверяются практические навыки кандидата, а не стратегический вижен. Поэтому старайтесь сужать формулировку задания. Например, вместо предложения перепроектировать всю воронку, предложите улучшить один экран или кейс. Так вам будет намного проще сравнивать кандидатов между собой.

Идеальное тестовое для продакта: самые популярные вопросы при найме

Пятый вопрос?

А пятого нет. Дальше повторяемость исчезает и начинают идти различные вопросы, которые не складываются в какую-либо четкую систему. Они есть почти у каждой компании, при этом у каждой свои и не встречаются у других.

Это могут быть вопросы типа «что такое идеальный продукт?» Или задачки из разряда «есть два эксперимента, какой сам сделаешь а какой коллеге предложишь?»

В общем, всякая всячина, поэтому сильно рассматривать ее не будем.

Следует помнить, что чем более странный и нетипичный вопрос попался в тестовом, тем более сложно отскринить по нему кандидатов. До такой степени, что проверяющий может перестать рассматривать этот вопрос при оценке. Это я могу сказать по собственному опыту задавания странных вопросов :)

Поэтому первоочередное внимание обращайте на топ вопросов из списка. Вот их оценивать будут пристально.

Итого, мы рассмотрели основные типы вопросов, встречающихся в тестовых заданиях для продакт-менеджеров. Я их кратко прокомментировал.

И чтобы подвести точку, хочу представить вам ноу-хау!

Шаблон тестового задания для продакта, включающее все четыре самых популярных вопроса от гигантов индустрии

Подставив в этот шаблон значения по вкусу, вы можете использовать его как скрининг для своих вакансий:

  • Кратко проанализируйте рыночное положение продукта [X]. Опишите подробнее: [сегменты пользователей/конкурентов/стратегию продвижения/whatever]
  • Какие метрики бы вы развивали в этом продукте? Чем бы вы занялись в первую очередь? Аргументируйте.
  • В вашей зоне ответственности метрика [Y]. Проанализируйте гипотезы, как можно ее улучшить? Выполните приоритизацию? Какую бы из них вы брали в работу в первую очередь?
  • Ваш руководитель хочет провести эксперимент по проверке гипотезы [Z]. Предложите план эксперимента, составьте техническое задание для его реализации (реализацию представить в формате [удобный вам формат]).

/// Ремарка для составителей тестовых. Обратите внимание, что на каждом шаге я НЕ предлагаю использовать результаты предыдущего шага, а задаю условия заранее. Так ошибки кандидатов на предыдущих шагах не будут мешать объективно воспринимать их результаты на следующем шаге

На этом спасибо, буду рад ответить на ваши комментарии.

Если вам понравился материал, то :

  • Подписывайтесь на телеграм-канал: t.me/glebkudr — там я пишу свои мысли и анонсирую лонгриды. Максимально без буллшита.
  • Присылайте мне тестовые, которые вам дают на позиции продакт-менеджеров, я собираю коллекцию (нужны формулировки заданий, а не результаты выполнения). В ответ я вышлю собственные варианты.

Глеб Кудрявцев, руководитель продуктов, Skyeng.

9999
47 комментариев
27
Ответить

Комментарий недоступен

20
Ответить

Берем мы шь, обмазываем говном, втыкаем в спину спички - и MVP ежыка готово

:) Из вас получится отличный продакт!

12
Ответить

Теперь смотрим на истории продактов - и большинство на вебинарах вам расскажут что на стали продактами, не зная / умея большинства из вышеперечисленных "must have"-ов. 

6
Ответить

Ну а что, fake it till you make it в полный рост — делаем из себя mvp продакта, ищем каналы трафика (вакансии) и продаём.

7
Ответить

Призываю Ivano digital 

5
Ответить

Спасибо за статью!

@Gleb Kudryavtcev, а можно увидеть полный mindmap (или получить ссылку) из скриншота в разделе «Номер два. Выбор метрик»?

3
Ответить