Идеальное тестовое для продакта: самые популярные вопросы при найме

Есть у меня хобби — нанимать продактов. Ну как хобби, рабочая необходимость. За последние 4 года я провел несколько сотен собеседований и нанял пару десятков человек. Но до сих пор делаю это не идеально и постоянно учусь.

Поэтому недавно я решил освежить знания по рынку, кто и как это делает. А для этого кинул клич в FB прислать мне тестовые задания из разных компаний (тестовые — это суть найма, кто их не дает или у кого кандидаты не хотят их делать, тот просто не вкурил тему).

И нашлись классные товарищи, которые это сделали. Им ушли мои глубочайшие респекты, а также тестовые, составленные мной лично с краткими комментариями.

Я продолжаю эту акцию и собираю коллекцию тестовых заданий продактов. Вы можете поделиться своими материалами. То есть то, что вы даете кандидатам, либо сами получали как кандидат. Все это абсолютно анонимно. В ответ я пришлю те тестовые, которые придумал и давал сам.

Так вот, у меня есть на руках множество тестовых из самых топовых компаний рунета. Что дальше?

Дальше можно было бы углубиться в то, какие качества требуются от продакта. Однако я не хочу. Есть прекрасная табличка от Егора Руди, и в целом я с ней согласен. Ее можно брать и использовать в работе.

Но одно дело теория, а другое дело посмотреть, кого же компании ищут на самом деле. На самом деле — значит именно эти качества пытаются отобрать на скрининге. В тестовых и в собеседованиях.

Собеседования идут по софт-скиллам и там дофига вопросов, поэтому их анализ дается сложновато. Ну то есть я тоже их собирал и компилировал опросники, но это пока готово сугубо для внутреннего пользования, то есть для меня.

А вот с тестовыми все оказалось намного понятнее, вопросы быстро начали повторяться, и сегодня я с вами смогу поделиться выводами.

Это будет не статистика (доверительные интервалы, размер выборки и так далее идет нафиг, ибо столько данных нету).

Так что чистый хардкор: экспертность и кейсовость =) Короче, самая мякотка.

Далее я приведу самые популярные вопросы в тестовых заданиях для продакта с моими комментариями. Бонусом — идеальное тестовое, которое включает их все.

Пойдем по частоте встречаемости. Наверху — самые популярные. Сами вопросы я перефразировал так, чтобы выделить среди них основную суть.

Погнали!

Номер один. Составление бэклога

Оно же:

  • Предложите способы вырастить метрику X?
  • Придумайте фичи и приоритизируйте бэклог.
  • Как улучшить продукт Y?

Логично.

Продакту нужно бы знать, что делать с продуктом. Его в общем-то для этого нанимают и хочется, чтобы он делал именно ту дичь, которую от него ожидают. Кстати, совпадение с ожиданиям это важно, ибо критерии оценки у разных компаний могут быть диаметрально противоположны, хотя здесь и есть какие-то общие тенденции.

Этот вопрос так или иначе встречается чуть ли не в каждом задании.

Что стоит отметить. Компании очень любят спрашивать в тестовых про себя любимых. Я считаю, что это антипаттерн. Он сильно ограничивает кандидата по сравнению с проверяющим по количеству априорных знаний о продукте.

В итоге тестовые превращаются не в проверку аналитических скиллов, а в «угадай, над чем мы прямо сейчас ломаем голову». Вдобавок, кандидаты не любят такое делать, ибо думают, что вы украдете у них идеи (это, конечно, бред, но это понимают только те, кто уже прочитал пару сотен тестовых с одними и теми же идеями).

Поэтому советы по данному вопросу следующие:

Кандидатам: тренируйтесь составлять бэклоги и придумывать, что нужно сделать в продукте X, отталкиваясь от метрик.

Нанимающим: перефразируйте кейс на синтетическую компанию, или какую-то компанию с рынка, но не вашу. Вам важно не знать о проблеме слишком много специфической информации. Только так вы сможете корректно оценить уровень мышления кандидата, а не просто случайное совпадение того, что он знает с тем, что знаете вы. Например, в моих задачах уже давно нет ни слова про Skyeng, и это только помогает мне скринить.

Номер два. Выбор метрик

(На самом деле номер один и два крайне близки по частоте встречаемости. Под вторым номером тоже крайне популярный вопрос)

Оно же:

  • Выберите метрики, с помощью которых мы поймем, что продукт X (хороший/плохой/какой вообще?)
  • На какие метрики вы будете смотреть, составляя бэклог?

Короче, про метрики.

Все с ума посходили с этими метриками. Скоро как мантры будут видимо читать. Произнесите протяжно:

CAC LTV LTV NPээээээS

CAC LTV LTV NPээээээS

Похоже на продуктовый ом-мани-падме-хум. И каждый монах должен эти мантры знать и работать с ними в меру своего разумения. И это будет модной темой на скрининге до тех пор, пока кандидаты не перестанут в этом плавать (а они все не перестают).

Кстати, я считаю, что это правильно (ха-ха, да, я туда же). Ну просто работа в терминах метрик это самый простой способ начать задавать себе вопрос «а на хрена мы это вообще делаем?», а значит и находить другие варианты действия, а не только те, которые сходу пришли в голову.

Совет кандидатам: умейте рассказать о своем продукте, о чужом продукте, о своей семье и о своей собаке в терминах метрик. И я не шучу про собаку, это реальный вопрос с собеседования. Тренируйтесь, на деле это достаточно простой навык.

Нанимающим: попробуйте задавать тот же вопрос с подковыркой. Первое, что делает кандидат, когда видит такой вопрос — лезет в гугл, забивает туда «какие метрики бывают у продукта», и начинает про них что-нибудь умно рассказывать.

Перефразируйте это так, чтобы нужно было включать мозг. Например, задайте вопрос: «В продукте X измеряется NPS. Последний месяц он понизился на Y%. Какие могут быть причины? Выпишите гипотезы, как нам его увеличить? Можете ли вы сказать, как с этим связано изменение churn? Предложите дополнительные метрики, на которые нужно обратить внимание в этом случае?». Короче, заставьте кандидата поломать голову.

Номер три. Классический маркетинг

Оно же:

  • Проанализируйте рынок X.
  • Отсегментируйте пользователей, проанализируйте конкурентов?
  • Какие каналы/стратегию продвижения изберете?

В общем, это вопрос из той эпохи, когда то, что сейчас называется продакт-менеджментом, было просто куском маркетинга.

Продакту конечно крайне необходимо это все знать и уметь, поэтому вопрос годный. Но есть и минус — высокая сложность выполнения. На кривой козе к анализу рынка не подъедешь и за пару часов не сделаешь. В итоге кандидаты вынуждены делать крайне поверхностный анализ в стиле «ничего обо всем».

Самые умные кандидаты в этом случае делают поверхностный обзор по всему спектру проблем, при этом отдельно углубляются в какую-то частную проблему, давая понять, что они могли бы покопать и глубже, будь у них время.

Из этого и рождается первый совет.

Нанимающим: проблемой для нанимающего менеджера является то, что каждый из успешных испытуемых в этом случае углубляется в что-то свое, таким образом их становится сложно сравнить между собой.

Поэтому совет следующий — прикидывайте по времени, сколько должно занять выполнение задания и прямо пишите, какую тему вы бы хотели раскрыть подробнее.

Кандидатам: при анализе рынков всегда вспоминайте конечные пользовательские метрики и думайте о конкуренции именно в их контексте. См. предыдущий вопрос. Так, например, вы обнаружите, что ближайшие конкуренты Netflix это соцсети и сон, а вовсе даже не обязательно кинотеатры.

Не забывайте, что многие продукты имеют сложную бизнес-модель и разные категории участников, у которых есть разные интересы. Так, простейший пример про Фейсбук. Его истиными клиентами являются рекламодатели, а пользователи и их внимание по сути товар, который предлагается им к покупке.

И работа происходит на двух разных рынках — рынке привлечения внимания пользователей и рынке продажи рекламы. Или Skyeng — это рынок услуг для клиентов и одновременно рынок работы для преподавателей. Ваш анализ рынка обязан учитывать наличие таких нюансов.

Номер четыре. Проектирование MVP

Оно же:

  • Как проверить востребованность продукта X на рынке?
  • Напишите ТЗ для проверки гипотезы.
  • Опишите эксперимент
  • Как бы вы реализовали фичу Y?

Лично я считаю этот тип заданий самым важным для уровня джун-мидл. На этом уровне обычно вам еще говорят, что нужно делать, поэтому высокие материи про метрики и позиционирование в реальности уходят на второй план, хотя про них и любят спрашивать. Зато от вас ждут предложений нормальных решений.

— Мышки, станьте ежиками
— Сова, но как?
— Мое дело стратегия...

Данное задание показывает то, как кандидат умеет связать теоретические построения в голове с осязаемым результатом на выходе. Продакт может сколько угодно ходить на митинги и выражаться красивыми словами, но если из-под него не выходит документации и других реальных артефактов, то он идет лесом :)

Проверяют:

  • Соответствие достижения заявленной цели (в задании построить подводную лодку не нужно проектировать самолет).
  • Умение отделить главное от второстепенного.
  • Бережное отношение к ресурсам.
  • Вменяемость UX для пользователя.
  • Понятность для разработчиков.
  • Понимание того, как будут делаться выводы об успешности изменения/эксперимента..

Советы кандидатам: не пренебрегайте картинками и макетами. Они делают любую документацию в 10 раз понятнее. Объясняйте ход своих мыслей в комментариях или сносках. Ценится логичность и последовательность рассуждений, а не только итоговая правильность.

Нанимающим: В данном задании проверяются практические навыки кандидата, а не стратегический вижен. Поэтому старайтесь сужать формулировку задания. Например, вместо предложения перепроектировать всю воронку, предложите улучшить один экран или кейс. Так вам будет намного проще сравнивать кандидатов между собой.

Пятый вопрос?

А пятого нет. Дальше повторяемость исчезает и начинают идти различные вопросы, которые не складываются в какую-либо четкую систему. Они есть почти у каждой компании, при этом у каждой свои и не встречаются у других.

Это могут быть вопросы типа «что такое идеальный продукт?» Или задачки из разряда «есть два эксперимента, какой сам сделаешь а какой коллеге предложишь?»

В общем, всякая всячина, поэтому сильно рассматривать ее не будем.

Следует помнить, что чем более странный и нетипичный вопрос попался в тестовом, тем более сложно отскринить по нему кандидатов. До такой степени, что проверяющий может перестать рассматривать этот вопрос при оценке. Это я могу сказать по собственному опыту задавания странных вопросов :)

Поэтому первоочередное внимание обращайте на топ вопросов из списка. Вот их оценивать будут пристально.

Итого, мы рассмотрели основные типы вопросов, встречающихся в тестовых заданиях для продакт-менеджеров. Я их кратко прокомментировал.

И чтобы подвести точку, хочу представить вам ноу-хау!

Шаблон тестового задания для продакта, включающее все четыре самых популярных вопроса от гигантов индустрии

Подставив в этот шаблон значения по вкусу, вы можете использовать его как скрининг для своих вакансий:

  • Кратко проанализируйте рыночное положение продукта [X]. Опишите подробнее: [сегменты пользователей/конкурентов/стратегию продвижения/whatever]
  • Какие метрики бы вы развивали в этом продукте? Чем бы вы занялись в первую очередь? Аргументируйте.
  • В вашей зоне ответственности метрика [Y]. Проанализируйте гипотезы, как можно ее улучшить? Выполните приоритизацию? Какую бы из них вы брали в работу в первую очередь?
  • Ваш руководитель хочет провести эксперимент по проверке гипотезы [Z]. Предложите план эксперимента, составьте техническое задание для его реализации (реализацию представить в формате [удобный вам формат]).

/// Ремарка для составителей тестовых. Обратите внимание, что на каждом шаге я НЕ предлагаю использовать результаты предыдущего шага, а задаю условия заранее. Так ошибки кандидатов на предыдущих шагах не будут мешать объективно воспринимать их результаты на следующем шаге

На этом спасибо, буду рад ответить на ваши комментарии.

Если вам понравился материал, то :

  • Подписывайтесь на телеграм-канал: t.me/glebkudr — там я пишу свои мысли и анонсирую лонгриды. Максимально без буллшита.
  • Присылайте мне тестовые, которые вам дают на позиции продакт-менеджеров, я собираю коллекцию (нужны формулировки заданий, а не результаты выполнения). В ответ я вышлю собственные варианты.

Глеб Кудрявцев, руководитель продуктов, Skyeng.

0
47 комментариев
Написать комментарий...
Mikhail Bezverkhy
Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Gleb Kudryavtcev
Автор
Берем мы шь, обмазываем говном, втыкаем в спину спички - и MVP ежыка готово

:) Из вас получится отличный продакт!

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Victor

Правильно senior кассир в 5чке стабилен и в пандемию

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Natalie Tarasova

Аж интересно, и чем вы теперь занимаетесь и в какой сфере?

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Natalie Tarasova

Спасибо) 

Ответить
Развернуть ветку
Nikolay Vavilov

Теперь смотрим на истории продактов - и большинство на вебинарах вам расскажут что на стали продактами, не зная / умея большинства из вышеперечисленных "must have"-ов. 

Ответить
Развернуть ветку
Artem Korsunov

Ну а что, fake it till you make it в полный рост — делаем из себя mvp продакта, ищем каналы трафика (вакансии) и продаём.

Ответить
Развернуть ветку
Denis Krivonosov

Призываю Ivano digital 

Ответить
Развернуть ветку
Andrew Sviridkov

Спасибо за статью!

@Gleb Kudryavtcev, а можно увидеть полный mindmap (или получить ссылку) из скриншота в разделе «Номер два. Выбор метрик»?

Ответить
Развернуть ветку
Gleb Kudryavtcev
Автор

Ну он все же приватный, я открыл ту часть, которую могу публично открыть :) Можем так договориться - если соберете человек 10 заинтересованных, то я в формате стрима просто покажу что как на таком майндмэпе делается, ну или просто вместе составим аналогичный. Можем в ФБ списаться. 

Ответить
Развернуть ветку
Gleb Kudryavtcev
Автор
Ответить
Развернуть ветку
Sergey Khorosh

Запишите меня в заинтересованных, пожалуйста :–)

Ответить
Развернуть ветку
Gleb Kudryavtcev
Автор

Проверим силу действия ставящих плюсики. Кто из вас соберет желающих и организует встречу? :) 

Ответить
Развернуть ветку
Yury Dyupin

Создал чат в телеграме. Добавляйтесь. Договоримся о времени.

Ответить
Развернуть ветку
Yury Dyupin
Ответить
Развернуть ветку
Денис Чудинов

А если кто-то заскринит и восстановит? ;)

Ответить
Развернуть ветку
Gleb Kudryavtcev
Автор

Я порадуюсь за него, что он приложил какие-то усилия, а не просто хочет, чтобы ему разжевали и в рот положили :) 

Ответить
Развернуть ветку
Алексей С

+1 к заинтересованным:)

Ответить
Развернуть ветку
Алексей Колдашев

+1

Ответить
Развернуть ветку
Artem Korsunov

++

Ответить
Развернуть ветку
Elena

+1

Ответить
Развернуть ветку
Игорь Уверский

Седьмой!  +

Ответить
Развернуть ветку
Дмитрий

+1, очень интересно

Ответить
Развернуть ветку
roman anufriev

+1

Ответить
Развернуть ветку
Yury Dyupin

+1

Ответить
Развернуть ветку
Aleks B

interesting

Ответить
Развернуть ветку
Борис Кузьмичёв

Спасибо за материал!

@Gleb Kudryavtcev Расскажите как-нибудь о soft-скиллах, которые важны для продактов. Есть ли какие-то особенно ценные или тут тоже все "в среднем по больнице" на Ваш взгляд? =)

Ответить
Развернуть ветку
Gleb Kudryavtcev
Автор

General-softs пожалуй примерно те же, что и для любого руководителя. Но вот конкретно для продактов я бы выделил один специфический навык - любознательность. Выявить ее можно через кругозор, любознательный человек волей-неволей узнает о мире разное, не ограничиваясь своей областью или специальностью, следит за трендами, ну и вообще, может поддержать разговор по любой теме. 
От этого в итоге рождается и насмотренность и "чуйка", а как результат - способность принимать правильные решения без необходимости дорогостоящих экспериментов. 

Ответить
Развернуть ветку
Aleks B

справедливо, гносеология типа характера решает

Ответить
Развернуть ветку
Roman Bednarsky

Годно. Спасибо.

Ответить
Развернуть ветку
Максим Каракулов

Глеб, спасибо, мегакрутой и суперполезный материал!

Ответить
Развернуть ветку
Константин Балцат

Спасибо, очень полезно!
Было бы круто найти прочитать еще статью о способах научиться, стать тем, кто легко пройдёт такое интервью)
@Gleb Kudryavtcev , Кстати, может в skyeng есть курсы для стажёров по продакту, возможность попасть в компанию и учиться изнутри?

Ответить
Развернуть ветку
Gleb Kudryavtcev
Автор

Стажеров в скаенге нет, но проблема стажерства и поиска работы на рынке для новичков существует. Есть мысли, как ее можно решать, поделюсь попозже :)

Ответить
Развернуть ветку
Константин Балцат

Было бы не плохо)
Так, в голову приходит только пилить свои проекты/старт ап, затем будет резюме и можно будет ходить по скаенгам

Может быть, когда-то скаенг и начнёт job shadowing..

Ответить
Развернуть ветку
Алексей Гуторов

Подпись к картинке Джун с синиором - "Чем бы джуниор не занимался Лишь бы зае..ался."

Ответить
Развернуть ветку
Sergey Matveev

Кисо с айфоном себе на собеседование позовите и тестируйте ее. Вы кем вообще себя мните Гуглом, Яблоком?  

Ответить
Развернуть ветку
Alex Raley

А кнопка "Start the English language journey" на главной www.skyeng.eu не работает специально? Как же мне начать знакомиться с продуктом, если я её пять раз нажал безрезультатно. И да, -   English Language is not really a destination but the journey to English Language, really is )

Ответить
Развернуть ветку
Gleb Kudryavtcev
Автор

Спасибо, передал кому нужно. На страницу льется мало трафика, пропустили. 

Ответить
Развернуть ветку
Anton Z.

слишком много опечаток... поправьте

Ответить
Развернуть ветку
Gleb Kudryavtcev
Автор

Напишите в личку плз конкретные места - поправлю. 

Ответить
Развернуть ветку
Aleks B

ты продактов только для скайэнга набираешь или куда-то еще?

Ответить
Развернуть ветку
Gleb Kudryavtcev
Автор

Куда-то еще тоже набирал :) Например, помог выстроить воронку найма CPO в один небезызвестный фудтех. 

Ответить
Развернуть ветку
Alex Raley

 и вам спасибо за быструю реакцию!

Ответить
Развернуть ветку
44 комментария
Раскрывать всегда