Тестовое задание для product manager. Школа продактов hh.ru

Введение

Хочу поделиться своим результатом решения тестового задания для Школы продактов hh.ru, по итогам которого, я прошел на следующий этап отбора и в дальнейшем был принят. В настоящее время я прохожу обучение в школе, которое состоит из лекций и воркшопов от опытных продактов из hh.

В этой статье, я немного порефлексирую и освежу свой взгляд на решение данного кейса. А так же собираюсь использовать ее для портфолио. Надеюсь, что для кого-то она будет полезной и/или занимательной.

Дисклеймер — на момент решения тестового у меня за плечами было прохождение небольшого бесплатного курса от Product Sense, симулятор GoPractice, некоторое количество просмотренных видео/прочитанных статей и нулевый опыт работы в IT-сфере.

Представленный в статье материал является примером решения тестового задания и не претендует на пособие по работе с реальным продуктом.

Описание кейса

Ниже представлены кейс и задачи к нему.

Первое что бросается в глаза — это ограничение по количеству слайдов на 4 объемных задания. Очевидно, эти задания можно было бы расписать более подробно на много слайдов, но, видимо, помимо знаний в продакт менеджменте, в данном тестовом было так же необходимо показать своё умение излагать мысли коротко и ясно. Кейс мне показался достаточно интересным, задачи понятными. Есть простор для того, чтобы проявить фантазию, а так же возможность продемонстрировать свои навыки.

Решение кейса:

Первый слайд я полностью посвятил решению Задачи 1. В ней необходимо проанализировать рынок и конкурентов, понять что нас выделяет на их фоне и составить образ продукта.

В первую очередь я решил составить образ продукта. В кейсе описана карьерная платформа, которая позволяет людям искать работу, обучаться и заниматься нетворкингом. Я представил это как некий гибрид социальной сети, онлайн-школы, классифайда с вакансиями и площадки для ведения блогов. В общем всё то, что у нас уже есть и чем мы все пользуемся, только собранное на одной платформе. Главной ценностью такого продукта будет возможность закрывать все карьерные потребности в одном месте.

После того как я собрал образ продукта, можно приступать к анализу рынка. Первым делом я пошел на известный ресурс для анализа веб-сервисов — similarweb.com. Триальный аккаунт дает возможность поверхностно проанализировать любой сайт по основным метрикам. Я проанализировал ресурсы на российском и ворлд-вайд рынках, которые отвечают одному или нескольким параметрам [социальная сеть, онлайн-школа, классифайд с вакансиями, площадка для ведения блогов о карьере]. Так как анализ аудитории hh показал мне, что подавляющая часть их пользователей — это люди из стран СНГ, а задачу масштабирования на международные рынки в данном кейсе мы не рассматриваем, я решил проигнорировать крупных игроков, которые не популярны среди людей из СНГ. В итоге у меня получился список из пяти российских и четырех зарубежных площадок, с которыми мы в первую очередь будем бороться за аудиторию:

  • VK
  • Habr
  • SuperJob
  • Skillbox
  • Работа. ру
  • Facebook
  • LinkedIn
  • Medium
  • Coursera

При желании можно было добавить еще больше конкурентов, но задание ограничивает меня по слайдам, и поэтому я остановился на самых крупных. Для наглядности добавил немного цифр (MAU и Monthly Visits), а так же сделал кликабельные ссылки в названиях конкурентов, которые ведут на их сайты, я считаю важными такие мелочи, ведь они позволяют продемонстрировать своё внимание к деталям в контексте решения тестового задания и немного повысить свою ценность для потенциального работодателя.

На фоне конкурентов такую площадку выгодно выделяло бы то, что на ней собраны все необходимые инструменты для развития карьеры, нетворкинга и поиска работы. А так же развитый более чем за 20 лет бренд hh и самая большая база резюме и вакансий в СНГ.

На втором слайде передо мной стоял челлендж уместить решение трёх оставшихся задач. Начал я с того, что сформулировал цель продукта и главные метрики для Задачи 2.

Цель продукта состоит в том, чтобы максимально наращивать постоянную аудиторию B2C, которая будет пользоваться платформой регулярно на всех этапах карьерного пути. А так же дать B2B клиентам инструменты для эффективного найма и развития HR-бренда за который они готовы платить.

Основная метрика — это долгосрочный Retention — возвращаемость пользователей на платформу в течении длительного периода времени. Данная метрика будет отлично демонстрировать удается ли нам создавать ценность и доносить её до пользователей, ведь если продукт не несет ценности, то зачем возвращаться в него? Закупить трафик и привести пользователя в продукт не такая сложная задача, как удержать его и превратить в постоянного.

Так же я выбрал такие метрики как LTV, ARPU, ROI, ROMI, DAU и Engagement Rate.

Почему я выбрал именно их?

DAU — Количество уникальных пользователей в сутки покажет насколько хорошо мы охватываем аудиторию;

LTV, ARPU — Две метрики, показывающие нам сколько мы зарабатываем с одного пользователя, помогут нам в расчетах юнит-экономики;

ROI, ROMI — Будут отражать насколько хорошо окупаются наши инвестиции;

Engagement Rate — Метрика вовлеченности пользователей, показывает насколько активно аудитория реагирует на контент (ставит лайки, пишет комментарии, делает репосты и тд.).

В Задаче 3 необходимо сгенерировать 3-5 гипотез направленных на повышение нашей ключевой метрики — долгосрочного Retention. Предложенные мной гипотезы можно посмотреть на слайде.

Дополнительно в задании требовалось приоритизировать гипотезы любым способом. Я решил приоритизировать их по сложности тестирования. Топ-1 гипотезой я выбрал «Бесплатный доступ к одному мини курсу каждый месяц», так как для ее проверки требуется наименьшее кол-во затрат, по сравнению с другими гипотезами. И тут мы плавно переходим к Задаче 4, в которой я описывал как бы я проверял влияние бесплатного доступа к мини курсу на долгосрочный Retention.

В A/B тесте контрольная и экспериментальная группы не должны влиять друг на друга. А в любой соц сети происходит сетевой эффект — когда на одного пользователя влияет мнение другого. На нашей платформе люди будут много общаться, нетворакать и обмениваться мнениями о сервисе. Тогда у тех, кто окажется в контрольной группе и не получит доступа к бесплатному курсу, может возникнуть недоумение, чувство несправедливости. Это делает контрольную группу совсем не контрольной, и более того, снижает лояльность к бренду.

Поэтому я решил, что правильнее будет провести тест в одном из регионов, с похожим поведением пользователей на сервисе, как в Москве и Санкт-Петербурге. Я предполагаю, что эти два региона самые больше для hh. Желательно, чтобы пользователи этого региона не очень часто коммуницировали с пользователями из других. К примеру, это может быть Беларусь или Казахстан или дальние регионы России, такие как Владивосток или Хабаровск. Сам эксперимент я представил в следующем виде:

  • Рассказываем людям о возможности получать один мини курс в месяц бесплатно с помощью пушей, рассылок и ярких баннеров;
  • Оцениваем конверсию в выбор одного из мини-курсов, чтобы понять насколько вообще пользователи заинтересованы в них;
  • Следим за Retention 1ой, 2ой, 3ей, 4ой недели. Это будет являться прокси-метрикой для долгосрочного Retention;
  • Сравниваем динамику Retention с другими регионами и принимаем решение.

Заключение

Подводя итог хочется сказать, что задание показалось мне достаточно интересным и увлекательным. Благодаря ему, мне удалось почувствовать себя в шкуре действующего продакта, попрактиковаться в анализе рынка и конкурентов, самостоятельно сгенерировать несколько гипотез — именно этих вещей не хватает во многих обучающих курсах, в которых обычно разбираются примеры, выполненные кем-то другим.

Сейчас я начинаю активный поиск работы и c нетерпением жду новых интересных тестовых заданий.

Желающих высказать свои мысли по поводу решения данного кейса или самой статьи буду ждать в комментариях или в телеграме @lev4e.

0
20 комментариев
Написать комментарий...
IQ MAXIMA

Достаточно интересный подход к постановке тестового задания. Честно говоря, такое можно брать и тестировать в дальнейшем самостоятельно, учитывая то, сколько таких заданий получает хх на этапе отбора соискателей.

Надеемся, что у Вас получится построить блистательную карьеру и получить крутой опыт работы с таким достойным проектом 👍

Ответить
Развернуть ветку
Lev Gumilevskii
Автор

Спасибо)

Ответить
Развернуть ветку
Иван Шатохин

1. Конкурентный анализ слабый, точней его нет. Кого с кем сравнили и по каким критериям не ясно. Правильно: нужно видеть ниши конкурентов/смысл их продукта, чтобы было понятно, где находимся мы (hh), а где они. Тут только траффик, который говорит о чем? Цифра ради цифры.
2. Интересно, в целях описано, что мы также B2B, а метрик таких нет. Или есть и они намешаны с B2C? Где деньги, карл? Совсем не ясно.

Подход хороший, но над структурированием еще надо работать.

Ответить
Развернуть ветку
Lev Gumilevskii
Автор

Спасибо за ценный фидбэк!

Ответить
Развернуть ветку
Alexander D

Почитал с интересом. Однако, основная цель любого бизнесового продукта это все же не наращивание аудитории, а зарабатывание денег. Через решение проблем этой самой аудитории.

Ответить
Развернуть ветку
Lev Gumilevskii
Автор

Спасибо!
Полностью согласен про деньги, стоило уделить этому больше внимания в решении тестового

Ответить
Развернуть ветку
Artem Novikov

Так-то retention должен быть как можно меньше, иначе сайт не выполняет свою задачу и человек никак не может найти работу заходя на сайт снова и снова 😄

Ответить
Развернуть ветку
Lev Gumilevskii
Автор

В данном кейсе мы рассматриваем hh не только как классифайд с вакансиями, но и как карьерную платформу для профессионального развития, обучения, нетворкинга и поиска работы в том числе. Для такой платформы retention должен быть высоким, подразумевается, что пользователи будут постоянно заходить на сайт независимо от статуса поиска работы.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Petr Osetr

Дуже гарно

Ответить
Развернуть ветку
Илья Ланкевич

Д.б. для оценки знаний и навыков это решение хорошее. Но для реальной жизни оно слишком straightforward (поддержу твоё «ворлд-вайд»:).
Дело в том, что допрасходы на Gain creators/enablers это ожидаемо, нормально, но эффект по метрике должен значимо превосходить «раздать продукт бесплатно». Короче, любой твой коллега на новой работе скорее всего тоже предложил бы бесплатные плюшки (курсы).
Да так и поступает куст VK.

Ответить
Развернуть ветку
Корпоративный психолог

очень интересный подход, возьмем на вооружение)

Ответить
Развернуть ветку
Raufjan rafiki

увидел рекламу, заинтересовался! Прошел по ссылке, красивый сайт. "НАБОР В 2022 ЗАКРЫТ" - увидел в конце))

Ответить
Развернуть ветку
Приван Строкаванов

Так уже 2023 наступил)

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Женя Гагарин

"Закупить трафик и привести пользователя в продукт не такая сложная задача" - Рили ?
Не сложная, если мы будем продавать рубль за 80 копеек.
А вы попробуйте платным трафиком положительный ROI показать. Не так уж и просто уже ?

Ответить
Развернуть ветку
Artem

Прямо сейчас так делают тысячи людей на очень конкурентных рынках.
Но и AMPPU>CAC может стабилизироваться на горизонте нескольких месяцев. Как и AMPU>ClickCost

Ответить
Развернуть ветку
Женя Гагарин

а может и не стабилизироваться и вы превращаетесь в Убер

Ответить
Развернуть ветку
Artem

Может и не стабилизироваться, главное, что мы можем это понять и решить ОК это нам или нет. Возможно, мы хотим стать Уберем и нам пофиг

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
17 комментариев
Раскрывать всегда