Продуктовый процесс в «Везёт»: как всё устроено
Недавно директор по продукту «Везёт» Анатолий Кульбацкий рассказал о том, какие вопросы он задаёт на собеседовании продакт-менеджеру. Команда собрана, поэтому настало время рассказать, как мы работаем. Меня зовут Александр Токмаков, и в этой статье я подробно опишу, как устроен продуктовый процесс в нашей компании с позиции продакт-менеджера.
Отличная статья, видно хорошо проработанный продуктовый процесс. Письмо аналитика про A/B тест сделано круто, хоть это и шаблон и наверное глаз замыливается со временем читать его каждый раз детально. Мне интересно, как аналитик выбирает контрольную группу? Распределение новых и старых, как он определяет для теста? Количество людей в контрольной группе как он считает? Ведь нужно знать ожидаемую конверсию. У вас системного все сделано на всех этапах, а тут не очевидно. Вдруг, будет чему в этом смысле поучиться.
Спасибо за оценку.
По вопросу. Выборка. Если А/Б то берем только новых
- Распределение делегируем Firebase (там есть данный раздел). 50/50 обычно, если делаем А/А/Б, то по 33%
- Размер определяем на основании прогноза по приросту метрики. Обычно угадываем. Если все идет криво и нужно больше, то можем "пересобрать" эксперимент в Амплитуде. Обычно это влияет только на сроки сбора данных. Но благо у нас больше 1 млн МАУ и сотни тыс новых ежемесячно, поэтому проблемы подождать пару дней нет