Учимся управлять продуктом на основе аналитики и данных – мой опыт прохождения GoPractice

Меня зовут Андрей Григорьев, я руководитель команды PAD. Пару недель назад я закончил курс GoPractice и хочу поделиться теми ментальными моделями и методиками, которые я планирую внедрить в нашу работу.

Немного о нас, чтобы вы были в контексте. Мы в PAD team занимаемся маркетинговыми исследованиями, рекламным трафиком и тестированием MVP. В нашем подходе мы делаем большой упор на User Research: CustDev, Jobs to Be Done, исследование конкурентов, рынка в целом, анализ продукта клиента. Это важная часть успешной рекламной кампании.

Помимо этого, у нас есть собственный инкубатор идей, где мы тестируем разные бизнес-модели и гипотезы.

Как сейчас: мы сравниваем две цифры и видим, что А больше Б. На этом основании делаем вывод, что А лучше, чем Б. Например, такое часто происходит, когда речь идет о сравнении конверсии из кликов в инсталлы в двух рекламных кампаниях.

Как хотим: сравнивать эти цифры, используя доверительный интервал.

Будь то рекламная кампания или продуктовая работа, мы вынуждены замерять конверсии на определенных выборках пользователей. Реальную конверсию, увы, мы знать не можем (только если у нас нет доступа к черной магии).

Очень важно понять разницу между реальной конверсией (Q) и оценкой реальной конверсии на основе конкретной выборки пользователей (T). Первую мы не можем узнать без сверхъестественных способностей, вторую видим в системе аналитики.

Нам важно понимать, насколько цифра Т близка к значению Q. В этом и помогают доверительные интервалы.

Важное свойство доверительного интервала состоит в том, что его ширина снижается с увеличением количества пользователей в выборке.

А вот и формула расчета, где N – это число пользователей в выборке:

Но все можно сделать проще. Здесь достаточно ввести Sample Size (количество пользователей в выборке) и Percentage (конверсию).

Например:

Реальная конверсия будет с вероятностью 95% находиться в интервале от [2% - 0.27% ; 2% + 0.27%] или [1.73% ; 2.27%].

Часто бывают такие ситуации, что нам нужно сравнить две конверсии. Для этого есть сложная формула, но здесь показывать ее не буду. Ребята-красавцы специально для GoPractice написали сервис prodcalc.app, который заменяет формулы и упрощает жизнь.

Важное уточнение: если полученный интервал не включает 0, можно считать, что изменение конверсии статистически значимое. Если же интервал содержит 0, придется признать, что статистически значимой разницы между результатами нет.

Например. Источник Google Ads на объеме в 10 000 кликов дал конверсию в установку мобильного приложения 25%. А Facebook на объеме в 5 000 кликов дал конверсию 50%. Значимы ли эти различия? Давайте проверим.

Да, как мы видим, доверительный интервал не включает в себя ноль, а значит можно говорить, что конверсии отличаются. Таким образом, реальная конверсия в Facebook выше, чем в Google Play, в диапазоне с 23.4% до 26,6%.

Давайте для примера возьмем выборку поменьше: у Google Play – 10 пользователей, в Facebook – 5.

В результате у нас получился интервал, который включает в себя ноль. А значит, мы не можем утверждать, что есть статистическая разница между двумя конверсиями.

Как сейчас: хаотично описанный процесс экспериментов.

Как хотим: четкий структурированный процесс.

Часто в процессе работы мы оперируем «фактами», которые на самом деле являются гипотезами: в США живет больше бедных, чем богатых; наш продукт нужен людям, у всех есть такая потребность. В коммуникации внутри команды мы уже давно учимся останавливать такие выражения фразой «Это не факт, это гипотеза». И самый простой способ превратить гипотезу в факт – эксперимент.

По словам авторов GoPractice, одна из первых сложностей, с которой придется столкнуться, – это изменение парадигмы мышления. Здравый смысл и опыт подсказывают, что подавляющая часть экспериментов заканчивается неудачно, нужно постоянно все переделывать. Это вызывает естественное сопротивление в команде. Но без этого процесса путь к росту будет хаотичным и трудно достижимым.

Важно сразу подойти к эксперименту как к определенному алгоритму и хорошенько прописать что, как и сколько мы будем проверять. В итоге получается такая структура (на примере продукта):

Такой дизайн эксперимента можно составить для нашей контент-стратегии:

Эксперименты – важная часть развития как нашей команды, так и улучшения результатов у клиентов. Мы хотим развивать свободную культуру экспериментаторства.

Такой заголовок у одной из глав в обучении. Самый важный для меня вывод здесь: создание нового продукта – это поиск, а не реализация заранее продуманного плана.

Как вы наверняка знаете, Инстаграм первоначально был мобильным приложением, где можно зачекиниться, WhatsApp – приложением, где можно установить свой статус, а YouTube – дейтинг-платформой.

По словам авторов курса GoPractice, идеальный процесс создания продукта примерно такой:

Так, к сожалению, в реальной жизни бывает очень редко, потому что предприниматели ослеплены своей идеей и считают, что ничего проверять не нужно. А зря.

Как раз то, чем мы очень любим заниматься в PAD team. Искать, как можно эффективно дистрибутировать продукт.

«Создание эффективных каналов дистрибуции – это вторая ключевая продуктовая задача».

Создать ценность продукта сложно, но так же сложно найти способ и канал донесения этой ценности до аудитории.

Как только ценность продукта нащупана, нужно приступать к снятию второго по значимости риска – для вашего продукта не существует эффективного канала дистрибуции.

При работе с проектами клиентов мы в PAD team решаем эту задачу на стадии исследования и первой тестовой рекламной кампании. Пытаемся понять, в каких источниках и объемах можно добывать аудиторию, чтобы с юнит-экономикой все сходилось.

«Гипотеза роста – это гипотеза о том, как вы будете привлекать пользователей в продукт. Какие каналы дистрибуции вы будете использовать и как вы заставите их работать».

Сама гипотеза может звучать по-разному. Например:

Какие есть критерии доказанности у гипотезы роста? Олег Якубенков, автор курса, пишет, что гипотезу можно считать доказанной, если:

Автор приводит довольно много интересных примеров дистрибуции продукта:

Эти и другие истории можно преобразовать в несколько коротких уроков:

Но самое главное – нужно тестировать, тестировать и еще раз тестировать. Когда мы начинаем работу, то строим первые гипотезы на основе исследований, своего опыта и интуиции. Но все равно велик риск того, что гипотеза не подтвердиться и нужно копать дальше.

Один из принципов нашей компании: «Разбираемся в цифрах, а не в картинках». Мы всегда подходим с пылающим сердцем к чужому бизнесу и воспринимает его как свой. Поэтому мы понимаем, что картиночки, креативный креатив, – это все круто, но если не сходится юнит-экономика, отсутствует ROI по каналам дистрибуции, нет ретеншена – то вообще насрать на ваш креатив. Это не значит, что мы не придумываем что-то интересное. Напротив – креатив важен, но второстепенен по сравнению с цифрами.

GoPractice проносит через весь курс важную мысль о том, что можно доверять только (ну почти) цифрам. Одна из самых важных задач продакта – умение анализировать и интерпретировать цифры. Могу с уверенностью сказать, что одна из главных задач специалиста по рекламе та же – умение анализировать и интерпретировать цифры. При этом нужно уметь не только посмотреть сумму потраченных денег в кабинете и поделить на количество лидов, но и построить воронку, обязательно подумать, где можно найти рычаг, который сможет улучшить показатели и воронки, и финансового здоровья бизнеса.

9 месяцев назад к нам пришло понимание, что без качественных исследований мы не сможем развиваться и делать эффективную рекламу для наших клиентов. При этом у одного из членов нашей команды на тот момент было пройдено два обучения – по продакт-менеджменту и Custdev-интервью. Поэтому мы начали переносить то, чему он научился на клиентов. После пары успешных кейсов поняли, что во многом здесь собака и зарыта – при качественном исследовании аудитории, рынка, конкурентов мы пробиваем стену между продуктом клиента и пользователем. Еще, кстати, часто помогаем компаниям менять продукты в ту сторону, где будут клиенты. Но это другая история для отдельной статьи.

Когда вы запускаете продукт и ныряете в бесконечный мир дистрибуции в поисках своего корабля, исследование должно стать вашим фокусом внимания. Выдвигать гипотезы, проверять их, внедрять найденное, выдвигать новые гипотзы и снова проверять, внедрять. И так постоянно. Понимание болей клиентов, всех граней этих болей – лучшее, что вы можете сделать, на каком бы этапе вы ни были.

В этом материале я описал маленькую часть курса GoPractice. Он раскрывает гораздо больше аспектов работы, в первую очередь, продакта. Переходите на сайт курса (заметьте, рефералки нет), переходите на наш сайт pad.team, оставляйте заявки (гипотезы же нужно проверять), а я пойду делать первые шаги по внедрению в работу всего, что описал.