Учимся управлять продуктом на основе аналитики и данных – мой опыт прохождения GoPractice

Меня зовут Андрей Григорьев, я руководитель команды PAD. Пару недель назад я закончил курс GoPractice и хочу поделиться теми ментальными моделями и методиками, которые я планирую внедрить в нашу работу.

Немного о нас, чтобы вы были в контексте. Мы в PAD team занимаемся маркетинговыми исследованиями, рекламным трафиком и тестированием MVP. В нашем подходе мы делаем большой упор на User Research: CustDev, Jobs to Be Done, исследование конкурентов, рынка в целом, анализ продукта клиента. Это важная часть успешной рекламной кампании.

Помимо этого, у нас есть собственный инкубатор идей, где мы тестируем разные бизнес-модели и гипотезы.

Статистическая значимость

Как сейчас: мы сравниваем две цифры и видим, что А больше Б. На этом основании делаем вывод, что А лучше, чем Б. Например, такое часто происходит, когда речь идет о сравнении конверсии из кликов в инсталлы в двух рекламных кампаниях.

Как хотим: сравнивать эти цифры, используя доверительный интервал.

Будь то рекламная кампания или продуктовая работа, мы вынуждены замерять конверсии на определенных выборках пользователей. Реальную конверсию, увы, мы знать не можем (только если у нас нет доступа к черной магии).

Очень важно понять разницу между реальной конверсией (Q) и оценкой реальной конверсии на основе конкретной выборки пользователей (T). Первую мы не можем узнать без сверхъестественных способностей, вторую видим в системе аналитики.

Нам важно понимать, насколько цифра Т близка к значению Q. В этом и помогают доверительные интервалы.

Это не совсем правильное определение [доверительного интервала] с математической точки зрения, но наиболее простое для понимания. Интерпретировать его надо следующим образом. Если вы получили оценку конверсии на основе выборки пользователей (T), а потом посчитали доверительный интервал [x,y] с уровнем доверия 95%, то в 95% случаев реальное значение конверсии будет находиться в пределах полученного вами интервала.

Важное свойство доверительного интервала состоит в том, что его ширина снижается с увеличением количества пользователей в выборке.

А вот и формула расчета, где N – это число пользователей в выборке:

Но все можно сделать проще. Здесь достаточно ввести Sample Size (количество пользователей в выборке) и Percentage (конверсию).

Например:

Реальная конверсия будет с вероятностью 95% находиться в интервале от [2% - 0.27% ; 2% + 0.27%] или [1.73% ; 2.27%].

Часто бывают такие ситуации, что нам нужно сравнить две конверсии. Для этого есть сложная формула, но здесь показывать ее не буду. Ребята-красавцы специально для GoPractice написали сервис prodcalc.app, который заменяет формулы и упрощает жизнь.

Важное уточнение: если полученный интервал не включает 0, можно считать, что изменение конверсии статистически значимое. Если же интервал содержит 0, придется признать, что статистически значимой разницы между результатами нет.

Например. Источник Google Ads на объеме в 10 000 кликов дал конверсию в установку мобильного приложения 25%. А Facebook на объеме в 5 000 кликов дал конверсию 50%. Значимы ли эти различия? Давайте проверим.

Да, как мы видим, доверительный интервал не включает в себя ноль, а значит можно говорить, что конверсии отличаются. Таким образом, реальная конверсия в Facebook выше, чем в Google Play, в диапазоне с 23.4% до 26,6%.

Давайте для примера возьмем выборку поменьше: у Google Play – 10 пользователей, в Facebook – 5.

В результате у нас получился интервал, который включает в себя ноль. А значит, мы не можем утверждать, что есть статистическая разница между двумя конверсиями.

Дизайн эксперимента

Как сейчас: хаотично описанный процесс экспериментов.

Как хотим: четкий структурированный процесс.

Часто в процессе работы мы оперируем «фактами», которые на самом деле являются гипотезами: в США живет больше бедных, чем богатых; наш продукт нужен людям, у всех есть такая потребность. В коммуникации внутри команды мы уже давно учимся останавливать такие выражения фразой «Это не факт, это гипотеза». И самый простой способ превратить гипотезу в факт – эксперимент.

По словам авторов GoPractice, одна из первых сложностей, с которой придется столкнуться, – это изменение парадигмы мышления. Здравый смысл и опыт подсказывают, что подавляющая часть экспериментов заканчивается неудачно, нужно постоянно все переделывать. Это вызывает естественное сопротивление в команде. Но без этого процесса путь к росту будет хаотичным и трудно достижимым.

Важно сразу подойти к эксперименту как к определенному алгоритму и хорошенько прописать что, как и сколько мы будем проверять. В итоге получается такая структура (на примере продукта):

  1. Гипотеза: чего и как хотим добиться. В ней мы должны раскрыть, как некоторое изменение даст определенный результат.
  2. Что делаем в продукте. Как выглядит опыт тестовой и контрольной группы.
  3. На каких пользователях тестируем: какие пользователи и в какой момент становятся частью эксперимента. К примеру, это может быть разный онбординг [что делаем] для закупаемых пользователей из одной социальной сети с одинаковым соцдемом [на каких пользователях].
  4. Ключевые метрики для оценки эксперимента: что должно поменяться, как это измерить. Например, Retention.
  5. Ожидаемый эффект -> размер выборки для эксперимента. Когда мы знаем ожидаемый эффект, то можем определить требуемую выборку для эксперимента.
  6. План действий в зависимости от результатов эксперимента. Если X, то делаем Y, если Z, то делаем Q.

Такой дизайн эксперимента можно составить для нашей контент-стратегии:

  1. Гипотеза: если мы будем писать как минимум одну статью в неделю на VC.RU, это принесет 3 лида в неделю.
  2. В продукте мы ничего не меняем.
  3. ЦА: читатели раздела «Маркетинг» на VC.RU
  4. Метрики для оценки: количество лидов на сайте pad.team. При этом неважно заполнят бриф или оставят короткую заявку, где будет только номер телефона и имя.
  5. Ожидаемый результат: 3 лида с одной статьи. Для того, чтобы понять, будет ли этот источник трафика давать постоянный результат, мы хотим написать 4 статьи в течение месяца.
  6. План действий: если одна статья в среднем даст больше одной заявки, мы строим полноценный контент-план для VC.RU. Если же статьи дают 0 или 1 заявку, мы отказываемся от идеи написания статей на VC.RU.

Эксперименты – важная часть развития как нашей команды, так и улучшения результатов у клиентов. Мы хотим развивать свободную культуру экспериментаторства.

Ищем ценность

Такой заголовок у одной из глав в обучении. Самый важный для меня вывод здесь: создание нового продукта – это поиск, а не реализация заранее продуманного плана.

Как вы наверняка знаете, Инстаграм первоначально был мобильным приложением, где можно зачекиниться, WhatsApp – приложением, где можно установить свой статус, а YouTube – дейтинг-платформой.

По словам авторов курса GoPractice, идеальный процесс создания продукта примерно такой:

  1. Выявляем главные гипотезы, которые должны подтвердиться, чтобы был смысл продолжать работу над продуктом.
  2. Максимально дешевая и быстрая проверка гипотез.
  3. Получение информации и формирование новых гипотез.
  4. Выход из цикла, когда все ключевые риски сняты.

Так, к сожалению, в реальной жизни бывает очень редко, потому что предприниматели ослеплены своей идеей и считают, что ничего проверять не нужно. А зря.

Гипотеза роста

Как раз то, чем мы очень любим заниматься в PAD team. Искать, как можно эффективно дистрибутировать продукт.

«Создание эффективных каналов дистрибуции – это вторая ключевая продуктовая задача».

Создать ценность продукта сложно, но так же сложно найти способ и канал донесения этой ценности до аудитории.

Для большинства компаний число эффективных каналов продаж тождественно равно нулю: чаще всего причиной краха бизнеса оказывается не плохое качество продукта, а проблемы с распространением. Сумев заставить работать как следует один единственный канал дистрибуции, вы построите грандиозный бизнес. Если вы попытаетесь задействовать несколько, но ни один не заработает, – вам конец.

Питер Тиль, «От 0 к 1»

Как только ценность продукта нащупана, нужно приступать к снятию второго по значимости риска – для вашего продукта не существует эффективного канала дистрибуции.

При работе с проектами клиентов мы в PAD team решаем эту задачу на стадии исследования и первой тестовой рекламной кампании. Пытаемся понять, в каких источниках и объемах можно добывать аудиторию, чтобы с юнит-экономикой все сходилось.

«Гипотеза роста – это гипотеза о том, как вы будете привлекать пользователей в продукт. Какие каналы дистрибуции вы будете использовать и как вы заставите их работать».

Сама гипотеза может звучать по-разному. Например:

  • Мы будем привлекать пользователей с помощью размещения рекламы у блогеров-эмигрантов в США.
  • Нашим ключевым каналом роста станет органическая выдача на YouTube по словам A, B и C.
  • Нашим главным источником продаж станут статьи на VC.RU

Какие есть критерии доказанности у гипотезы роста? Олег Якубенков, автор курса, пишет, что гипотезу можно считать доказанной, если:

  1. Найденный канал дистрибуции работает в плюс. То есть затраты на одного пользователя меньше, чем он принесет в будущем.
  2. Найденный канал способен обеспечить достаточное число пользователей.

Автор приводит довольно много интересных примеров дистрибуции продукта:

  • Blackberry – прямые продажи устройств через продавцов-евангелистов топ-менеджерам крупных компаний с последующей сделкой о переводе всей компании на использование Blackberry.
  • Мобильное приложение Moment считает, сколько времени пользователи проводят в разных приложениях – это PR + SEO (Search Engine Optimization). Приложение получило много обзоров в прессе, поэтому когда пользователи ищут в Google что-то про зависимость от телефона или социальных сетей, то попадают на статьи про Moment, а потом качают приложение после поиска его названия в App Store.
  • Hotmail – добавленный в конце каждого отправленного письма текст «Get your free email at HoTMaiL».

Эти и другие истории можно преобразовать в несколько коротких уроков:

  • Нет универсальных методов продвижения продуктов. Если у вашего друга с автомастерской отлично работает контекстная реклама, никто и ничто не гарантирует, что и у вас она принесет и окупаемых пользователей, и большой объем новых покупателей.
  • Продукт определяют доступные каналы дистрибуции. Чем сложнее продукт, тем более персонализированные каналы нужны для его распространения.
  • Стратегия дистрибуции влияет на продукт.
  • Крутые продукты растут сами собой – это заблуждение.
  • Выход на рынок через захват маленьких сегментов рынка – эффективная стратегия.

Правильнее считать дистрибуцию неотъемлемой частью дизайна вашего продукта. Если вы изобрели что-то новое, но не сумели придумать эффективный способ это продать – ваш бизнес никуда не годится вне зависимости от качества изобретения.

Питер Тиль, «От 0 к 1»

Но самое главное – нужно тестировать, тестировать и еще раз тестировать. Когда мы начинаем работу, то строим первые гипотезы на основе исследований, своего опыта и интуиции. Но все равно велик риск того, что гипотеза не подтвердиться и нужно копать дальше.

Цифры – важнее всего

Один из принципов нашей компании: «Разбираемся в цифрах, а не в картинках». Мы всегда подходим с пылающим сердцем к чужому бизнесу и воспринимает его как свой. Поэтому мы понимаем, что картиночки, креативный креатив, – это все круто, но если не сходится юнит-экономика, отсутствует ROI по каналам дистрибуции, нет ретеншена – то вообще насрать на ваш креатив. Это не значит, что мы не придумываем что-то интересное. Напротив – креатив важен, но второстепенен по сравнению с цифрами.

GoPractice проносит через весь курс важную мысль о том, что можно доверять только (ну почти) цифрам. Одна из самых важных задач продакта – умение анализировать и интерпретировать цифры. Могу с уверенностью сказать, что одна из главных задач специалиста по рекламе та же – умение анализировать и интерпретировать цифры. При этом нужно уметь не только посмотреть сумму потраченных денег в кабинете и поделить на количество лидов, но и построить воронку, обязательно подумать, где можно найти рычаг, который сможет улучшить показатели и воронки, и финансового здоровья бизнеса.

И снова про User Research

9 месяцев назад к нам пришло понимание, что без качественных исследований мы не сможем развиваться и делать эффективную рекламу для наших клиентов. При этом у одного из членов нашей команды на тот момент было пройдено два обучения – по продакт-менеджменту и Custdev-интервью. Поэтому мы начали переносить то, чему он научился на клиентов. После пары успешных кейсов поняли, что во многом здесь собака и зарыта – при качественном исследовании аудитории, рынка, конкурентов мы пробиваем стену между продуктом клиента и пользователем. Еще, кстати, часто помогаем компаниям менять продукты в ту сторону, где будут клиенты. Но это другая история для отдельной статьи.

Когда вы запускаете продукт и ныряете в бесконечный мир дистрибуции в поисках своего корабля, исследование должно стать вашим фокусом внимания. Выдвигать гипотезы, проверять их, внедрять найденное, выдвигать новые гипотзы и снова проверять, внедрять. И так постоянно. Понимание болей клиентов, всех граней этих болей – лучшее, что вы можете сделать, на каком бы этапе вы ни были.

В этом материале я описал маленькую часть курса GoPractice. Он раскрывает гораздо больше аспектов работы, в первую очередь, продакта. Переходите на сайт курса (заметьте, рефералки нет), переходите на наш сайт pad.team, оставляйте заявки (гипотезы же нужно проверять), а я пойду делать первые шаги по внедрению в работу всего, что описал.

0
19 комментариев
Написать комментарий...
Alexey Laptev

Это все ерунда

Приведите практические результаты в формате до и после

До курса выручка была такая то

После курса такая то

Потому что по советам курса сделали то то и то

Ответить
Развернуть ветку
PAD team
Автор

Сейчас написал вот такую ерунду, к сожалению. Речь же идет о внедрении инструментов, а не о том, что они уже работают. В планах есть материал о результатах. При этом многие инструменты не влияют на выручку в моменте, а курс я прошел только пару недель назад.

Ответить
Развернуть ветку
Сергей Королевский

Go Practice - переоцененное г**но. Уж простите за прямоту. 

Ответить
Развернуть ветку
Artem Korsunov

Что бы вы посоветовали как альтернативу?

Ответить
Развернуть ветку
Evgeniy

А вы проходили go practice? Поделитесь ссылкой на свой результат?

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Reb Rending

В серте бал поставили низкий, или что тебя обидело?

Ответить
Развернуть ветку
Михаил Горелышев

Клево. Спасибо!

Ответить
Развернуть ветку
Kira Nikolaev

Я зашел на сайт, потому что расписали интересно, да. Но прятать стоимость курса за форму регистрации с семью полями — иди ты нахер, Олег Якубенков, со своим курсом и симулятором.

Ответить
Развернуть ветку
Alex Kramer

Скачать бесплатно религия не позволяет? Много где лежит в относительно открытом доступе

Ответить
Развернуть ветку
Kira Nikolaev

не позволяет

Ответить
Развернуть ветку
Alex Kramer

Есть люди, которые покупают курсы, это как игромания. С горящими глазами им рассказывают в принципе банальные вещи, сподвигая на поступки. Дальше батарейка садится и им нужен очередной курс, неважно, что он диаметрально противоположен постулатам "замечательного предыдущего"...

Ответить
Развернуть ветку
PAD team
Автор

Но GoPractice – всего лишь мой третий купленный курс за 8 лет...

Ответить
Развернуть ветку
Alex Kramer

Хех, не лучшая аудитория для продавцов онлайн курсов, но и не потерянная. =)

Прочел отзыв, но ничего принципиально нового не увидел, вот серьезно.

Ответить
Развернуть ветку
Светлана Ленева

Спасибо за информацию. Так держать 

Ответить
Развернуть ветку
Nikita Radio

Напиши любую мысль на vc и точно получишь хейт 😅. Хотя как по мне лучше, чем практика нет ничего. Но иногда и курсы могут закрыть ту боль, которую раньше ты не понимал.

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Екатерина

Хотя как по мне лучше, чем практика нет ничего. 

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Роза Жакыпова

👍👍👍👍☝️☝️☝️☝️Молодцы 

Ответить
Развернуть ветку
samira mosaybi

Спасибо за хорошие советы👌

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Ираклий Серов

Полезно. Кстати, если кто-то только собирается учиться на аналитика - вот полезный линк на обзор курсов https://zen.yandex.ru/media/id/5f9015fff551011cac263b54/top-35-kursov-analitiki-dannyh-i-data-science-2021-61794fb5d92dd37d326c882e

Ответить
Развернуть ветку
16 комментариев
Раскрывать всегда