Когортный анализ: метрики роста против метрик продукта

Когортный анализ — эффективный инструмент продуктовой и маркетинговой аналитики. Даже те, кто знают о его существовании, используют крайне редко. В рамках серии статей «Курс аналитики» об эффективности когортного анализа расскажет аналитик компании ZeptoLab Олег Якубенков.

Давайте попробуем сравнить два автомобиля и узнать, какой из них лучше:

К сожалению, на основе имеющейся информации ответить на поставленный вопрос невозможно. Почему-то как только дело доходит до интернет-проектов или мобильных приложений, то все начинают следить за метриками вроде DAU, MAU, доход, общее количество регистраций и пытаться на основе них делать выводы о продукте, влиянии изменений и эффективности маркетинговых активностей.

Перечисленные выше метрики являются метриками роста. За ними полезно следить для общего понимания ситуации, но применительно к работе над продуктом они бесполезны, так как на их основе невозможно принимать продуктовые решения, ровно как и оценивать влияние продуктовых изменений.

Руководителя продукта, в первую очередь, должны интересовать его «объем» и «плотность», а не его «масса». «Масса» просто констатирует факт, не объясняя, откуда она взялась и как на нее повлиять. Нужно стремиться к тому, чтобы разложить ключевые метрики на составляющие, декомпозировать их, определяя рычаги воздействия на них — основная задачей при работе над продуктом.

В этой деятельности не обойтись без аналитики. Аналитика является обратной связью на действия, глазами в продуктовом мире. Сначала аналитика позволяет понять, где мы находимся, что за продукт сделали, как им пользуются в реальном мире, а затем позволяет увидеть то, как действия, вносимые изменения влияют на продукт. Аналитикой на картинке ниже я называю этапы: Measure, Data, Learn.

Одним из наиболее эффективных инструментов продуктовой аналитики является когортный анализ. Именно о нем сегодня пойдет речь.

Давайте рассмотрим следующую модельную ситуацию. Есть продукт, который обладает следующими характеристикам:

В компании, где разрабатывается этот продукт, принято следить за месячной аудиторией (MAU или Monthly Active Users) и прибылью каждого из проектов. На основе этих метрик выставляются KPI и оцениваются успехи команды, работающей над продуктом.

Следя за выбранными метриками, спустя первые 9 месяцев руководство было очень довольно результатами нового продукта, в том числе и успехами продакт-менеджера. Но вспомните – наш продакт менеджер каждый месяц портит продукт! При этом метрики роста уверенно идут вверх.

Ниже приведены те же самые графики, но уже за 16 месяцев. На этих графиках мы, наконец, видим первые признаки неудачных изменений продукта. Но лишь спустя 12 месяцев.

Дело в том, что на метрики роста влияют две составляющие: продукт и продвижение. Следя за метриками роста, вы не можете просто отделить эти два фактора. Именно по этой причине метрики роста совершенно не подходят для продуктовой аналитики.

При правильно построенной аналитике мы бы увидели неудачное влияние обновлений продукта еще в первые недели/месяцы.

В каждый конкретный день аудитория вашего продукта представляют из себя смесь тех, кто начал использовать ваш сервис сегодня, вчера, месяц назад и так далее. Следить за этой неоднородной массой и пытаться делать выводы – крайне неблагодарное занятие.

Обычно группы пользователей (когорты) выделяют на основе недели (месяца), когда пользователи пришли в приложение. Выделив такие группы пользователей, мы следим за ними в течение времени и измеряем ключевые метрики для каждой отдельной когорты. Сравнивая показатели мартовской и майской когорт пользователей, можно объективно сравнивать соответствующие этим периодам времени версии продукта.

Для более глубокой аналитики выделенные когорты необходимо дополнительно сегментировать на основе источника трафика, платформы, страны и других факторов, которые имеют смысл в вашем конкретном продукте.

Скорее всего, значения ключевых метрик будут отличаться для разных сегментов, ровно как и разные продуктовые изменения будут по-разному влиять на разные сегменты пользователей.

Две ключевые метрики, которые в конечном итоге определяют финансовую успешность вашего продукта — это LTV (Life Time Value) и CAC (Customer Acquisition Cost).

LTV — деньги, которые средний пользователь тратит в вашем мобильном приложении за все время его использования. CAC — ваши затраты на привлечение среднего пользователя.

Почему эти две метрики так важны для вашего продукта и как они влияют на ваши бизнес показатели вы можете прочитать в материале « Аналитика SaaS. Критерии жизнеспособности» и в материале «Убийца стартапов: стоимость привлечения клиентов» или посмотреть на Vimeo. В рамках же этой статьи важность этих метрик будет принята по умолчанию, а более подробно будет освещены способы работы с этими метриками.

LTV — это ключевая метрика, отражающая ценность (пользу) вашего продукта для ваших пользователей и клиентов. Именно эта метрика должна стоять во главе угла при работе над продуктом.

LTV — замечательная метрика, но у нее есть один минус — она высокоуровневая. Чтобы понимать, как на нее воздействовать, необходимо ее декомпозировать на более простые и приземленные на продукт метрики.

Обычно метрики привязываются к ключевым точкам жизненного цикла пользователя в приложении. Тем самым мы создаем возможность отслеживать успешность продвижения пользователей в приложении и находить узкие места, требующие нашего внимания.

Я обычно отслеживаю путь пользователя в продукте с точки зрения его вовлеченности и монетизации.

Вовлеченность описывается следующими этапами в жизненном цикле пользователя:

Монетизация же описывается следующей последовательностью этапов жизненного цикла пользователя:

Ниже я привел метрики, соответствующие каждому из этапов жизненного цикла пользователя в продукте (метрики могут отличаться для разных продуктов):

Активация в приложении (% тех, кто прошел туториал или совершил ключевое целевое действие в приложении, например, зарегистрировался и добавил первых друзей);

Все этим метрики влияют в конечном итоге на LTV. В каждом из продуктов могут быть свои особенности, но для большинства подобные базовые этапы/метрики подойдут.

Рассмотрим описанные выше метрики продукта и то, как они влияют на LTV, на примере абстрактной игры.

В любой игре пользователя сначала обучают, проводя его через туториал. Те, кто не прошли туториал, скорее всего, не будут дальше играть и, тем более, платить. Именно поэтому для нас критично отслеживать долю пользователей, успешно прошедших этот этап.

Также полезно отслеживать долю тех, кто смог выполнить ряд целевых действий по окончании туториала (то есть обучился и теперь может самостоятельно играть). Такая метрика будет отражать насколько качественно спроектирован процесс обучения.

Пользователь, скорее всего, не будет платить, если он не увлекся игрой. Именно поэтому нам надо отслеживать долю тех, кто играет в приложение постоянно. С этой целью мы измеряем долю тех, кто прошел до N уровня или тех, кто заходил в приложении более 5 раз в течение недели с момента установки.

Обычно метрику для факта залипания определяют опытным путем (примеры подобных метрик для ряда популярных сервисов).

Одной из наших целей является получение дохода, поэтому нам надо стимулировать первую покупку в приложении. Но покупка совершается с определенного экрана нашего приложения (например, с экрана магазина), поэтому необходимо отслеживать долю пользователей, которые увидели этот экран.

Если экран о продаже видят 10% приходящих пользователей, то это автоматически ограничивает сверху долю пользователей, которые могут сделать первую покупку в нашей игре.

Первая покупка — это хорошо, но финансово успешные продукты обычно отличаются высокой долей повторных покупок. Часто первая покупка — это определенный кредит доверия пользователя приложению – если он удовлетворен результатом и полученной пользой, то, скорее всего, он совершит и повторную покупку. Поэтому еще одной важной метрикой становится доля пользователей, совершающих повторные покупки, а также среднее количество повторных покупок.

Для того, чтобы пользователи имели шанс совершить несколько покупок, они должны продолжать играть в нашу игру в течение длительного времени, а не бросать ее спустя день. Для отслеживания этого явления мы будем измерять retention.

Самым простым в реализации вариантом построения аналитики продукта будет создание воронок на каждое из описанных выше событий. В большинстве случаев у вас получатся воронка монетизации и воронка вовлеченности пользователей.

Далее необходимо сравнивать показатели вашего продукта для когорт пользователей, сформированных на основе недели, когда они пришли в приложение. Для такой аналитики идеально подходят инструменты Mixpanel и Localytics.

Более сложный, но и наиболее продуктивный подход — использование когортного анализа для продуктовой аналитики. Использование когортного анализа углубит ваше понимание продукта и того, как ваши пользователи используют его во времени.

Будем формировать когорты пользователей на основе недели, когда они пришли в приложение. Для простоты в примере рассмотрены только следующие метрики: CAC, LTV, Ratention, % совершивших первую покупку, % совершивших повторную покупку. Также для простоты когорты не сегментировались ни по каким дополнительным признакам.

Ниже приведена таблица когортного анализа рассматриваемого продукта (можете считать, что это игра или туристическое приложение).

В первую неделю в первую версию нашего приложения пришло 3000 пользователей. На конец «0 недели» 25% из них прошли туториал, но еще никто не заплатил. К концу первой недели еще 5% прошли туториал (то есть всего уже 30%), при этом 1,2% совершили первую покупку. К концу второй недели туториал прошли 34% из рассматриваемой когорты, а первую покупку совершили 1,4%.

Спустя неделю мы выпустили новую версию приложения, где изменили туториал. Как мы видим из таблицы когортного анализа — сработало! К концу четвертой недели уже 47% прошли туториал (ранее лишь 34%). Расширение воронки монетизации на уровне туториала увеличило и долю тех, кто совершил покупку. К сожалению, наши пользователи не совершают повторные покупки, что не позволяет выйти на операционную безубыточность продукта, даже несмотря на то, что команда продвижения смогла существенно снизить CAC (пусть и сократив приток новых пользователей). Тратим на привлечение мы 0,8$, а зарабатываем лишь 0,5$ со среднего пользователя спустя 8 недель.

В третьей версии приложения мы доработали туториал и добавили новые покупки в приложение, увеличив разнообразие. Это позволило нам увеличить долю повторных покупок и сравнять LTV с CAC.

Примерно так когортный анализ позволяет нам понимать свой продукт, а также то, какие улучшения работают, а какие нет.

Самый сложный этап в работе над продуктом возникает тогда, когда первые значения метрик для вашего продукта получены и встают вопросы:

Об этом в следующих материалах.

Олег Якубенков, GoPractice

#золотойфонд #курсаналитики #аналитика #когортныйанализ