Когортный анализ: метрики роста vs метрики продукта

Поговорим сегодня о метриках: какие бывают, какие нужны и чем они отличаются, а также простыми словами расскажем про инструмент когортного анализа и покажем его работу на реальных кейсах.

Метрика, по сути, — это количественный показатель, который позволяет понять состояние какого-либо процесса или продукта в выбранный момент времени. Звучит достаточно обширно, но метрики можно находить и в реальной жизни. Например, ваша заработная плата или количество дней, когда вам не нужно идти на работу (метрика счастья :)), тоже являются такими показателями. Главное правило хорошей метрики — ее понятность. Благодаря этому критерию вы сможете легко объяснить, как она считается и какую суть отражает.

Метрики позволяют нам перейти от субъективных оценок вроде “хороший продукт” или “качественный сервис” к объективным показателям — выручка, количество заказов или клиентов. Также, с помощью метрик можно в целом оценить результат своей деятельности, оцифровать достижения.

Выстроенная система метрик помогает хорошо разделить зоны ответственности. Например, на выручку можно влиять разными отделами (маркетингом, командой роста, командой продукта), поэтому оценить степень участия конкретных лиц в деятельности всей компании сложно, количественные показатели упрощают отслеживание прогресса и степени влияния команд.

Метрики роста — какие-то количественные показатели, например, количество пользователей или выручка.

Метрики продукта — показатели, связанные с качеством, например, retention или LTV.

Несколько важных метрик:

[Пример] Подписка

Дано:

Вопрос: выдать ли нам премию?

Ответ: не факт.

Вернемся к метрикам.

Что делать?

ИЛИ

Когорта — совокупность людей (пользователей), обхединенных по общему признаку. Чаще всего про когорты говорят во временном разрезе (пользователи, которые зарегистрировались в мае/первой неделе января/первого числа). Дополнительно принято отделять когорты пользователей, имеющих разный источник трафика, промокод, девайс (iPhone или Andrioid), город проживания и так далее.

Пример когорты — все пользователи, пришедшие в мае из YouTube и имеющие промокод -50% на первый заказ.

Когорты — зачем?

Когда вы смотрите на заказы/конверсию в конкретный день, то эти действия совершают пользователи, которые пришли в разное время из разных источников трафика, поэтому их поведение может отличаться. Так, для кого-то заказ будет первым, а для кого-то — десятым.

Если представить подписочный сервис (ЯндексМузыка, Нетфликс), то там вся механика как раз построена на том, что клиенты продолжают пользоваться сервисом, а значит, без когорт никуда не деться. Такие особенности “микса” аудитории тяжело учитывать, помогает когортный анализ.

Разложение базы пользователей на когорты чаще всего выглядит так:

По вертикали у нас есть месяца — это периоды, данные на которые мы смотрим, т.е. сколько пользователей приходит в конкретный месяц. По горизонтали аналогичная шкала показывает, как люди, пришедшие в определенный месяц, будут дальше “жить”, ну или “отмирать”.

На примере января 2019 года: пришло 20304 человека, в феврале пользователей осталось 14512, в марте — 9506. Так, строчка задает “месяц рождения” когорты, а столбец — ее состояние в определенный момент. На главной диагонали — сколько пользователей приходит в определенный месяц, то есть в феврале снова появилось 20304 новых клиентов, из которых в марте осталось 14512 и так далее.

Чтобы посмотреть, сколько пользователей у нас будет в определенный месяц, достаточно просуммировать столбец. Таким образом, на конец апреля эта цифра будет равна 5896 + 9506 + 14512 + 20304 = 50218.

Когортный анализ — как применять?

Видим график, смотрим на количество активных пользователей — отличный рост!

Посмотрим на количество новых пользователей. Вроде тоже неплохо, есть даже какая-то ступенечка.

Сопоставим графики и поймем, что в голову закрадываются подозрения.

Разложим на когорты и проверим.

Как уже обсудили, в подобных таблицах рассматривается определенный период. В январе пришло 1000 человек, из них в феврале осталось 900, в марте — 800 и тд. Так происходило до июня, здесь количество новых пользователей увеличилось в 2 раза — 2000 человек (ступенька на синем графике).

Чуть ниже знакомой таблицы добавили несколько строк:

Мы помним, что у нас был рост как общего количества активных пользователей, так и новых пользователей, но, исходя из анализа, понимаем, что в активных пользователях больше стала расти доля “старых пользователей”. Обратите внимание на процент old cohorts: с 60% до 66%.

Продолжаем исследование, посмотрим на retention.

До июня январская когорта убывала, затем начинает расти. Как такое может быть? Например, вы запустили какую-нибудь reengagement компанию — отправили всем смс: “Привет, давно не виделись, держи промокод”. Следовательно, старые когорты вновь стали активными.

Обратим внимание на новые “прорывные” когорты, которые стали привлекать в 2 раза больше пользователей. Здесь все не так хорошо, как казалось на первый взгляд. Из 2000 июньской когорты в июле осталось только 10% — 200 человек, в августе 50, а в сентябре 20.

Получается, что если бы у нас стоял вопрос “Чья заслуга в том, что активные юзеры стали расти?”, мы могли ошибочно сделать вывод, что это достижение тех, кто привел новых пользователей, хотя на самом деле рост был достигнут благодаря реактивированию старой аудитории.

Так, без анализа когорт, в дальнейшем мы можем упустить момент, когда станем приводить нерелевантный трафик, тем самым рискуя прибылью в долгосрочной перспективе.

Разложив всю вашу базу пользователей на когорты можно добавить еще разные финансовые и продуктовые метрики (средний чек, маржу, среднее количество заказов в месяц и тд) и строить подробные Growth Model, с помощью которых ваши оценки и прогнозы станут еще точнее.

Экспериментируя с различными фичами/техниками привлечения пользователей, можно закупать отдельные когорты, а потом анализировать их

Можно научиться находить аномалии и разбирать кейсы, когда что-то сильно выросло/упало с помощью разложения на когорты.

[Пример] Как выглядит на практике?

Перейдем непосредственно к данным.

Total — суммарный размер когорты, ниже — разложение на каналы привлечения трафика.

Задаем Retention каждого канала из каких-нибудь исторических данных. Например, мы знаем, что в из органики на первый месяц остается 81% пользователей, на второй 59%, затем 42% и так далее.

Объединяем таблицы и приходим к уже знакомому нам формату.

Тема юнит-экономики, когортного анализа, их взаимосвязь с другими этапами развития продукта подробно рассматривается на курсе "Профессия: продакт-менеджер"(посвятили аналитическим hard скиллам для продакта целый блок)!

А для желающих еще глубже погрузиться в метрики, когортный анализ, финансовые отчеты и монетизацию для поиска кратных точек роста, мы подготовили мини-курс "Unit-экономика и P&L", подробнее с наполнением можно ознакомиться по ссылке.