Как я нашел AHA-момент на SaaS платформе

Как аналитик, я получал задачи о поиске AHA-момента в каждом сервисе, где работал. Это словосочетание вселяет трепет в каждого продакта или основателя стартапа, ведь оно сулит желаемый всеми market fit. О нем постоянно говорят на конференциях, в статьях и в тематических видео.

Готов поставить на то, что вы точно хоть раз слышали об AHA-моменте facebook’а, если хоть немного интересуетесь этой темой.

В этой статье я попробую чуть более строго сформулировать, что же значит найти AHA-момент и описать его в терминах метрик. Также покажу, как я искал его в одном из проектов.

Что такое AHA-момент

Давайте вспомним пример facebook’а и, оттолкнувшись от него, сформулируем задачу. Цукерберг утверждает, что AHA-момент для пользователей его соцсети — это добавление семи друзей, потому что в этом случае у него появляется достаточно контактов для общения и регулярного посещения соцсети.

Чем чаще пользователи посещают facebook, тем чаще они видят рекламу, что увеличивает доход сервиса. В терминах метрик — это значит, что продуктовая метрика «количество пользователей с 7+ друзей» положительно влияет на бизнесовую метрику «прибыль от рекламы». Прежде чем двигаться дальше, давайте разберем, что я понимаю под продуктовыми и бизнес метриками:

Бизнес метрики - это метрики, изменение которых напрямую влияет на прибыль компании. Самый простой пример — это количество заказов в каком-нибудь онлайн-магазине. Владелец магазина знает, сколько в среднем заказов он получает в день и знает средний чек этих заказов. Для него не составит труда посчитать, как изменится его прибыль, если количество заказов упадет или вырастет. Еще несколько примеров: количество пользователей, конверсия в заказ, маржа и тд.

Продуктовые метрики — метрики того, как пользователь взаимодействует с продуктом. Обычно их сложно связать с прибылью. Так, например, продуктовой метрикой для того же онлайн-магазина будет среднее время, которое пользователь проводит на сайте. Это весьма нетривиальная задача — выяснить, как время на сайте влияет на прибыль этого сайта. Другие примеры: время подачи такси, количество просматриваемых SKU, использование поиска, количество чатов с друзьями.

Возвращаясь к AHA-моменту facebook’а, давайте ответим еще на один вопрос. В таком большом продукте как facebook, можно отслеживать сотни продуктовых метрик. Помимо количества добавленных друзей можно выделить такую продуктовую метрику, как количество диалогов в чате. Ведь пользователь может не иметь много друзей, но активно общаться с теми, что есть. В таком случае он будет часто заходить в соцсеть, видеть рекламу и тд. Другая продуктовая метрика - количество сообществ, куда вступил пользователь. Логика такая же, можно не общаться с друзьями, но активно потреблять контент, и за счет этого часто смотреть рекламу. Обе метрики кажутся важными и способны увеличить прибыль, но фэйсбук громче всего рассказывает именно о количестве добавленных друзей.

На это есть три причины.
Во-первых, конечно же метрика для AHA-момента должна иметь сильное влияние на рост прибыли в сравнении с другими продуктовыми метриками.

Во-вторых, метрика должна подходить максимально большому количеству пользователей. Представим, что facebook сделал фичу, которая упрощает поиск и добавление друзей. Несмотря на то что многим пользователям эта фича облегчит жизнь, будут и те, кому она не принесет никакой дополнительной ценности.

В-третьих, хорошая метрика для AHA-момента вызывает цикличность. Чем больше пользователь facebook’а добавит друзей, тем больше станет его социальный граф, тем больше новых друзей он сможет добавить, и так по кругу.

В итоге задача поиска AHA-момента сводится к тому, что бы найти продуктовую метрику, которая отвечает выше описанным требованиям. Думаю что это все еще звучит размыто, поэтому ниже опишу как я делал это на практике.

Как я искал AHA-момент

Пример будет из проекта, где я работал продуктовым аналитиком. Это была SaaS-платформа по созданию ботов для малого и среднего бизнеса. Она работала по подписочной модели. По достижению определенного количества использований нужно было покупать премиум-подписку. Когда я пришел в проект, он столкнулся с замедлением темпов роста. Несколько лет сервис рос на хайпе вокруг ботов. Команда сделал отличный продукт с огромным функционалом, но не успела осознать, как развивать свою бизнес модель.

Теперь предстояло выяснить, что заставляет пользователей пользоваться продуктом долгосрочно, после того как они его попробовали. Дата-культура в проекте была на приличном уровне. Большинство аспектов бизнеса была покрыта метриками, и за ними старательно следили. Продуктовыми метриками были, например: количество сообщений, отправленных ботами, количество созданных автоматизаций (последовательность вопросов и ответов), пенетрация различных фичей, количество забаненных ботов и тд. Я не смог зацепиться ни за одну из уже существующих метрик, поэтому решил начать с нуля.

Первое, что я советую сделать, когда у вас мало контекста или вы просто застряли в поисках — подумайте еще раз о бизнес-модели. Я набросал несколько вариантов бизнес-моделей, которые казались мне наиболее адекватными. Их было 3-4, но я сразу покажу победителя.

И что же получается. Когда пользователь платит за любой продукт, который обещает улучшить его бизнес, в финальном итоге он ждет увеличения прибыли. Это может выражаться либо в сокращении издержек (автоматизация саппорта, например) или в увеличении доходов (рост конверсии в заказ). И важное условие — прирост прибыли должен быть больше, чем стоимость сервиса, который этот прирост обеспечил. Условно запишем это так:

Рост доходов + снижение расходов > затраты на сервис

Вернемся к диаграмме. Первым шагом пользователь должен создать бота и добавить в него какие-то автоматизации. После этого он его публикует и пускает трафик. Это может быть, как платный, так и органический трафик. Уже его пользователи (будем называть их контакты) взаимодействуют с автоматизациями. В этот момент должен произойти рост доходов или снижение расходов.

После этого, как мне кажется, у владельца бота наступает момент принятия решения. Он либо соглашается, что бот выгоден для его бизнеса, либо нет. Если бот справился со своей задачей, значит, пользователь продолжит пользоваться ботом. Плюс, он скорее всего внесет в него изменения, так как получит инсайты с первого прогона. Значит, пользователь скорее всего снова попадет в наш первый шаг, а затем пустит трафик. Причем, с определенной вероятностью, он увеличит бюджет на трафик, ведь после первой итерации он увеличил прибыль, а значит, во вторую итерацию сможет вложить больше денег. Если сервис докажет свою полезность, то с каждым совершенным кругом пользователь будет пускать все больше трафика в него, а чем больше трафика пройдет через бота, тем больше денег сервис зачарджит с него. Так сервис в моем представлении должен был растить свою прибыль через рост прибыли для своих клиентов.

Ремарка. Как я писал выше, не все пользователи будут двигаться по этому кругу. Есть бизнесы, которые используют бота в других целях. Например, блогеры используют его для опросов и голосований. Были даже религиозные организации, которые общались с прихожанами с помощью ботов. Но для критической массы, думаю, такие рассуждения верны.

Формулировка гипотезы

Что же, схема бизнес модели выглядит убедительно. Следующим шагом я постарался описать продуктовые метрики, которые участвуют в этом круге. У меня была одна большая сложность: не было данных о доходах, расходах, рекламном бюджете пользователя, а это, казалось бы, ключевые показатели. На шаг с созданием ботов можно придумать десятки метрик. Я указал те, что пришли на ум первыми. Как раз из-за большого количества и хаотичности я решил начать с метриками, входящими в состав шага об использовании автоматизаций. Это шаг аккуратно расписывается на дерево метрик.

Можно сделать следующее утверждение: мы не знаем, как меняется доход/затраты пользователей, но чтобы они менялись, его контакты точно должны взаимодействовать с ботом. Отсюда я могу выдвинуть гипотезу, что чем больше сообщений бот отправляет пользователю и получает в ответ, тем больше ценности бот приносит. Звучит логично, но давайте уточним. Ведь в одной автоматизации может быть 20 сообщений, а в другой 5. Давайте скажем, что ценность будет расти при росте количества автоматизаций. Но и это не совсем верно, ведь могут быть автоматизации, направленные на спам, и взаимодействовать с такими пользователи не захотят совсем. Или могут быть запутанные и не понятные автоматизации, в середине которых пользователь потеряется и забьет. Финально наша гипотеза звучит так:

Доказательство

Итак, гипотеза сформулирована, пришло время собрать данные и... посмотреть, что там видно. Возьмем всех ботов, которые зарегистрировались в некоем временном промежутке. Немного почистим данные, иначе дисперсия убьет все наши старания. Я вычистил всех ботов, которые не набрали 50 контактов, и тех, кто столкнулся с баном со стороны facebook. Неделя Х - неделя после достижения 50 контактов. В неделю X будем считать среднее число пройденных автоматизаций на контакт.

Если посмотреть на то, как выбранная метрика влияет на вероятность того, что у пользователя будет премиум-подписка через три месяца, то явно видно что эта вероятность быстро растет с ростом автоматизаций на один контакт. Дальше вероятность начинает шуметь, из за того что остается мало наблюдений.

Еще лучше различия видны, если мы поделим пользователей на группы в зависимости от значения наблюдаемой метрики и посмотрим на retention пользователей с премиум-подпиской. Видно, что группа пользователей с наибольшим количеством автоматизаций имеет самую высокую долю пользователей с премиумом. Как в начале жизни, так и на 12-ой неделе. Есть и пользователи с премиум-подписками в группе, которая не совершила со своими контактами ни одной автоматизации. Это пользователи, кто импульсивно покупают подписку, но не доделывают качественных автоматизаций в боте.

Из этого графика следует что:

У пользователей с бОльшим количеством автоматизаций, LTV в разы больше, чем у тех у кого их мало. А значит, вырастив количество качественных автоматизаций, можно быстро наращивать прибыль за счет роста сегментов, которые получили ценность.

Еще один интересный график. Возьмем те же самые группы и посмотрим как у них растет количество контактов в течении первого года жизни.

Отсюда видно, что те пользователи которые набирают больше качественных автоматизаций к 50му контакту, быстрее набирают контакты в первый год жизни. Это может говорить о том, что такие пользователи начинают двигаться по циклу нашей бизнес модели.

Соберем полученные знания в кучу и подытожим.

Мы нашли корреляцию роста ретеншена, контактов, качественных автоматизаций и LTV. Мы можем предположить, что это и есть AHA-момент

Заключение и выводы

Нужно не забывать, что мы нашли только корреляцию, пусть и сильно выраженную. Прежде чем положить старый roadmap на дальнюю полку, нужно убедиться, что причинно-следственная связь работает так как мы предположили. Сделать это можно с помощью AB теста.

Совет, который я мог быть дать людям которые столкнутся с подобной задачей - сначала сформулируйте гипотезу основанную на бизнес логике. Не стоит закапываться в данные в поисках гипотезы, особенно когда данных много. Это процесс становится даже сложнее, чем искать иголку в стоге сена.

Надеюсь, что эта статья поможет продактам лучше понять что такое AHA-момент и конкретнее формулировать задачу для аналитиков. Ну, а аналитикам поможет в поисках.

*Meta (Instagram & Facebook) признана экстремистской организацией на территории РФ