Как я нашел AHA-момент на SaaS платформе

Как аналитик, я получал задачи о поиске AHA-момента в каждом сервисе, где работал. Это словосочетание вселяет трепет в каждого продакта или основателя стартапа, ведь оно сулит желаемый всеми market fit. О нем постоянно говорят на конференциях, в статьях и в тематических видео.

Готов поставить на то, что вы точно хоть раз слышали об AHA-моменте facebook’а, если хоть немного интересуетесь этой темой.

В этой статье я попробую чуть более строго сформулировать, что же значит найти AHA-момент и описать его в терминах метрик. Также покажу, как я искал его в одном из проектов.

Что такое AHA-момент

Давайте вспомним пример facebook’а и, оттолкнувшись от него, сформулируем задачу. Цукерберг утверждает, что AHA-момент для пользователей его соцсети — это добавление семи друзей, потому что в этом случае у него появляется достаточно контактов для общения и регулярного посещения соцсети.

Чем чаще пользователи посещают facebook, тем чаще они видят рекламу, что увеличивает доход сервиса. В терминах метрик — это значит, что продуктовая метрика «количество пользователей с 7+ друзей» положительно влияет на бизнесовую метрику «прибыль от рекламы». Прежде чем двигаться дальше, давайте разберем, что я понимаю под продуктовыми и бизнес метриками:

Бизнес метрики - это метрики, изменение которых напрямую влияет на прибыль компании. Самый простой пример — это количество заказов в каком-нибудь онлайн-магазине. Владелец магазина знает, сколько в среднем заказов он получает в день и знает средний чек этих заказов. Для него не составит труда посчитать, как изменится его прибыль, если количество заказов упадет или вырастет. Еще несколько примеров: количество пользователей, конверсия в заказ, маржа и тд.

Продуктовые метрики — метрики того, как пользователь взаимодействует с продуктом. Обычно их сложно связать с прибылью. Так, например, продуктовой метрикой для того же онлайн-магазина будет среднее время, которое пользователь проводит на сайте. Это весьма нетривиальная задача — выяснить, как время на сайте влияет на прибыль этого сайта. Другие примеры: время подачи такси, количество просматриваемых SKU, использование поиска, количество чатов с друзьями.

Возвращаясь к AHA-моменту facebook’а, давайте ответим еще на один вопрос. В таком большом продукте как facebook, можно отслеживать сотни продуктовых метрик. Помимо количества добавленных друзей можно выделить такую продуктовую метрику, как количество диалогов в чате. Ведь пользователь может не иметь много друзей, но активно общаться с теми, что есть. В таком случае он будет часто заходить в соцсеть, видеть рекламу и тд. Другая продуктовая метрика - количество сообществ, куда вступил пользователь. Логика такая же, можно не общаться с друзьями, но активно потреблять контент, и за счет этого часто смотреть рекламу. Обе метрики кажутся важными и способны увеличить прибыль, но фэйсбук громче всего рассказывает именно о количестве добавленных друзей.

На это есть три причины.
Во-первых, конечно же метрика для AHA-момента должна иметь сильное влияние на рост прибыли в сравнении с другими продуктовыми метриками.

Во-вторых, метрика должна подходить максимально большому количеству пользователей. Представим, что facebook сделал фичу, которая упрощает поиск и добавление друзей. Несмотря на то что многим пользователям эта фича облегчит жизнь, будут и те, кому она не принесет никакой дополнительной ценности.

В-третьих, хорошая метрика для AHA-момента вызывает цикличность. Чем больше пользователь facebook’а добавит друзей, тем больше станет его социальный граф, тем больше новых друзей он сможет добавить, и так по кругу.

В итоге задача поиска AHA-момента сводится к тому, что бы найти продуктовую метрику, которая отвечает выше описанным требованиям. Думаю что это все еще звучит размыто, поэтому ниже опишу как я делал это на практике.

Как я искал AHA-момент

Пример будет из проекта, где я работал продуктовым аналитиком. Это была SaaS-платформа по созданию ботов для малого и среднего бизнеса. Она работала по подписочной модели. По достижению определенного количества использований нужно было покупать премиум-подписку. Когда я пришел в проект, он столкнулся с замедлением темпов роста. Несколько лет сервис рос на хайпе вокруг ботов. Команда сделал отличный продукт с огромным функционалом, но не успела осознать, как развивать свою бизнес модель.

Теперь предстояло выяснить, что заставляет пользователей пользоваться продуктом долгосрочно, после того как они его попробовали. Дата-культура в проекте была на приличном уровне. Большинство аспектов бизнеса была покрыта метриками, и за ними старательно следили. Продуктовыми метриками были, например: количество сообщений, отправленных ботами, количество созданных автоматизаций (последовательность вопросов и ответов), пенетрация различных фичей, количество забаненных ботов и тд. Я не смог зацепиться ни за одну из уже существующих метрик, поэтому решил начать с нуля.

Первое, что я советую сделать, когда у вас мало контекста или вы просто застряли в поисках — подумайте еще раз о бизнес-модели. Я набросал несколько вариантов бизнес-моделей, которые казались мне наиболее адекватными. Их было 3-4, но я сразу покажу победителя.

Как я нашел AHA-момент на SaaS платформе

И что же получается. Когда пользователь платит за любой продукт, который обещает улучшить его бизнес, в финальном итоге он ждет увеличения прибыли. Это может выражаться либо в сокращении издержек (автоматизация саппорта, например) или в увеличении доходов (рост конверсии в заказ). И важное условие — прирост прибыли должен быть больше, чем стоимость сервиса, который этот прирост обеспечил. Условно запишем это так:

Рост доходов + снижение расходов > затраты на сервис

Вернемся к диаграмме. Первым шагом пользователь должен создать бота и добавить в него какие-то автоматизации. После этого он его публикует и пускает трафик. Это может быть, как платный, так и органический трафик. Уже его пользователи (будем называть их контакты) взаимодействуют с автоматизациями. В этот момент должен произойти рост доходов или снижение расходов.

После этого, как мне кажется, у владельца бота наступает момент принятия решения. Он либо соглашается, что бот выгоден для его бизнеса, либо нет. Если бот справился со своей задачей, значит, пользователь продолжит пользоваться ботом. Плюс, он скорее всего внесет в него изменения, так как получит инсайты с первого прогона. Значит, пользователь скорее всего снова попадет в наш первый шаг, а затем пустит трафик. Причем, с определенной вероятностью, он увеличит бюджет на трафик, ведь после первой итерации он увеличил прибыль, а значит, во вторую итерацию сможет вложить больше денег. Если сервис докажет свою полезность, то с каждым совершенным кругом пользователь будет пускать все больше трафика в него, а чем больше трафика пройдет через бота, тем больше денег сервис зачарджит с него. Так сервис в моем представлении должен был растить свою прибыль через рост прибыли для своих клиентов.

Ремарка. Как я писал выше, не все пользователи будут двигаться по этому кругу. Есть бизнесы, которые используют бота в других целях. Например, блогеры используют его для опросов и голосований. Были даже религиозные организации, которые общались с прихожанами с помощью ботов. Но для критической массы, думаю, такие рассуждения верны.

Формулировка гипотезы

Что же, схема бизнес модели выглядит убедительно. Следующим шагом я постарался описать продуктовые метрики, которые участвуют в этом круге. У меня была одна большая сложность: не было данных о доходах, расходах, рекламном бюджете пользователя, а это, казалось бы, ключевые показатели. На шаг с созданием ботов можно придумать десятки метрик. Я указал те, что пришли на ум первыми. Как раз из-за большого количества и хаотичности я решил начать с метриками, входящими в состав шага об использовании автоматизаций. Это шаг аккуратно расписывается на дерево метрик.

Как я нашел AHA-момент на SaaS платформе

Можно сделать следующее утверждение: мы не знаем, как меняется доход/затраты пользователей, но чтобы они менялись, его контакты точно должны взаимодействовать с ботом. Отсюда я могу выдвинуть гипотезу, что чем больше сообщений бот отправляет пользователю и получает в ответ, тем больше ценности бот приносит. Звучит логично, но давайте уточним. Ведь в одной автоматизации может быть 20 сообщений, а в другой 5. Давайте скажем, что ценность будет расти при росте количества автоматизаций. Но и это не совсем верно, ведь могут быть автоматизации, направленные на спам, и взаимодействовать с такими пользователи не захотят совсем. Или могут быть запутанные и не понятные автоматизации, в середине которых пользователь потеряется и забьет. Финально наша гипотеза звучит так:

Чем больше автоматизаций пользователь пройдет до конца, тем выше вероятность что бот его монетизирует и принесет ценность создателю.

Доказательство

Итак, гипотеза сформулирована, пришло время собрать данные и... посмотреть, что там видно. Возьмем всех ботов, которые зарегистрировались в некоем временном промежутке. Немного почистим данные, иначе дисперсия убьет все наши старания. Я вычистил всех ботов, которые не набрали 50 контактов, и тех, кто столкнулся с баном со стороны facebook. Неделя Х - неделя после достижения 50 контактов. В неделю X будем считать среднее число пройденных автоматизаций на контакт.

Если посмотреть на то, как выбранная метрика влияет на вероятность того, что у пользователя будет премиум-подписка через три месяца, то явно видно что эта вероятность быстро растет с ростом автоматизаций на один контакт. Дальше вероятность начинает шуметь, из за того что остается мало наблюдений.

Как я нашел AHA-момент на SaaS платформе

Еще лучше различия видны, если мы поделим пользователей на группы в зависимости от значения наблюдаемой метрики и посмотрим на retention пользователей с премиум-подпиской. Видно, что группа пользователей с наибольшим количеством автоматизаций имеет самую высокую долю пользователей с премиумом. Как в начале жизни, так и на 12-ой неделе. Есть и пользователи с премиум-подписками в группе, которая не совершила со своими контактами ни одной автоматизации. Это пользователи, кто импульсивно покупают подписку, но не доделывают качественных автоматизаций в боте.

Как я нашел AHA-момент на SaaS платформе

Из этого графика следует что:

У пользователей с бОльшим количеством автоматизаций, LTV в разы больше, чем у тех у кого их мало. А значит, вырастив количество качественных автоматизаций, можно быстро наращивать прибыль за счет роста сегментов, которые получили ценность.

Как я нашел AHA-момент на SaaS платформе

Еще один интересный график. Возьмем те же самые группы и посмотрим как у них растет количество контактов в течении первого года жизни.

Как я нашел AHA-момент на SaaS платформе

Отсюда видно, что те пользователи которые набирают больше качественных автоматизаций к 50му контакту, быстрее набирают контакты в первый год жизни. Это может говорить о том, что такие пользователи начинают двигаться по циклу нашей бизнес модели.

Соберем полученные знания в кучу и подытожим.

Мы нашли корреляцию роста ретеншена, контактов, качественных автоматизаций и LTV. Мы можем предположить, что это и есть AHA-момент

Как я нашел AHA-момент на SaaS платформе

Заключение и выводы

Нужно не забывать, что мы нашли только корреляцию, пусть и сильно выраженную. Прежде чем положить старый roadmap на дальнюю полку, нужно убедиться, что причинно-следственная связь работает так как мы предположили. Сделать это можно с помощью AB теста.

Совет, который я мог быть дать людям которые столкнутся с подобной задачей - сначала сформулируйте гипотезу основанную на бизнес логике. Не стоит закапываться в данные в поисках гипотезы, особенно когда данных много. Это процесс становится даже сложнее, чем искать иголку в стоге сена.

Надеюсь, что эта статья поможет продактам лучше понять что такое AHA-момент и конкретнее формулировать задачу для аналитиков. Ну, а аналитикам поможет в поисках.

*Meta (Instagram & Facebook) признана экстремистской организацией на территории РФ

4848
19 комментариев

Спасибо, интересно! Поделитесь, пожалуйста, как вы воспользовались этим выводом? Что-то поменяли в продукте или в способах продвижения? Какой был результат проверки гипотезы?

7
Ответить

В продвижении изменений не было.
Главное изменение после этого исследования - изменился образ мышления команды. Если раньше новые фичи должны были продемонстрировать пенетрацию, то теперь они должны были показывать рост автоматизаций.

С тестированием были проблемы. Так как продукт нацелен на b2b, то большие группы собрать не получалось. А тестирование ретеншена подразумевает длительный эксперимент с большими выборками. Но с этим можно бороться разными способами.

1
Ответить

Это лучшее что я читал на VC, спасибо автор!

1
Ответить
4
Ответить

Бизнес метрики - это метрики, изменение которых напрямую влияет на прибыль компании

(с) Никита Бобух и Неизвестный Поклонник Тони Роббинса

1
Ответить

Разве вывод не был очевиден? Если бизнесу продукт подошёл и он его сумел грамотно настроить и использовать, значит, он продолжит пользоваться продуктом. Извините за душность, мне со стороны бизнеса немного забавно читать про такие сложные исследования таких простых вещей)

1
Ответить

Интересная статья, спасибо!

Ответить