Как с помощью аналитики построить эффективную сегментацию и на ее основе обновить стратегию продукта

Руководитель команды продуктовой аналитики Учи.ру Федор Тюрин рассказывает, как правильная сегментация помогает находить новые точки роста продукта.

А/Б тестирования — основа продуктовой культуры в Учи.ру. С ростом компании продуктовых команд становилось больше, каждая из них запускала свои тесты и автономно сегментировала пользователей. Как правило, эти сегменты были малоэффективными. Мы решили пересмотреть подход к сегментации и делимся, что из этого получилось.

Статья подготовлена на основе выступления Федора на крупнейшей конференции по менеджменту продуктов в России и СНГ ProductSense 2022 и будет полезна всем, кто работает над развитием продуктов, особенно менеджерам по продукту и аналитикам.

Рассмотрим подробнее критерии неэффективной сегментации:

1. Сегменты, на которые нельзя повлиять. К ним относятся сегменты, выделенные по демографическим, географическим и другим признакам.

2. Сложные сегменты, основанные на композитных метриках или ML-моделях. Такие сегменты обычно решают лишь одну специфическую задачу, например, ML-модель для определения сегментов платежеспособности. Сложная сегментация, как правило, плохо масштабируется на все продуктовые команды и часто остается лишь фильтрами на дашбордах.

Проанализировав ошибки, мы смогли определить критерии эффективной сегментации для нашего продукта.

В основе сегмента — целевое действие, которое ожидаем от пользователей. Например, если мы хотим монетизировать продукт, то в основе сегмента будет лежать покупательская активность.

Сегменты должны быть гибкими и отражать путь пользователя. Продуктовая команда должна уметь влиять на сегменты и понимать кого, в какой момент и как стоит переводить из одной группы пользователей в другую.

Сегментация подтверждена аналитикой. Если мы не можем ее подтвердить, значит она не эффективна.

А еще эффективная сегментация:

Опираясь на эти критерии эффективности, нам удалось сформировать три простых верхнеуровневых сегмента:

Но как проверить, рабочая эта гипотеза или нет? В этом нам помогла аналитика.

Любая компания, которая занимается АБ-тестированиями, постепенно накапливает много данных, на основе которых собирает агрегированную статистику. Например, процент успешных АБ-тестов или процент тестов с неудачным дизайном. Это и есть мета-анализ АБ-тестов.

Мы использовали этот инструмент для проверки новых сегментов. Для этого мы взяли все накопленные ранее релевантные тесты и прогнали их через полученные сегменты.

В итоге тест прошел успешно, так как каждый сегмент показал различный результат, вплоть до противоположного. То есть нам удалось найти сегменты, в которых поведение пользователей отличается. Мы не можем одной фичей закрывать потребности сразу всех трех сегментов, значит с ними стоит работать по-разному. Это и есть ключ к тому, как развивать продукт в дальнейшем.

Так используя мета-анализ АБ-тестов, увидели, что новый контент в виде внешкольных курсов лучше всего работает на старых платящих пользователях, а новых и старых не платящих интересуют именно курсы по основным школьным предметам. На основе этих данных скорректировали продуктовое предложение для каждого сегмента.

Далее мы внедрили новую систему сегментации в работу продуктовых команд.

Что получилось у нас?

Каждый из трех сегментов превратился в отдельный стрим выручки. Поскольку команд и сегментов несколько, должна быть единая система аналитики. Так у нас появилась иерархия деревьев метрик.

Общее дерево объединяет три верхнеуровневых сегмента: новые пользователи, старые не платящие, старые платящие. Это дерево не содержит много инсайтов о продукте, скорее оно необходимо, чтобы понимать вес каждого сегмента внутри структуры.

Далее из этого дерева каждая команда под свои задачи строит гранулярные деревья метрик для каждого сегмента. На этом этапе команды анализируют свой сегмент на глубинном уровне: ищут инсайты, новые точки роста или приоритезирует гипотезы.

Иерархия деревьев метрик помогла увидеть точки роста в каждом из трех верхнеуровневых сегментов. Мы заметили, что новые пользователи после регистрации теряются во множестве контента, игровых механиках и не совершают целевое действие — покупку. Поэтому мы решили уводить пользователя сразу в самый конверсионный продукт на платформе. Сегменту старых платящих пользователей мы не умели правильно предлагать новые курсы по внешкольным предметам. Мы детально изучили сценарий первой покупки и на основе этого стали предлагать оптимальный оффер.

Анализируя сегмент старых не платящих пользователей, заметили, что эта категория активна на платформе, но не совершает целевое действие. Одна из возможных причин — дорогой контент. Решили эту проблему с помощью выгодных промо-акциями.

Проверив эффективность сегментов через мета-анализ А/Б-тестов и проанализировав каждый из них с помощью деревьев метрик, нам удалось перестроить процессы в командах и даже пересмотреть продуктовую стратегию.

Как реорганизовали работу команд

Каждая продуктовая команда сосредоточилась над развитием конкретного стрима выручки. Как итог: в процессе общей работы у команд перестали пересекаться гипотезы, так как задачи по каждому из сегментов стали более прозрачными и понятными.

Каждая команда научилась декомпозировать стрим, над которым работает, на детальные метрики. Это позволяет нам находить новые точки роста или, наоборот, увидеть, где этого роста нет. Эти процессы можно повторять итеративно, опираясь на сезонность или предыдущие этапы работы с сегментом.

Самое главное — обновили продуктовую стратегию

До этого все команды концентрировались на одной задаче – росте общей выручки. Это приводило к тому, что команды работали асинхронно, каждая формулировала свои гипотезы — часто они пересекались с гипотезами других команд. Как следствие, не было объективного понимания, как проектировать путь пользователя и развивать продукт в целом. Новые фичи внедрялись, как правило, на основе мозгового штурма команды, без учета анализа данных о поведении пользователей на платформе.

Когда мы построили эффективную модель сегментации, нам удалось реорганизовать работу каждой команды под конкретный сегмент и стрим выручки. Мы сократили процент пересечения гипотез благодаря тому, что у команд теперь есть понятный фокус – они сосредоточены над развитием только одного сегмента. Деревья метрик стали почвой для рождения новых гипотез — ветки деревьев помогают командам находить перспективные точки роста и блокировать неперспективные.