Как сэкономить время, силы и деньги компании с помощью дерева метрик

Меня зовут Калаш, и я больше 11 лет в IT. Запустил несколько интернет-магазинов, мобильное приложение, программу лояльности с нуля. Управлял командами маркетплейсов, вёл B2C- и B2B-продукты.

Я консультирую и менторю начинающих продактов. Проверил более 2300 проектных работ студентов курса для продакт-менеджеров в Яндекс Практикуме. Мои студенты отлично справляются с проектами, где нужно работать с метриками, но незаслуженно мало внимания уделяют дереву метрик. Незаслуженно — потому что этот инструмент помогает организовать продуктовый процесс так, чтобы работа с метриками была согласованной и прозрачной.

Меньше 50% продактов используют дерево метрик — 11% в 2022 году и 27% в 2023-м. Процент растет, но он всё еще ниже, чем хотелось бы. В статье покажу на примерах, как пользоваться инструментом и что будет, если этого не делать. В конце рассмотрим кейсы по разным моделям монетизации.

Ты не можешь управлять тем, чего не можешь измерить.

Разберём на примере фреймворков, с которыми работают продакты и не только, — OKR и KPI.

OKR, Objectives and Key Results

Цель (Objectives): Увеличить долю рынка продукта.

Ключевые результаты (Key Results) могут определяться метриками:

KPI, Key Performance Indicators

У каждой команды свои метрики, которые помогают контролировать эффективность и выявлять зоны роста:

Все метрики влияют на успех продукта по-разному, но связаны между собой. Дерево метрик структурирует их и помогает понимать, на каком этапе и уровне находится процесс или продукт. Именно визуализация метрик облегчает управление показателями и контроль результата.

Это иерархическая композиция метрик. Иногда дерево метрик называют иерархией метрик. Уровнями ниже находятся декомпозированные метрики, на основе которых бизнес может принимать решение.

Есть верхнеуровневая метрика — её называют ключевой метрикой, Царь-метрикой. Цель компании и каждого сотрудника — работать над улучшением ключевой метрики. Есть метрики уровнем ниже — из них складывается ключевая метрика. Каждый последующий уровень описывает метрики выше.

Когда мы работаем с метриками одного уровня, мы получаем метрики уровнем выше. Например: Выручка (GMV) = Количество заказов (Number of Transactions) х Средний чек (AOV).

На вершине дерева находятся высокоуровневые метрики, например, выручка или количество активных пользователей.

На нижних уровнях — более детальные метрики, из которых складываются высокоуровневые показатели. Например, выручка будет зависеть от количества покупок, среднего чека и уровня конверсии.

Анализируя дерево метрик, продакт-менеджеры определяют, какие действия нужны для улучшения результатов. Например, если уровень конверсии низкий, можно сосредоточиться на оптимизации процесса оформления заказа или улучшении пользовательского интерфейса.

Дерево метрик помогает также применять управленческие решения — например, закреплять зоны ответственности между командами. Директору продукта не нужно держать в голове, какая команда за какую метрику отвечает, чтобы планировать задачи на год, квартал и так далее.

Дерево метрик помогает держать фокус на одной ключевой метрике в конкретный период времени.

Дано

Сайт посещает 1000 пользователей в день. Конверсия в оплаченный заказ — 0,1%. Значит, из 1000 пользователей только один оплатит заказ, а остальные уйдут.

Способ решения

Если увеличить бюджет на маркетинг в 10 раз, мы получим 10 000 пользователей на сайте. С той же конверсией 0,1% получится 10 покупателей.

Альтернативное решение

Представим воронку. В верхней части — посетители сайта, которых привлекает маркетинг. А самый низ воронки — это пользователи, которые прошли все этапы и оплатили заказ, то есть превратились в клиента. В нашем примере узкое место внизу воронки, и, чтобы с того же количества пользователей получать больше покупателей, мы работаем над расширением узкого места. То есть с самого слабого звена: идём к увеличению конверсии. Увеличиваем её с 0,1% до 1% — тогда с тех же 1000 пользователей получим те же 10 заказов.

Дано

Нужно доработать продукт для увеличения GMV, сроки поджимают, мы хотим успеть повысить показатель к окончанию квартала, чтобы получить премию. Одна фича влияет на конверсию (добавим в карточку товара видеообложки), вторая — на средний чек (добавим блоки с товарными рекомендациями — «с этим товаром покупают» внизу страницы с карточкой товара). Причем как именно они будут влиять — данных нет, есть только прогнозы.

Способ решения

Выкатываем одновременно две доработки. Через две недели подводим результаты А/В-теста — видим, что выросла выручка. Как определить, повлияла первая или вторая фича? Одна могла повлиять положительно — например, продажа комплектов товаров увеличила средний чек, а вторая отрицательно — блок с товарными рекомендациями в корзине снизил конверсию в оплату. Но мы всё равно в плюсе. С такими результатами о контролируемом долгосрочном развитии продукта можно забыть, запуская фичи без понимания, какие из них положительно влияют на ключевые метрики, а какие их ухудшают.

Альтернативное решение

Сделать одно изменение и посмотреть результаты. Далее перейти к следующей доработке. Целью должно быть не успеть к квартальному отчету, а сохранить чистоту экспериментов для развития продукта и достижения верхнеуровневых целей.

Представим ситуацию: вы приходите утром в офис, открываете отчёт по выручке интернет-магазина за прошлый день. И видите, что выручка снизилась на 15% относительного прошлого периода, — это сильное падение. Нужно срочно понять причину и исправить. Разберём два решения:

Без применения дерева метрик

Судорожно пытаемся определить, что же упало, — открываем все отчёты, изучаем сайт, привлекаем к поиску проблемы всю команду, ставим на паузу остальные задачи из спринта. Таким образом можно найти проблему, но на это уйдёт время и нервы команды. После такого стресса можно сразу идти перекрашивать седые волосы и отправляться в отпуск.

С применением дерева метрик

Открываем уже проработанное с командой дерево метрик и идём по нему сверху вниз. Выручка снизилась на 15%. Из чего складывается выручка? Это заказы, умноженные на средний чек.

Проверяем в отчётах заказы и средний чек. Средний чек остался прежним — 3000 рублей. Видим, что уменьшилось количество заказов на 9%.

Возвращаемся к дереву метрик, видим, что количество заказов складывается из количества покупателей, умноженного на частоту заказов на одного покупателя.

Снова проверяем по отчётам: частота заказов не изменилась, а количество покупателей снизилось на 8%.

Снова идём в дерево метрик. Смотрим, из чего складывается число покупателей (Buyers), — конверсия в покупателя (CR), умноженная на аудиторию продукта (Users).

Проверяем по отчётам: аудитория не менялась, а конверсия снизилась на 20% по отношению к прошлому значению.

Анализируем по дереву метрик, из чего складывается конверсия в покупку, — это четыре показателя: конверсия в просмотр товара, конверсия из просмотра в добавление в корзину, конверсия в оформление заказа, конверсия в выкуп корзины. По воронке движения пользователя в отчетах выясняем, что была проблема с конверсией в выкуп корзины.

Мы определили место с проблемой. Прошли путь клиента, и оказалось, что на этом шаге были проблемы с эквайрингом по одному из способов оплаты. В течение суток проблему решили, метрики вернулись к прошлым высоким уровням (1,2% конверсия в оплату). Вы великолепны!

Продуктовой команде интернет-магазина DIY-товаров поставили задачу увеличить выручку на 15% в следующем квартале. Без повышения бюджета на маркетинг, а значит, количество заказов не изменится.

С деньгами любой дурак сможет, а ты без денег попробуй!(с) Цитата великих директоров

Члены команды собрались на брейншторм, открыли дерево метрик и последовательно разбирали каждый уровень. Нужно было понять, какую метрику можно увеличить, чтобы это дало прирост в выручке более 15%.

Выбор пал на метрику AOV — средний чек. На брейншторме выявили несколько фич, которые требовалось оценить и приоритизировать.

Решили остановиться на двух фичах — добавить услуги:

Обычно в интернет-магазине покупают только товары. Добавляя услуги, можно продавать их совместно с товарами, что значительно увеличивало средний чек — более чем на 30%.

Дерево метрик позволило увидеть, от чего можно отталкиваться при поиске идей для увеличения выручки. Без дерева метрик — тоже возможно, но процесс был бы более хаотичный и растянутый во времени.

Довольно часто сервисы, которые работают по модели подписки, также используют рекламную модель монетизации для пользователей, которые пользуются продуктом бесплатно. Продукт будет зарабатывать на тех, кто платит за подписки, и на тех, кто не платит, аид смотрит или слушает рекламу, — за них платят рекламодатели. Как говорится, если вы пользуетесь чем-то бесплатно, значит, за это заплатил кто-то другой.

Порассуждаем, как Spotify может применять дерево метрик для постановки целей и достижения ключевых результатов.

Ключевая метрика — время, проведённое за прослушиванием музыки. Чтобы его увеличить, нужно наращивать метрики уровня ниже:

Интересно, как Spotify внедряли новую фичу по прослушиванию подкастов и аудиокниг. И здесь плюсы сразу по нескольким показателям:

Можно предположить, как мог выглядеть поиск фичи

Команда в 10 человек собралась в переговорке, заказали пиццу, вывели на проектор дерево метрик и погнали брейнштормить. Фасилитатор встречи задаёт наводящие вопросы, опираясь на дерево метрик:

В результате команда приходит к аудиокнигам, интервью и подкастам и начинает планировать их внедрение. Дерево метрик в этом случае служит инструментом, «об который удобно думать».

Дерево метрик можно использовать для разных целей, но абсолютно точно оно экономит ресурсы продуктовой команды и делает её работу эффективней. Снижает градус стресса, помогает работать с фреймворками и выигрывать время на устранение проблем. С помощью визуализации взаимосвязей метрик продакты оценивают показатели и находят зоны роста, где можно улучшать продукт и достигать бизнес-целей. Как построить дерево метрик и грамотно им пользоваться, мы учим на курсе для продакт-менеджеров в Яндекс Практикуме.