Работа с метриками продукта и маркетинга: как считать профит гипотез (фичи и продвижение)

Меня зовут Аксёнов Павел и я несколько лет работаю CPO. Недавно писал большую статью про метрики и рассказывал о том, какими из них оперируют продакты, маркетологи и команды. Настало время поговорить о более интересном уровне: прогнозирование того, на какие метрики будет влияние, когда мы реализуем ту или иную фичу.

Я работаю CPO, поэтому речь пойдет больше о продукте, чем о маркетинге, но я уверен, что маркетологи тоже смогут найти в статье много полезного. Как и продуктовые, и маркетинговые аналитики.

Если вы супер-профи и вам не нужны вводные данные о гипотезах и видах метрик (основные, прокси и тд), то можете сразу переходить к набору кейсов. Это будет увлекательное приключение на 20 минут ©

Гипотеза - это научное предположение. Я советую вам навсегда забыть слово "фича" или "рекламная кампания" в отрыве от того, что она - только предположение о росте метрик. Может быть, они вырастут, а может быть, и нет. А вот какие именно метрики могут вырасти и насколько - вопрос прогнозирования. Начнем с того, что гипотезу правильно сформулировать. Давайте рассмотрим шаблон.

Рассмотрим простой пример применения шаблона.

Я верю, что при добавлении чата с оператором на сайт, пользователям будет проще поĸупать товары. Чтобы это проверить, мы внедрим на 25% пользователей чат на 2 недели и измерим ĸонверсию в поĸупĸу. Эĸсперимент удачен, если ĸонверсия из сессии в поĸупĸу вырастет с 3 до 3,5%, а чистая прибыль на пользователя будет не менее 100 ₽.

Итак, у нас уже появилась метрика - конверсия из сессии в покупку. И появился показатель чистой прибыли на пользователя. Метрика взялась из проработки гипотезы, а чистая прибыль из Unit-экономики. Вот как раз про то, как из идеи внедрить какую-нибудь классную штуку в пользовательский путь придти к пониманию того, на что она влияет, мы и поговорим в этой статье.

Начнем с того, что мы разбирать не будем - это Revenue или GMV. Во-первых, потому, что это бизнесовые, а не продуктовые или маркетинговые метрики. А во-вторых, потому, что самое сложное - понять, на что влияет фича, а из метрики вывести прибыль довольно легко. Например - выросла конверсия в 2 раза или вырос LTV360 в полтора раза или конверсия упала в 2 раза, а средний чек вырос в 3 раза - тут даже школьник посчитает влияние на прибыль.

Есть основная метрика - она всегда одна. Например, у нас есть задача закрепить на экране кнопку "купить". Минорно она повлияет и на CSI/NPS, и на возвращаемость, и на средний чек, но значимее всего она вырастит конверсию в покупку. Дополнительные (минорные) метрики обычно не рассчитывают: это сложно и редко даст большой прирост в прогнозе дохода.

Есть прокси метрики - это косвенные метрики, которые влияют на целевую. Например, мы добавляем раздел "Аналоги" на сайт. У покупателей больше вариативность интересной для них продукции и основная метрика - конверсия. Прокси-метрики - это просмотр этого раздела, переход на страницу аналога, добавление аналога в корзину.

Основная метрика нужна, чтобы проверить успешность гипотезы. Прокси-метрики нужны, чтобы понять, что конкретно пошло не так, если вдруг мы не достигли целевого показателя роста метрики. Либо найти, где у нас есть ограничения роста.

И основных метрик на один релиз должно быть несколько, если вы запускаете большой эпик. Например, недавно я запускал бета-версию samoletplus.ru. Там для каждого шага пользователя была своя прогнозная конверсия потому, что MVP - это эпик, а прогнозы по метрикам нужно вешать на гипотезы.

В одном из онлайн-университетов я веду занятия, несколько из которых посвящены гипотезам и метрикам. И по метрикам есть домашнее задание, которое я вам сейчас и дам посмотреть, а так же покажу правильные ответы. И буду рад обсудить ваши варианты в комментариях.

Моя настойчивая рекомендация: попытайтесь ответить самостоятельно, а только потом читать мой ответ. Чтобы было удобнее, я сначала дам задания, а потом буду приводить ответы к каждому из них.

Но, прежде, чем переходить к привычной для многих из нас среде цифровых интерфейсов, давайте остановимся. Давайте разберем пару оффлайн-кейсов Умение выделять метрики из гипотезы всегда основано на построении цепочки логических умозаключений и подходит даже для оффлайна.

Оффлайн-фича 1.

Мы владеем платным катком в крупном городском парке. Мы решаем закупить туда станок для заточки коньков и нанять работника, который будет их точить по запросу клиентов.

Часть клиентов захочет, чтобы их коньки стали заточены и будет готова платить за это мастеру. Поэтому, помимо платы за 1-2 часа на катке некоторые будут приобретать услугу заточки, тем самым повышая средний чек. Допустим, в день у нас на катке бывает не менее 1000 человек и мы предполагаем, что заточкой будет пользоваться не менее 100 из них.

Но что-то может пойти не так. Плохой станок, плохой мастер или цена слишком высокая: надо проверять прокси-метрики. Если изначально мало кто начал пользоваться заточкой, причина в том, что у клиентов нет потребности в услуге за такую цену.

Если же в первые дни работы услуги у нас было много заточек в день (например, 50), а спустя время (например, месяц) стало значимо меньше (допустим, 20), вывод может быть следующий: клиентам, которые попробовали первый раз, не понравилось и они не обладают желанием платить за подобное качество в следующий раз при посещении катка. Тогда надо искать причину. Но надо помнить один интересный момент:

Поэтому прокси-метрика возвращаемости в услугу нам покажет, что причина в качестве оказанной услуги, а что именно не так - скорость работы мастера, его коммуникации, насколько хорошо он точит или что-то другое, поможет определить интервьюирование пользователей.

И я бы смотрел еще ряд прокси-метрик, чтобы убрать ограничения роста: длина очереди к станку в часовых разрезах и среднее время заточки коньков. По итогам я бы постарался сделать вывод: если я как-то ускорю процесс (например, заменю мастера или куплю другое оборудование), будет ли доход выше? Или рассмотрел бы вариант покупки второго станка и найма второго мастера. Но это уже генерация гипотез по итогам метрик, напишу об этом в другой статье :)

Оффлайн-фича 2.

Кейс немного утрированный, но показательный.

Мы владеем торговым центром в 5 этажей и у нас есть несколько лифтов. Кнопки работают довольно стандартно: нажал - она загорелась и лифт поедет на соответствующий этаж. Нажал еще раз - ничего не произошло. Но в какой-то момент мы задумываемся об установке новых лифтов, в которых при повторном нажатии кнопок они гаснут и лифт на "погасший" этаж не едет.

Какой с этого может быть профит?

Давайте сначала разберем прокси-метрики. Есть одна основная причина погасить горящую кнопку - если пассажиру лифта этот этаж не нужен. Может быть, он нажал случайно, а может быть и передумал. Значит, лифт будет быстрее возвращаться на первый этаж (время от отъезда с 1 этажа и до приезда на него сократится - прокси-метрика 1). Значит, среднее время ожидания лифта на 1 человека сократится (прокси-метрика 2). Значит, люди, пусть и незначительно, но все же больше времени проведут в торговом центре (количество посещенных магазинов на 1 человека - это прокси-метрика 3).

Таким образом, мы приходим к тому, что средний оборот магазинов за день вырастет. Что позволит нам поднять арендную плату и получать больше дохода.

Разумеется, пример абстрактный и от подобного изменения лифта (или даже нескольких) стоимость аренды вырастить будет нельзя потому, что кол-во посещенных магазинов за 1 посещение ТЦ вырастет не сильно. Но мы можем сделать много других вещей:

А еще мы можем внедрить единую программу лояльности с накоплением баллов и возможностью их тратить в большей части магазинов нашего ТЦ. Время нахождения в нем это увеличит вряд ли, но ретеншн точно вырастет, а значит и дневной доход каждого магазина тоже.

Но это уже тоже похоже на продуктовые гипотезы, про способы генерации которых где можно будет почитать? Правильно, в моей следующей статье :)

А пока что давайте вернемся к цифровым интерфейсам, фичи из которых я даю как домашние задания моим студентам. Разберем, какие метрики надо было считать в фичах.

Основная метрика, на которую мы повлияем - конверсия из начала регистрации/авторизации в успешное завершение. Которая напрямую влияет на общую конверсию.

Кажется, все просто. Но вот вы запустили A/B тест, а у выборки B конверсия не изменилась. Что делать, что смотреть?

Это самый сложный кейс из списка. Он немного с подвохом потому, что сформулировать гипотезу, которую написал продакт или маркетолог для такого поп апа - трудно. Нужно распутывать все по шагам.

У нас есть веб и есть мобильное приложение. Мы хотим каннибализировать веб трафик в мобилку. Зачем? Ответ один - там выше LTV. Потому, что пользователь делает выбор сервиса не на основе сотен результатов поисковой выдачи Гугла/Яндекса, а из 2-4 приложений у себя на смартфоне, то есть его фактор прилипания к сервису (stickiness) выше. А еще выше опенрейт пушей по сравнению с почтовой рассылкой. Да и нативные формы часто могут отрабатывать лучше, чем верстка на вебе.

Итак, мы хотим мотивировать пользователей перейти в приложение. При этом планируем траты: оплачиваем сами стоимость его доставки. Наверняка мы уже посчитали Unit-экономику и поняли, что доход от каннибализации перекроет оплату доставки.

Минус один - мы сравнивали LTV пользователей веба с органическим трафиком в мобилке. Потому, что по условию задачи поп апа раньше не было. Значит, трафик придет более холодный и метрика упадет. Это тоже нужно заложить в экономику фичи.

Итак, сходу хочется ответить, что основная метрика - это что-то вроде CTR или даже доля установок из баннера. Более опытные будут сравнивать LTV A и B выборки. Но Retention посчитать довольно сложно (а точнее - слишком долго для A/B теста), поэтому лучше ориентироваться на средний чек и частотность покупок.

А вот как раз прокси-метриками выступят CTR и доля установок мобильного приложения среди тех, кто его увидел.

Эта фича - рекламная. Сервис берет деньги за продвижение товара в самый верх. Очень важно, чтобы доход от этого был стабилен, то есть обладатели товарных позиций должны хотеть платить за это. Но продакту гораздо важнее сохранить конверсию.

Конверсия может несколько упасть, но нам будет выгодно сохранить эту фичу потому, что она доходная. Но с товаров у нас идет GMV, а от оплаченной рекламной позиции - чистая прибыль. Как можно сравнить условные 10 млн GMV и 1 млн чистой прибыли?

Ответ простой - у ваших позиций есть средняя чистая прибыль. Например, если вы - маркетплейс, то от суммы продажи вы вычитаете отчисление собственнику товара, оплату хранения и транспортировки, налоги, амортизацию и тд и получаете чистую прибыль. Таким образом, вычисляя, что чистая прибыль товарной позиции равна, например, 6%.

И получается, что 1 млн чистой прибыли - это то же самое, что 16,5 млн GMV. То есть для нашей с вами компании получать 1 млн чистой прибыли от оплаты рекламных позиций важнее, чем не потерять 10 млн GMV от ухудшения конверсии.

Тут все просто - конверсия из сессии в покупку доли пользователей, которой мы на A/B тесте даем чат, должна вырасти.

Дальше смотрим прокси-метрики:

Тут тоже вопрос с подвохом. Существуют разные мнения относительно редизайна. Глобально он нужен для того, чтобы сервис выглядел более современным. Но часто параллельно вместе с ним иногда пытаются исправить пользовательский опыт: переместить разделы, управляющие элементы, объединить шаги, поменять структуру каталога и тд и тп. Это путь вникуда: такой редизайн и затянется очень надолго, и непонятно будет как влияет именно изменение UI на опыт пользователя, если мы будем выкатывать его вместе с UX.

Поэтому я бы посмотрел, что конверсия из сессии в заказ не упала. А все улучшения пользовательского опыта я бы накатывал уже поверх нового дизайна.

Прокси-метрик довольно много. Это и конверсия из любого шага в любой (не просто шаги по порядку, а, например, конверсия из поиска в корзину), и время, которое пользователь проводит на странице, и средний чек.

Если дизайнер где-то вычитал, например, что оранжевый цвет повышает конверсию, то нужно, чтобы конверсия новых оранжевых кнопок была не просто не хуже, а лучше, чем в старой версии.

Retention - основная метрика. Но на A/B тесте такую фичу проверять довольно долго, поэтому я бы сразу запускал ее на всех пользователей или хотя бы на 95%. Особенно, если за образцы плачу не я, а владельцы товаров.

Прокси-метрики:

Повышение конверсии из начала оформления заказа в успешное завершение заказа.

Прокси-метрика - это доля отказов в транзакции со стороны банка. В идеале, она должна быть ниже, чем для карт.

Основная метрика - это конверсия из начала оформления заказа в покупку. И говоря в покупку я подразумеваю не успешное оформление заказа, а именно получение товара.

Прокси-метрика - аудитория, которая пользуется новым способом доставки, должна стать "теплее". Если новый способ для них оказался удобен, то и привлекательность сервиса должна вырасти. Они должны покупать чаще, возвращаться лучше и тратить больше.

Тратить больше не потому, что они так полюбили сервис, а потому, что подсознательно человек всегда хочет эффективнее утилизировать сумму, которую тратит на доставку. Грубо говоря, если я заказываю товар за 150 ₽ и при этом трачу 150 ₽ на доставку, я чувствую себя не очень круто. И если я добавлю позиций еще на тысячу, то у меня будет понимание, что за те же 150 ₽ я заказал больше товаров. Значит, мне это, как покупателю, (как будто) выгоднее.

Основная метрика - конверсия из начала оформления в заказ.

Прокси - воронка конверсий части CJM с использованием этой фичи. Она нам скажет, где у пользователя проблемы: захотел ли он выбрать этот способ, ввел ли он номер, ответил ли он, подтвердил ли он заказ во время созвона с оператором.

Доля поисковых запросов с главной должна вырасти, если мы делаем больший акцент на поиск.

Прокси-метрики - это конверсии в другие разделы, расположенные на главной.

Грубо говоря, нам надо понимать, что люди, сконвертировавшиеся в поиск, принесут нам больше денег, чем те, кто стал меньше конвертироваться в другие разделы, которые есть на главной (например, топ товаров, рекомендации, скачайте наше приложение, купите подписку и тд).

Предлагаю не останавливаться на достигнутом и еще немного размять мозги: давайте в комментариях обсудим еще несколько кейсов.

Например, вам нравится Dodo Pizza, но вы хотите в поиск добавить возможность фильтровать позиции по ингредиентам. Подумайте, на какие метрики бы это повлияло. Как вырос бы доход компании? Да, точных цифр вы не знаете, но можете предположить, что средний чек, например, 1200₽, MAU 500 тысяч, а конверсия из уника в заказ 10%. И наша гипотеза поднимет конверсию на 5%, то есть до 10,5%. То есть GMV вырастет с 60 млн до 63 млн.

Представьте, что роста не произошло. На какие метирки вы бы смотрели? Наверняка все новые элементы поиска были бы обвешаны ивентами. Можно было бы смотреть, как часто их видят, как часто их нажимают. Меняется ли поведение пользователя после выбора фильтров по ингридиенту или нет? А что, если у доли пользователей сделать на них акцент? А что, если какой-то выборке пользователей дать поп-ап про новый элемент?

Возьмите это за практику - попытки найти новые пути улучшить сервисы, которые вас в чем-то не устраивают. И расчитывать метрики.

Живой пример - я ехал в такси и увидел, что стрелочка навигатора у водителя стала разноцветной, меня это заинтересовало. Ответ, в котором я стал бы уверен, сходу не нашел поэтому сделал то же, что и вам советую - начал советоваться с более опытными друзьями.

Вопрос, который наверняка вы задавали себе во время прочтения: "а как мне понять значение изменения метрики, когда я прорабатываю гипотезу?" и сейчас я попробую на него ответить.

Уникальной формулы нет. Все зависит от вашего опыта. В самом начале вы будете много ошибаться. Разберем абстрактный пример.

Вы делаете 10 бутербродов с колбасой и сыром и даете 10 коллегам. Какому количеству коллег они понравятся? Неизвестно. Давайте предположим, что все любят бутерброды и они понравятся всем. Но вот мы их раздали, а понравились они только половине. Мы в оценке промахнулись в 2 раза. Но вот вы решили принести в офис 10 бутербродов с творожным сыром и лососем. Какому количеству коллег они понравятся? Какую оценку вы бы ни дали, вы вряд ли промахнетесь так сильно, как в прошлый раз. То есть понимание того, как отработали ваши идеи на вашей аудитории в прошлом дает вам понимание корректировок прогнозов.

То же самое с цифровыми сервисами. Вы выкатили пару фичей на карточке товара или в поиске и уже гораздо точнее стали понимать, на сколько процентов действительно можно поменять конверсию хорошим улучшением пользовательского опыта.

Но если вы поменяете работу, то почти все придется проделывать заново. Новые сайт/приложение. Новый CJM. Новый трафик. Новые ожидания клиентов. Собирайте коллег. Как минимум, первое время. Проводите брейнштормы.

Вообще групповая оценка несколькими продактами и продуктовыми аналитиками, на мой взгляд, хорошая практика. Всегда можно выслушать несколько мнений. Можно впитать чужой опыт. Можно оказаться полезным другому коллеге, чью гипотезу вы поможете посчитать. Забронируйте часовой слот раз в неделю, чтобы оценивать фичи всем вместе - это будет отличной практикой.

И, если вы смогли дочитать до конца, то дайте мне, пожалуйста, обратную связь: было ли вам интересно и полезно. Если да, то я напишу следующую про то, как генерить гипотезы и там же приведу примеры скоринга фичей по ICE. Если нет - найду какую-нибудь другую тему. Надеюсь, что наше увлекательное приключение на 20 минут заставило вас поломать мозг и почелленджить себя.

#Продукт #метрики #анализ #аналитика #гипотезы #маркетинг #фича #product #productmanagement #analytics