Как аналитик помогает оценить и доработать продукт до запуска: кейс рассылки спецпредложений Авито
Привет, Меня зовут Мария Яблочникова, я продуктовый аналитик. Мы с командой развиваем мессенджер Авито — вы пользуетесь им, когда пишете продавцу или отвечаете покупателю.
Есть мнение, что аналитик нужен зрелому продукту: когда уже есть стабильная аудитория и выручка, а команда хочет запустить исследования, чтобы развиваться дальше. Но я убеждена, что аналитика полезно подключить уже на этапе дискавери — это может улучшить результаты запуска и уменьшить объём разработки. В статье расскажу об этом на примере нашего продукта — рассылки спецпредложений.
Аналитик может помочь:
В 2022 году мы запустили рассылку спецпредложений — инструмент для быстрых продаж на Авито
Внутри мессенджера Авито есть мини-продукты, один из них — рассылка специальных предложений. Она позволяет продавцам предлагать скидки или подарки тем, кто добавил их объявление в избранное. Например, годовую гарантию на товар.
Рассылка работает так:
1. Продавец заходит в «Мои объявления» и видит, какие из предложений добавили в избранное.
2. Переходит в нужное и нажимает на кнопку «Разослать спецпредложения».
3. Выбирает, что он хочет отправить: скидку или подарок.
4. Указывает размер скидки, число получателей и срок действия.
5. Оплачивает рассылку.
Слева — настройка рассылки, справа — пример сообщения, которое получает покупатель
Если человек соглашается принять предложение, у продавца появится чат с ним. О том, как устроена функция и как она менялась с годами, мои коллеги уже рассказывали в другой статье:
А ниже я объясню, как мы с командой придумывали рассылку, оценивали её потенциал, определяли метрики и считали инкрементальность выручки. И покажу, как на каждом из этих этапов может помочь аналитик.
Оценили рыночный потенциал продуктовой идеи
Чтобы стейкхолдеры решились запустить продукт и нанять команду, они должны понимать, сколько денег может приносить инициатива. Для этого нужно оценить её бизнес-потенциал, а чтобы подсчёты были более точными, стоит привлекать аналитиков.
Чтобы посчитать предполагаемую прибыль от рассылки спецпредложений, мы с командой оценили потенциал рынка сверху вниз — посчитали TAM, SAM и SOM.
TAM (Total Available Market) — общий объём рынка. Оценили, сколько всего товаров на Авито пользователи добавили в избранное.
SAM (Serviceable Available Market) — доступный объём. Исключили случаи, когда пользователи уже связывались с продавцами после добавления товара в избранное. Потому что основная цель спецпредложений — привлечь тех, кто интересовался объявлением, но так и не решился написать.
SOM (Serviceable & Obtainable Market) — реально достижимый объём. Посчитали продавцов, которые потенциально могут дать скидку на товар. Например, учитывали тех, кто уже снижал цены в других объявлениях.
Мы убрали профили, которые и так успешно продают товары на Авито, получают много просмотров и сообщений от потенциальных покупателей. Ещё мы сразу учли, что количество рассылок на одного пользователя будет ограничено.
С помощью этого метода мы оценивали потенциал рассылки специальных предложений
После запуска этот потенциал рынка стал планом, который мы потом сравнивали с фактическим результатом. Провести такую оценку без аналитика команде будет трудно.
У подсчёта сверху вниз есть проблема: чем ниже спускаемся — тем меньше мы уверены
За время существования рассылки специальных предложений мы рассчитывали потенциал рынка больше 5 раз. Со временем узнавали более точные конверсии и оценки, а финальный вывод оказался в 3 раза меньше, чем первый. Это нормальный процесс: оценка всегда уточняется по мере запуска.
Собрали метрики продукта
Мы в Авито придерживаемся такой последовательности: придумываем метрики, дизайним витрины данных и в конце организовываем логирование событий. Если пойти в обратном порядке, могут возникнуть проблемы: например, мы поймём, что что-то забыли, или архитектура витрин окажется неудобной.
Поэтому сначала стоит придумать метрики, на которые вы с командой будете смотреть ближайшие год-полтора — с этим тоже поможет аналитик. Вот на что советую ориентироваться, когда выбираете метрики для нового продукта:
Метрика должна быть простой и легко интерпретируемой. Это важно, потому что в первые месяцы жизни продукта нужно часто объяснять метрики заказчику, быстро находить причины падения и роста.
Аддитивной по разрезам. Это поможет уменьшить количество вопросов и исследований о том, почему сумма не сходится. Если нельзя сделать метрику аддитивной, советую прописывать это жирным шрифтом в отчётах и подсвечивать на презентации. Например, метрика DAU — не аддитивна, но это не отменяет её универсальности.
Дерево метрик должно быть высоким, а не широким. Оно должно покрывать все сценарии продукта, но будет лучше, если на верхушке останутся 1–2 ключевых метрики. Так проще работать над их улучшением, не нужно вести много отдельных треков, не придётся всё время взвешивать метрики друг против друга.
Описали витрины данных
Мы стараемся собирать витрины так, чтобы ближайший год-два не приходилось их кардинально переписывать. Продумайте, какие данные могут понадобиться вам по мере развития продукта. Даже если они не нужны сейчас, их стоит заложить в витрину, чтобы вы легко смогли показать их в будущем.
✍ Лайфхак для построения витрин данных
Перед началом логирования и построения витрин попросите вашего продакт-менеджера придумать вам несколько adhoc-исследований. Попробуйте написать код исходя из логики витрин и полей, которую вы уже придумали. Если чего-то не хватает или код получается громоздкий, значит, дизайн витрин уже неактуальный, и их стоит пересобрать.
Когда определились с дизайном витрин, можно начинать описывать логирование. Хорошо, если придуманные вами события будут совпадать с логикой какого-то метода в разработке. Так будет легче искать ошибки и объяснять логику логирования.
Рассчитали параметры продукта: размеры минимальных и дефолтных скидок
Продакту часто приходится принимать много решений о параметрах новой фичи на основании опыта или интуиции. Но если привлечь аналитика на этапе дискавери, можно сделать модель или рассчитать нужный параметр — иногда это уменьшает объём разработки. Например, когда мы создавали рассылку спецпредложений, аналитики помогли определить минимальные и дефолтные размеры скидок.
На Авито продают товары по совершенно разным ценам: автомобили за 5 млн ₽, штаны за 2 000 ₽ и автомобильные детали за 50 ₽. Чтобы создать инструмент для рассылки скидок, нужно рассчитать, какое снижение цены будет достаточным, чтобы заинтересовать покупателя и оправдать расходы на рассылку для продавца — и так в каждой категории на Авито.
Минимальный размер скидки рассчитывается автоматически. В этом примере — 12 ₽
Аналитики изучили, как пользователи снижают цены в объявлениях разных категорий. И затем рассчитали минимальный размер скидки, на который большинство продавцов уже готовы пойти ради дополнительного интереса покупателей.
Ограничения для скидок — не единственный параметр продукта, который рассчитали аналитики. Они также помогли определить, сколько предложений в день может получить покупатель и сколько бесплатных рассылок нужно давать продавцам с тарифами.
Раскатили продукт на целевую аудиторию
Продукт можно запустить на отдельных пользователей или на всю аудиторию сразу, но второе не всегда возможно. Вот в каких случаях раскатывать его сразу на всех нерационально:
- Маркетинг не готов поддержать раскатку нового продукта в какой-то из категорий, так как там сейчас идёт другая акция.
- Не просчитаны цены на продукт для всех категорий.
- Сервис разработки не готов к большой нагрузке.
- Нет продуктовой уверенности в результатах раскатки.
- Часть сегментов пользователей не готовы к нововведениям, особенно если они платные.
Если вы поняли, что продукт нужно запускать постепенно, аналитик поможет составить график раскатки по пользователям. Например, сегодня новые возможности получат частные продавцы авто, на следующей неделе — профессиональные перекупщики, а ещё через неделю — продавцы недвижимости.
График составляют на основе потребностей целевой аудитории. Например, если продукт ориентирован на профессиональных продавцов автомобилей, значит, они должны первыми получить к нему доступ.
🧐 А что там с A/B-тестами?
Их стоит запускать, если у фичи сразу будет много пользователей и не будет внутренних конкурентов — ваших существующих продуктов, которые закрывают подобную проблему. Если они есть, использование нового продукта в самом начале будет минимальным. А если запуск будет на небольшую аудиторию, эффект после раскатки будет недетектируемым.
A/B стоит проводить после того, как новый продукт раскатили на всех, и кривая новых пользователей практически перестала расти. Особенно это касается тестов, которые проверяют влияние продукта на выручку.
Например, с рассылкой скидок нам понадобилось более полугода, чтобы стабилизировать основные метрики. Потому что даже после основной раскатки мы ещё вели рекламные кампании, посты, публиковали сторис о продукте в приложении Авито.
Доказали инкрементальность выручки
Инкрементальность дохода от нового продукта помогает понять, какая у него истинная дополнительная ценность для бизнеса. Если, как и в Авито, у вас в компании много платных услуг — то, добавляя новую, стоит убедиться в том, что она не каннибализирует выручку от других.
Доказать инкрементальность выручки можно с помощью обратного А/B-теста — то есть убрать функцию у части пользователей и посмотреть, как изменится доход бизнеса. Проводить такой тест стоит после того, как пользователи привыкли к продукту и стали использовать его каждый день.
Но даже тогда эффект от обратного A/B-теста может быть недостаточным, чтобы судить об инкрементальности. Так было и у нас: мы смоделировали простой обратный тест и увидели, что общий эффект будет ниже минимально детектируемого (MDE) почти в 2 раза. И это неудивительно, так как средний чек у рассылки спецпредложений (ARPPU) в 6 раз меньше среднего чека существующих услуг продвижения.
Если так происходит — подумайте над дизайном теста. Возможно, в каком-то разрезе пользователей эффект на метрику можно считать достаточным. Если можно допустить, что другие сегменты пользователей ведут себя так же, это стоит подсветить заказчику.
🧐 А что ещё можно сделать, чтобы доказать инкрементальность?
В нашем случае всё же удалось найти сегмент пользователей, в котором мы увидели эффект на обратном тесте. Мы подождали полгода, чтобы метрики устаканились, а затем провели тест — он занял больше месяца. По механике это был обратный A/B, но с более сложным дизайном и расчётом эффектов на разные группы.
Например, мы использовали один из методов уменьшения дисперсии, о котором среди прочего рассказывали мои коллеги в статье на Хабре.
👉 Статья «Как улучшить ваши A/B-тесты: лайфхаки аналитиков Авито. Часть 1»
Мы измеряли ARPU пользователя и в одном из разрезов использовали метод CUPED. Это позволило уменьшить MDE в нужном разрезе, и тогда мы смогли задетектировать эффект при альфе 5%. Также удалось оценить максимальный уровень каннибализации других услуг с помощью пересечений доверительных интервалов метрик выручки.
Ещё раз коротко: чем аналитик может помочь на ранних этапах создания продукта
👉 Оценить объём рынка и рассчитать потенциал нового продукта.
👉 Описать метрики, которые будет использовать команда, чтобы защищать продукт перед стейкхолдерами и оценивать его эффективность.
👉 Разработать архитектуру данных и описать логирование, чтобы следить за здоровьем продукта и его развитием.
👉 Исследовать и добавлять новые фичи в продукт, оценивать его параметры.
👉 Подбирать ЦА для раскатки продукта и составлять график, если запуск будет постепенным.
👉 Доказывать инкрементальность ценности продукта для бизнеса после того, как им станут пользоваться на постоянной основе.
😎 Если вы дочитали статью до конца и вам было интересно, откликайтесь на нашу вакансию в команду