Как аналитик помогает оценить и доработать продукт до запуска: кейс рассылки спецпредложений Авито

Привет, Меня зовут Мария Яблочникова, я продуктовый аналитик. Мы с командой развиваем мессенджер Авито — вы пользуетесь им, когда пишете продавцу или отвечаете покупателю.

Есть мнение, что аналитик нужен зрелому продукту: когда уже есть стабильная аудитория и выручка, а команда хочет запустить исследования, чтобы развиваться дальше. Но я убеждена, что аналитика полезно подключить уже на этапе дискавери — это может улучшить результаты запуска и уменьшить объём разработки. В статье расскажу об этом на примере нашего продукта — рассылки спецпредложений.

Аналитик может помочь:

Оценить потенциальную долю рынка

Собрать метрики продукта

Описать витрины данных

Рассчитать параметры продукта

Раскатить продукт на целевую аудиторию

Доказать инкрементальность выручки

Ещё раз коротко: зачем привлекать аналитика на ранних этапах создания продукта

Внутри мессенджера Авито есть мини-продукты, один из них — рассылка специальных предложений. Она позволяет продавцам предлагать скидки или подарки тем, кто добавил их объявление в избранное. Например, годовую гарантию на товар.

Рассылка работает так:

1. Продавец заходит в «Мои объявления» и видит, какие из предложений добавили в избранное.

2. Переходит в нужное и нажимает на кнопку «Разослать спецпредложения».

3. Выбирает, что он хочет отправить: скидку или подарок.

4. Указывает размер скидки, число получателей и срок действия.

5. Оплачивает рассылку.

Если человек соглашается принять предложение, у продавца появится чат с ним. О том, как устроена функция и как она менялась с годами, мои коллеги уже рассказывали в другой статье:

👉 Эволюция фичи за три года: кейс рассылки спецпредложений

А ниже я объясню, как мы с командой придумывали рассылку, оценивали её потенциал, определяли метрики и считали инкрементальность выручки. И покажу, как на каждом из этих этапов может помочь аналитик.

Чтобы стейкхолдеры решились запустить продукт и нанять команду, они должны понимать, сколько денег может приносить инициатива. Для этого нужно оценить её бизнес-потенциал, а чтобы подсчёты были более точными, стоит привлекать аналитиков.

Чтобы посчитать предполагаемую прибыль от рассылки спецпредложений, мы с командой оценили потенциал рынка сверху вниз — посчитали TAM, SAM и SOM.

TAM (Total Available Market) — общий объём рынка. Оценили, сколько всего товаров на Авито пользователи добавили в избранное.

SAM (Serviceable Available Market) — доступный объём. Исключили случаи, когда пользователи уже связывались с продавцами после добавления товара в избранное. Потому что основная цель спецпредложений — привлечь тех, кто интересовался объявлением, но так и не решился написать.

SOM (Serviceable & Obtainable Market) — реально достижимый объём. Посчитали продавцов, которые потенциально могут дать скидку на товар. Например, учитывали тех, кто уже снижал цены в других объявлениях.

Мы убрали профили, которые и так успешно продают товары на Авито, получают много просмотров и сообщений от потенциальных покупателей. Ещё мы сразу учли, что количество рассылок на одного пользователя будет ограничено.

После запуска этот потенциал рынка стал планом, который мы потом сравнивали с фактическим результатом. Провести такую оценку без аналитика команде будет трудно.

Мы в Авито придерживаемся такой последовательности: придумываем метрики, дизайним витрины данных и в конце организовываем логирование событий. Если пойти в обратном порядке, могут возникнуть проблемы: например, мы поймём, что что-то забыли, или архитектура витрин окажется неудобной.

Поэтому сначала стоит придумать метрики, на которые вы с командой будете смотреть ближайшие год-полтора — с этим тоже поможет аналитик. Вот на что советую ориентироваться, когда выбираете метрики для нового продукта:

Метрика должна быть простой и легко интерпретируемой. Это важно, потому что в первые месяцы жизни продукта нужно часто объяснять метрики заказчику, быстро находить причины падения и роста.

Аддитивной по разрезам. Это поможет уменьшить количество вопросов и исследований о том, почему сумма не сходится. Если нельзя сделать метрику аддитивной, советую прописывать это жирным шрифтом в отчётах и подсвечивать на презентации. Например, метрика DAU — не аддитивна, но это не отменяет её универсальности.

Дерево метрик должно быть высоким, а не широким. Оно должно покрывать все сценарии продукта, но будет лучше, если на верхушке останутся 1–2 ключевых метрики. Так проще работать над их улучшением, не нужно вести много отдельных треков, не придётся всё время взвешивать метрики друг против друга.

Мы стараемся собирать витрины так, чтобы ближайший год-два не приходилось их кардинально переписывать. Продумайте, какие данные могут понадобиться вам по мере развития продукта. Даже если они не нужны сейчас, их стоит заложить в витрину, чтобы вы легко смогли показать их в будущем.

Когда определились с дизайном витрин, можно начинать описывать логирование. Хорошо, если придуманные вами события будут совпадать с логикой какого-то метода в разработке. Так будет легче искать ошибки и объяснять логику логирования.

Продакту часто приходится принимать много решений о параметрах новой фичи на основании опыта или интуиции. Но если привлечь аналитика на этапе дискавери, можно сделать модель или рассчитать нужный параметр — иногда это уменьшает объём разработки. Например, когда мы создавали рассылку спецпредложений, аналитики помогли определить минимальные и дефолтные размеры скидок.

На Авито продают товары по совершенно разным ценам: автомобили за 5 млн ₽, штаны за 2 000 ₽ и автомобильные детали за 50 ₽. Чтобы создать инструмент для рассылки скидок, нужно рассчитать, какое снижение цены будет достаточным, чтобы заинтересовать покупателя и оправдать расходы на рассылку для продавца — и так в каждой категории на Авито.

Аналитики изучили, как пользователи снижают цены в объявлениях разных категорий. И затем рассчитали минимальный размер скидки, на который большинство продавцов уже готовы пойти ради дополнительного интереса покупателей.

Ограничения для скидок — не единственный параметр продукта, который рассчитали аналитики. Они также помогли определить, сколько предложений в день может получить покупатель и сколько бесплатных рассылок нужно давать продавцам с тарифами.

Продукт можно запустить на отдельных пользователей или на всю аудиторию сразу, но второе не всегда возможно. Вот в каких случаях раскатывать его сразу на всех нерационально:

Если вы поняли, что продукт нужно запускать постепенно, аналитик поможет составить график раскатки по пользователям. Например, сегодня новые возможности получат частные продавцы авто, на следующей неделе — профессиональные перекупщики, а ещё через неделю — продавцы недвижимости.

График составляют на основе потребностей целевой аудитории. Например, если продукт ориентирован на профессиональных продавцов автомобилей, значит, они должны первыми получить к нему доступ.

Инкрементальность дохода от нового продукта помогает понять, какая у него истинная дополнительная ценность для бизнеса. Если, как и в Авито, у вас в компании много платных услуг — то, добавляя новую, стоит убедиться в том, что она не каннибализирует выручку от других.

Доказать инкрементальность выручки можно с помощью обратного А/B-теста — то есть убрать функцию у части пользователей и посмотреть, как изменится доход бизнеса. Проводить такой тест стоит после того, как пользователи привыкли к продукту и стали использовать его каждый день.

Но даже тогда эффект от обратного A/B-теста может быть недостаточным, чтобы судить об инкрементальности. Так было и у нас: мы смоделировали простой обратный тест и увидели, что общий эффект будет ниже минимально детектируемого (MDE) почти в 2 раза. И это неудивительно, так как средний чек у рассылки спецпредложений (ARPPU) в 6 раз меньше среднего чека существующих услуг продвижения.

Если так происходит — подумайте над дизайном теста. Возможно, в каком-то разрезе пользователей эффект на метрику можно считать достаточным. Если можно допустить, что другие сегменты пользователей ведут себя так же, это стоит подсветить заказчику.

👉 Оценить объём рынка и рассчитать потенциал нового продукта.

👉 Описать метрики, которые будет использовать команда, чтобы защищать продукт перед стейкхолдерами и оценивать его эффективность.

👉 Разработать архитектуру данных и описать логирование, чтобы следить за здоровьем продукта и его развитием.

👉 Исследовать и добавлять новые фичи в продукт, оценивать его параметры.

👉 Подбирать ЦА для раскатки продукта и составлять график, если запуск будет постепенным.

👉 Доказывать инкрементальность ценности продукта для бизнеса после того, как им станут пользоваться на постоянной основе.

😎 Если вы дочитали статью до конца и вам было интересно, откликайтесь на нашу вакансию в команду