Avito Product bootcamp 2024

Привет!

Хочу поделиться расширенной версией своего решения кейса в весеннем Avito Bootcamp 2024, которое заняло 5 место в рейтинге по первому заданию. Буду рад комментариям и адекватной критике.

Задача кейса: вырастить долю выручки от Avito доставки в категории Электроника в 5 раз за 5 лет

Предоставленные данные для кейса были синтезированы, но приближенны к реальным. По условиям кейса мы вели свои рассчеты отталкиваясь от начала 2023-го года. Кому будет интересно изучить подробнее, привожу ссылку на мои рассчеты.

Общий взгляд

Раздел "Электроника"

Категория Электроника в Avito, это:

Внешняя среда

Анализ предоставленных данных

Давайте в целом посмотрим на отношение долей в gmv С2С и B2C сектора с помощью диаграммы, основанной на комбинации предоставленных данных GMV (Gross Merchandise Value) и долей проникновения доставки обоих секторов.

Мы можем наблюдать, что техническая возможность доставки находится на высоком уровне и с точки зрения “бэкэнда” этого продукта осуществлять доставку возможно практически во всех регионах объявлений.

Среднее отношение включенной доставки к общему количеству объявлений в gmv состаляет 63% в c2c и 70% в b2c.

Мы видим, что gmv товаров, купленных через доставку в основном значительно меньше, чем это позволяют сделать продавцы. Конверсия в покупку через Avito доставку в среднем 23% для c2c и 14% для b2c.

Мы наблюдаем традиционное преобладание товарной группы “телефоны” (рынок телеком) в разделе “электроника”.

Мы наблюдаем высокое отношение gmv товаров с доставкой к общему объему объявлений в некоторых категориях товаров, таких как “оргтехника и расходники”, “фототехника”, “Игры, приставки и программы”. Мы можем предположить, что в этих категориях покупатели имеют меньшее количество барьеров в её использовании.

Давайте в целом посмотрим среднемесячные показатели воронки в покупку с авито доставкой в C2C и B2C за 2022г.

Key points: Прослеживается общая тенденция маленькой конверсии в покупку через Avito доставку. Мы можем предположить, что покупатель либо не видит ценность доставки или безопасной сделки, либо не чувствует уверенность при покупке через нее таких сложных предметов, как электроника. Нужно провести исследованиедля поиска проблемы и в случае её определения искать добавочную ценность для продукта.

Продолжим анализ данных. Выделим несколько категорий, в которых Avito доставка с высокой конверсией в покупку

Key points: в некоторых категориях мы видим достаточно большую конверсию в Avito доставку. Необходимо провести исследование, изучив опыт как покупателей так и продавца. Необходимо изучить возможность поднятия комиссии по выбранным категориям для увеличения выручки с доставки ввиду высокой конверсии по этим категориям.

Цель: рост прибыли в 5 раз за 5 лет от Avito доставки в категории “Электроника”, то есть до 65%

Я интерпретировал для себя, как сочетание повышения выручки с комиссии от доставки и постепенное изменение пропорции этого дохода в большую сторону относительно других каналов заработка в категории. Давайте определим, какие основные метрики и действия влияют на конверсию Avito доставки:

Для начала мы хотим определить реальность достижимости поставленной цели. Найдем общую выручку от комисси в секторах C2C и B2B в разделе “Электроника”. Для этого проанализируем среднемесячные данные GMV (Gross Merchandise Value) в долях по каждой товарной группе. Нам помогут предоставленные данные с проникновением доставки и данные в таблицах с GMV в C2C и B2C. Пример с рассчетом в товарной группе “телефоны” по формуле ниже:

Просчитываем каждую товарную группу аналогичным образом и суммируем все доли заказов с доставкой в общее значение используя данные из двух секторов C2C и B2C. Затем суммируем сумму выручки с комиссии в С2С и в B2C, получаем общую ежемесячную выручку в категории “электроника” за 2022г.

Общая средняя ежемесячная выручка от всего раздела “Электроника” в 2022 г. 97.843 Млн. В дальнейшем это значение поможет нам проверить или опровергнуть достижимость поставленной цели.

Из условий кейса мы знаем, что доля выручки от доставки в категории “электроника” в 2022 году состявляла 13% от общей выручки в категории. В блоке анализа мы с вами нашли ежемесячную выручку от комиссии в 2022г., которая составляет 97.843 Млн. Давайте найдем целевую выручку через 5 лет, которая обозначена в кейсе по формуле ниже:

Цель: 5870.55 Млн. в среднем в год, выручка от комисси с доставки в категории “Электроника” через 5 лет или 489.21 Млн. в месяц. Мы можем учитывать различные внешние факторы, такие как общая инфляция, но на данном этапе мы хотим быстро прикинуть число, к которому мы стремимся.

Мы знаем, что Avito поставило себе цель - 100 млн MAU за 3 года. Источник: вакансия Авито

На момент начала 2023г. в Avito 60.1 млн MAU. Мы можем прикинуть общий рост, который отразится на нашем продукте через три года в случае достижения 100 млн MAU., через пропорцию:

Мы получили коэффициент 1.66 (рост на 66.38%) для того, чтобы умножая на него, можно было прикинуть выручку через 3 года при условии, если общая метрика MAU в Avito достигнет 100 Млн.

Предположительно мы можем провести эксперименты с повышением комиссии и понаблюдать за churn rate (отток клиентов) в тех категориях, где мы видим высокую конверсию в доставку Avito и конкурентоспособные условия на внешнем рынке. Я построил модель прогнозирования на основе данных проникновения доставки, среднего GMV в категориях и данных по комиссиям. В ходе рассчетов и тестирования с изменением процента комиссии в категориях с высоким gmv до 4% в С2С и 5% в B2B в совокупности с улучшением конверсии в доставку до 40-50% в этих категориях удалось получить предполагаемую выручку в районе 500 Млн. в месяц от комиссии, что соовтествует заявленной цели. Затрагиваемые категории в модели “Телефоны”, “Ноутбуки” ,”Настольные компьютеры”, “Аудио и видео”.

Key points: в ходе рассчета роста метрик в Excel с изменением процента комиссии в категориях с высоким gmv до 4% в С2С и 5% в B2B в совокупности с улучшением конверсии в доставку в этих категориях удалось смоделировать предполагаемую выручку в районе 500 Млн. в месяц, что соовтествует заявленной цели.

Мы предполагаем, что если найти переломную добавочную ценность (Aha-moment) в использование Avito доставки для покупателей, то мы сможем достичь нужных показателей роста и следовать нашей Growth цели. После аналитики данных мы нашли фокусные моменты, над которыми мы порассуждали и предположили гипотезы. Давайте их сформируем и начнем их проверку.

Формирование гипотез

Предположим, что действия на улучшение воронки путем UX/UI хоть и помогут улучшить конверсию в Avito доставку, но это не даст должного прироста до 40-50% в заказ через Avito доставку. Мы предполагаем, что нам необходим комплексный подход с увеличением комиссии и нахождением добавочной ценности для продукта, чтобы достигнуть нашей Цели “5 за 5". Давайте определим исследовательские вопросы и собранные гипотезы для проверки и проведем исследование а затем подумаем над продуктом, который сможет создать переломный Aha-moment в использование доставки.

Описание фреимворка

Опишем метод проведения анализа по данному фреимворку в целом. Расширяем список гипотез для проверки. После нахождения гипотез мы определяем спектр проблемы качественным и количественным анализом постепенно сужаясь к ключевой задаче, которую нужно решить (JBTD*). Затем начинаем описывать спектр решений, расширяя их список. Переходим к исследованию гипотез решения проблемы/задачи качественным и количественным анализом, различными тестами, постепенно сужая список решений, которые позволят решить фокусную проблему в текущих условиях с текущими ресурсами внутренней и внешней среды.

Аудитория

Для проведения исследований для начала давайте определимся, с кем мы можем и должны взаимодействовать для проверки наших гипотез. Выбор респондентов мы должны обусловить выбранными гипотезами. В нашу выборку попадут:

Опытные пользователи: люди пользовались Avito доставкой в категории электроника последние пол года и перестали (смотрим Churn rate). Также нужны пользователи, которые пользуется Avito доставкой но не в категории “электроника”.

Новые пользователи: кто еще не использовал Avito в целом, а использует интерпретаторы решения (конкуренты).

Интервью

Для начала мы проведем качественный анализ с глубинными интервью. Следуя теории Jakob Nielsen, 5 глубинных интервью с пользователями способны раскрыть 85% существующих проблем.

Мы возьмем как минимум по 5 в каждом пользовательском сегменте: 5 пользователей из раздела “электроника”, которые пользовались доставкой в последние пол года и прекратили ей пользоваться, 5 пользователей, которые пользуются доставкой, но в других разделах (не “электроника”), 5 пользователей, которые используют интерпретаторы решения (конкуренты). Итого: минимум 15 глубинных интервью, но мы планируем проводить интервью с новыми респондентами до тех пор, пока не начинаем получать одинаковые ответы на наши вопросы.

Сами вопросы должны быть открытыми и нейтральными, без личного мнения о продукте. Мы не должны пытаться “продать” продукт при интервью или доказать его ценность. Наша задача получить инсайты ненаводящими вопросами. Внутри организации мы можем воспользоваться внутренними ресурсами и найти выбранную целевую аудиторию. Идем к Аналитику и запрашиваем Id и контакты клиентов, которые соответствуют выборке. Сделаем смс или email рассылку с приглашением пользователей на “глубинку” учитывая правила использования личных данных. Чтобы найти новых пользователей, мы идем во внешний рекрут. Или мы можем найти респондентов среди нашего окружения, 31.7 Млн. MAU к отношению населения России в 143.4 Млн говорит о том, что долго искать не придется. Практически каждый 4 человек взаимодействует с сервисом в категории “Электроника”.

Основные, собранные инсайты из интервью:

Далее стоит произвести колличественное исследование выявленых инсайтов для проверки гипотез. Определить частотность, критичность. Мы опрашиваем идентичную аудиторию пользователей, проводя анкетирование. Для этого нам нужно будет определить размер когорт опроса для соблюдения статистической значимости.

Это целый отдельный топик и очень полезный инструмент для определения значимости результата исследований. Полезно знать основу метода, но использовать для удобства рассчета можно, например, Evan’s Miller Calculator. После проведения количественного исследования у нас появляется возможность определить, подтвердилась ли статистически наша фокусная проблема или нет. Если гипотеза не подтвердилась, мы уходим в новую итерацию формирования гипотез, их качественной и количественной проверки отталкиваясь от текущих условий и возможностей. В ходе исследований через интервью могут, и часто открываются совершенно неожиданные проблемы и возможности. Предположим, что все гипотезы за исключением “преувеличения описания” и “большинство товаров в плохом состоянии”, статистически подтвердились и мы нашли фокусную проблему JBTD (Job to be done).

Key points: найденна фокусная проблема JTBD (Job to be done) - необходим инструмент, который позволит покупателям получить добавочную ценность в Avito доставке для преодоления страха и неуверенности при покупке через доставку. Также в комплексе с найденной проблемой мы статистически убедились, что продавцы в секторе c2c менее обеспокоены процентом забираемым площадкой в обмен на возможность использовать площадку для продажи своих товаров ввиду отсутсвия конкурентных альтернатив при продаже БУ товаров. (Trade off)

Переходим к формированию идей для решения нашей фокусной проблемы JTBD. Предположим, что мы попытаемся найти достаточный рост в покупках БУ электроники через доставку, учитывая собранные инсайты. Мы знаем, что среднемесячный gmv раздела “телефоны” составляет 9300 Млн, что составляет 34% от всего раздела “электроника”. Судя из отчетов Avito мы знаем, что 42% этого раздела, это БУ электроника, 3906 Млн. в gmv. Учитывая конверсию (10%) в покупку через Avito доставку мы предполагаем, что тут мы видим хороший потенциал роста выручки. Если мы в конечном итоге улучшим конверсию до 40% и, ввиду этого показателя и условий внешнего рынка, отрегулируем комиссию в разделе “телефоны” до 4% в c2c и 5% в b2c, мы прогнозируемо сможем получить среднее gmv 138.907 Млн. в месяц. Не забываем про планируемый рост MAU, умножаем на коэффециент 1.66, прогнозируем 230.534 Млн. среднее gmv в месяц. Это приблизительная половина от поставленной цели “в 5 раз за 5 лет”.

источник: new-retail.ru

Key points: При моделировании повышения конверсии в заказ Avito доставки в разделе “Телефоны” до 40% и повышения комиссии в этом разделе до 4% в c2c и 5% в b2c, мы спрогнозировали достаочный рост для поддержания поставленной цели. Будем искать гипотезы решения для поиска достаточной добавочной ценности для раздела “телефоны” с возможностью последующего масштабирования на другие категории.

Формирование гипотез решения

Формируем идеи и даем их обоснование:

Приоритизация

Для приоритизации цели я хочу воспользоваться методикой RICE.

Reach* - охват предполагаемой аудитории в Млн. Мы знаем, что MAU раздела “Электроника” 31.7 Млн. а 42% нашего раздела, это БУ электроника.

Impact - влияние идеи на решение нашей гипотезы JTBD. Субъективно измерял на основе оценок от 0.1 до 1.

Confidence - Показывает, насколько мы уверены в своих оценках охвата, влияния и усилий.

Efforts - оценивается количество работы, необходимой для проверки гипотезы.

Рассчет производим по формуле:

Помимо низкой оценки по методике RICE Ассистен AI выглядит как недостаточная добавочная ценность, кроме того я не придумал, как сделать устойчивую конверсию в покупку доставки с помощью этого инструмента. Кроме того я предполагаю, что это продукт может создать внутреннюю конкуренцию за счет своего анализа, который будет снижать лояльность продавцов. Такую гипотезу мы могли бы проверить методом Wizard of Oz MVP.

Online инспекция по определенным шаблонам. По моему мнению это могло бы улучшить клиентский опыт и повысить конверсию в покупку, но для меня остается непонятным, как мотивировать покупателя после такого типа проверки использовать Avito доставку. Кроме того мы имеем низкую оценку RICE.

Верхнеуровневый подсчёт по методике RICE показал преимущество гипотезы с проверкой товаров в Авторизованном Центре. Наша гипотеза, что в этой добавочной ценности для услуги по доставке есть достаточно большой tipping point (переломный момент), чтобы начать пользоваться доставкой. Мы можем достаточно быстро и дешево проверить эту идею использовав Fake door MVP и собрать данные для исследования ввиду высокого DAU в продукте. Кроме того, в перспективе это может стать одним из самостоятельных продуктов Avito с большим потенциалом роста. И сейчас у нас впереди финальная часть - дизайн эксперимента.

Key points: приоритизировали гипотезу по методу RICE. Аналогинчым образом проверяем гипотезу с повышением комиссии до 4-5% в с2. Мы предполагаем, что внешние условия (комиссия у прямых конкурентов) не помешает нам поднимать комиссию в выбранных группах товаров.

Механика выбранной гипотезы на примере категории “телефоны”.

Схема работы гипотезы

Помимо проверки этой гипотезы на ценность, нам необходимо построить и проверить ее экономическую модель. Это достаточно сложный продукт, который живет на пересечении онлайн и офлайн среды, затронута работа с подрядчиками. Требуется просчет всех гипотетических затрат и рисков, чтобы понять, будет ли это экономически целесообразно.

Верхнеуровневая экономическая модель

Структура доходов:

Структура расходов помимо текущих:

Польза для участников:

Масштабирование:

Точки роста:

Unit экономика

Давайте проверим гипотезу проверки в авторизованном центре посчитав верхнеуровнево Unit экономику для сектора c2c:

Предположим, услуга проверки стоит покупателю 600₽, себестоимость проведения одной проверки составляет 300₽, а клиент платит за доставку самостоятельно. Предполагаемая будущая комиссия с продажи - 4% от стоимости товара. Мы можем рассчитать среднюю стоимость товара в разделе телефона из имеющихся данных gmv и количества сделок - 13 235₽. Предположим, что 80% проверенных товаров в итоге куплены.

CAC (Customer Acquisition Cost) и LTV (Lifetime Value) требуют отдельного расчета, исходя из маркетинговых затрат и ожидаемого количества покупок от клиента. Важно также учитывать риски, связанные с возможными возвратами и недовольством клиентов, и проработать стратегии их минимизации. В дальнейшем мы можем перейти на договоры с авторизованными центрами с фиксированной ежемесячной оплатой.

Если мы рассчитаем текущую среднюю выручку (комиссия 2%) от среднего чека в категории “телефоны” в c2c (13235₽), то мы получим 265₽. С новой услугой проверки мы будем получать в среднем 829.4₽ с чека, если выразить в отношении, то это в 3.13 раз больше. Считаем аналогичные показатели для b2c и получаем 1391₽ средний заработок с услугой проверки напротив 764₽ при текущих условиях, что в 1.82 раза больше. Как мы уже говорили, что объем рынка раздела “электроника” БУ товар 42%, соответственно новый продукт с проверкой БУ телефонов технически может вырастить конверсию до 42%. Если мыпредположим рост конверсии до 30% в заказ доставки+проверки с повышенным процентом, то только раздел “телефоны” в двух секторах c2c и b2c сможет принести нам 257 млн. средней выручки в месяц. Применим ранее найденный коэффициент прогнозируемого роста MAU 1.66 и получим 426.62 Млн, это уже почти поставленная цель только от одного раздела “телефоны”.

Key points: После построения модели верхнеуровневой Unit экономики, мы понимаем ценность гипотезы и приблизительный потенциал роста, который соответствует заявленной Growth цели. Теперь мы можем перейти к дизайну эксперимента, на который мы будем тратить человеческий ресурс

Описание дизайна эксперимента

Наша задача - быстро и дешево проверить гипотезу. Давайте сформируем дизайн эксперимента для её проверки.

Гипотеза: Мы хотим увеличить востребованность услуги Avito доставка через добавочную ценность услуги “проверка товара в АЦ”, которая будет доступна только через Avito доставку. Для тестирования выберем тип Fake door MVP. Проведем пользователя до оформления покупки новой услуги, но на данном этапе мы не будем реализовывать реальный продукт, проверку в сервисном центре.

Что делаем в продукте: Проведем эксперимент в группе товаров “Телефоны“. У контрольной группы пользователей не изменяется опыт использования продукта. У тестируемой группы покупателей добавится шаг/pop-up/подсказка на стадии заказа с возможностью выбора “проверка товара в АЦ”, где мы проинформируем пользователя о системе работы этой услуги и будет возможность дойти до стадии оплаты. У тестируемой группы продавцов на стадии создания карточки товара создаем возможность включить продажу товара с услугой проверки в Авторизованном сервисном центре через Avito доставку на специальных условиях со сниженной комиссией за сделку. Для покупателей и продавцов пользовательский путь не меняется, товар нужно передать в Avito доставку. На стадии оплаты/сохранения карточки мы пишем клиенту: "Спасибо за проявленный инетерес к данной услуге! В настоящее время мы работаем над её запуском, и как только это произойдет, мы обязательно Вас уведомим!"

Каких пользователей берем в эксперимент: берем зарегистрированных пользователей, которые используют раздел “электроника“. Для более качественного сбора когорты тестовой группы пользователь будет попадать в экперимент в момент открытия шага/pop-up/подсказки о возможности новой функции.

Метрики для оценки эксперимента: для покупателя - конверсия в нажатие “перейти к оплате“ с добавленной новой услугой. Для продавца - сохранение карточки товара с добавленной новой услугой возможности проверки этого товара в авторизованном сервисном центре через Avito доставку.

Определение размера группы для исследования: снова воспользуемся иструментом Evan’s Miller Calculator , чтобы определить размер тестируемой группы. Мы знаем, что в контрольной группе конверсия в оформление Avito доставки в группе товаров “Телефоны“ равна 10%. Предположим, что мы хотим знать с вероятностью 80% изменение конверсии на 2 процентных пункта, тогда в нашей тестовой группе должно быть 3 623 покупателя, которые нажали на кнопку “перейти к оплате“ с включенной функцией проверки телефона в АЦ через Avito доставку.

План действий после эксперимента: Если эксперимент подтвердится, мы можем перейти к дизайну MVP продукта по проверке товаров в авториз ованных центрах. Если эксперимент не увенчается успехом, мы вернемся на шаг формирования идей

больше об экспериментах: GoPractice.io

Затем, после колличественного эксперимента, нам необходимо найти Confidence interval (доверительный интервал) и проверить его на статистическую значимость.

Окончание исследований и выводы

Предположим нам удалось доказать ценность идеи с проверкой в авторизованных сервисных центрах через эксперимент. Презентуем стейкхолдерам/менеджменту гипотезу и в случае утверждения переходим к построению реального MVP/Lean startup с проведением soft launch. Если гипотеза не подтвердилась или мы не защитили её перед руководством - уходим в новые итерации поиска решения проблемы JTBD.

Key points: Мы провели исследование достижения поставленной цели, проанализировали внешнюю и внутреннюю среду определив гипотезы направления исследования. Провели cusdev и сформировали гипотезы проблем, которые мы проверили качественно и колличественно. Разработали гипотезы повышения добавочной ценности, приоритизировали их и предложили новый продукт. Определили его верхнеуровневую экономическую модель и Unit экономику, создали описание работы MVP и сделали дизайн эксперимента, который поможет быстро и с минимальными затратами проверить гипотезу.

PRESENTED BY: VADIM NOVIKOV

WWW.LINKEDIN.COM/IN/NVADIM