Как мы запускали рейтинги и отзывы на товары в Авито

Привет! Я — Лиза, менеджер продукта в Авито. Мы с командой запустили рейтинги и отзывы на товары: теперь перед покупкой можно почитать мнение владельцев и принять более взвешенное решение, стоит ли покупать Hyundai Solaris или Volkswagen Polo.

В этой статье я покажу на реальном примере, какие этапы проходит продукт в Авито от идеи до раскатки на пользователей. Эта статья будет полезна, если вы хотите сберечь ресурс при выводе нового продукта на рынок и не оказаться в ситуации, когда продукт никому не нужен.

Жизненный цикл продукта в Авито

Все продукты проходят четыре стадии, каждая завершается защитой перед продуктовым комитетом: руководителями горизонтальных и вертикальных команд на всех этапах, а первых двух этапах дополнительно подключаются СРО и СТО.

  • Gate 1: New Opportunities Discovery — поиск и обоснование ценности идеи для пользователей и бизнеса компании.
  • Gate 2: Product Discovery — поиск и обоснование ценности и путей реализации продуктового решения.
  • Gate 3: Product Delivery — техническая разработка решения, проверка его solution fit и подготовка к масштабированию.
  • Gate 4: Scaling & Product Operations — масштабирование, поддержка здоровья продукта и вывод его на плановые показатели.

Система гейтов позволяет своевременно понять, стоит ли двигаться дальше. Проходя стадии, можно осознать, что не существует проблемы, которую продукт призван решить / решение не представляет ценности / не будет иметь качественных каналов дистрибуции. Это экономит ресурсы и помогает инвестировать в масштабирование только проверенных продуктов.

Зачем Авито рейтинги и отзывы на товары

Рейтинги и отзывы на товары — это важный этап CJM покупателя: исследования говорят, что в 90% онлайн-заказов решение о покупке клиент принимает с использованием отзывов.

Мы исследовали поведение посетителей Авито: в зависимости от вертикали, мы теряем от 1% до 14% потенциальных покупателей, которые сначала смотрели объявления на Авито, а после этого гуглили отзывы на конкретные модели товаров (например, «отзывы Kia Rio») и, соответственно, ушли к конкурентам. Возможно, после просмотра отзывов на ресурсах конкурентов посетители вернулись на Авито, но гораздо более вероятно, что они остались на платформах конкурентов, так как там созданы сценарии сравнения и бесшовного перехода к сделке.

Это исследование мы проводили с помощью инструмента Similarweb — плагин устанавливается в браузер и отслеживает активность в интернете. Среди пользователей Авито мы нашли тех, кто просматривал объявления в категориях «Авто», «Недвижимость» и «Товары», а после этого делал соответствующие запросы в поисковых системах. Стоит отметить, что такой метод исследования даёт смещённую выборку, так как в SimilarWeb попадают пользователи, которые добровольно установили себе плагин в браузер.

Но это исследование помогло нам понять верхнюю границу доли пользователей, которых мы можем удержать на Авито с помощью отзывов. Мы также подсчитали потенциал SEO-трафика и поняли, что сможем привлечь на площадку около 1,5% новых покупателей от текущего объёма, что в нашем случае напрямую увеличит количество сделок на площадке и поможет бизнесу вырасти.

На базе этих данных мы составили основные гипотезы для защиты на этапе Gate 1:

● Рейтинги и отзывы (далее по тексту РиО) на товары могут увеличить конверсию в покупку.

● РиО могут повысить Retention пользователей за счёт того, что они получили положительный опыт выбора модели на Авито в одной категории и могут вернуться на платформу, чтобы выбрать модель из другой вертикали.

● РиО могут увеличить DAU за счёт привлечения SEO-трафика.

● РиО могут увеличить скорость осуществления сделки, потому что снижают для покупателя барьеры перед принятием решения о покупке.

Мы получили «зеленый свет» на защите и стали изучать потенциальную целевую аудиторию глубже. Во время процесса дискавери мы провели несколько исследований.

Исследование будущего продукта

Мы провели качественный опрос 8 респондентов, которые находились в процессе выбора автомобиля и делали это с помощью отзывов. Это помогло сформулировать гипотезы о критериях качественного отзыва: насколько развернутым он должен быть, должен ли быть структурирован по достоинствам, недостаткам или дан сплошным текстом, стоит ли добавлять фото или видео и какую информацию стоит рассказать об авторе отзыва, чтобы отзыв был исчерпывающим. Для валидации этих гипотез мы проводили количественные исследования.

Например, чтобы понять, должен ли отзыв быть разделён на достоинства и недостатки или же написан сплошным текстом, мы провели исследование в «Толоке». Текст отзыва о стиральной машине представили в двух форматах: сплошным текстом и по блокам, респондентов попросили кликнуть на ту область отзыва, где давался ответ на вопрос, есть ли у стиральной машины режим деликатной стирки (см. скриншот).

Также мы попросили респондентов оценить удобство использования отзывов. После этого мы оценили, какой процент респондентов верно кликнул по области отзыва, сколько времени в среднем потребовалось каждой из групп для принятия решения и какая группа набрала более высокий балл по удобству чтения отзыва. Исследование показало, что пользователи быстрее находили информацию в структурированном отзыве, хотя при этом одинаково оценивали удобство. Так мы поняли, что отзывам на Авито нужна структура.

После исследований мы смогли составить мокапы, которые описывали схему формы оставления отзывов и отображения отзывов на странице модели. Дальше за дело взялся дизайнер, который собрал первый прототип для UX-тестов.

UX-исследование

Для UX-исследования мы пригласили 10 респондентов, которые за последние полгода выбирали автомобиль по отзывам и продали своё предыдущее авто. Это была та целевая аудитория, которая могла одновременно протестировать и сценарий чтения отзывов на наших макетах, и сценарий оставления отзыва, так как они продали свою машину и могли поделиться опытом её использования.

Мы тестировали мобильную и десктопную версию макетов, так как сразу планировали сделать мультиплатформенный продукт: большая часть трафика Авито приходится на мобильные платформы.

Весьма неожиданным для нас стало то, что на мобильных устройствах авторам было принципиально видеть свой написанный отзыв перед отправкой. В десктопной версии такого желания не было, так как форма оставления отзыва помещается в viewport, а даже если и нет, то её можно проскроллить. На мобилках же для проверки своего отзыва нужно было возвращаться на предыдущие страницы, что весьма неудобно.

Этот пример лишний раз показал необходимость проведения UX-исследований на разных платформах до запуска. Если бы не провели это исследование, то не узнали бы о пользовательской проблеме, критичной для одной из платформ.

Запуск продукта под вопросом

Параллельно мы исследовали гипотезы ценности и убеждались в их (не)жизнеспособности.

  • Мы поняли, что вряд ли сможем повысить retention пользователей. Для этого продукт должен быть запущен абсолютно во всех категориях, чтобы у пользователя была уверенность, что на Авито можно выбрать не только телефон, но ещё и пылесос, стиральную машину, новостройку и грузовик. А запуск одновременно во всех категориях не произошёл бы в силу бизнес-приоритетов и технических ограничений. От этой гипотезы мы отказались.
  • Мы также поняли, что вряд ли сможем увеличить скорость принятия решения о покупке. Абсолютное большинство аудитории Авито сейчас — покупатели, которые уже определились с моделью и ищут объявление о её продаже. Так как мы планировали привлекать новую аудиторию, которая ещё не понимала, какую модель они хотят купить, цикл сделки скорее всего бы увеличился. От этой гипотезы мы также отказались.
  • Зато укрепили мнение, что сможем увеличить конверсию из посетителя в покупателя: мы провели исследование Кано, в котором более 45% аудитории Авито отметили, что считают отзывы необходимыми, важными и интересными. В этом же исследовании респонденты отмечали, что присутствие отзывов помогло бы им принять решение о покупке.

После финализации макетов мы составили roadmap разработки и защитились на Gate.

Как мы оценивали запуск продукта

Рейтинги и отзывы — UGC-продукт, а работа с большинством таких продуктов делится на два этапа:

  • Набор первоначального объёма пользовательского контента.
  • Доказательство ценности продукта через обратные A/B-тесты.

Мы понимали, что для валидации основных гипотез ценности нам сначала нужно запустить продукт, собрать определённый объём отзывов и только после этого доказывать с помощью обратных A/B-тестов, что отзывы влияют на конверсию в сделку и Churn Rate. Мы сосредоточились на доле просмотров объявлений, приходящейся на товары с рейтингом. Иначе говоря, мы должны были ответить на такой вопрос: какая доля просмотров объявлений будет приходиться на товары с рейтингом, если мы выведем его на объявление. Этот показатель стал нашей метрикой покрытия.

Чтобы составить прогноз покрытия и оценить успешность запуска, мы воспользовались данными, которые у нас уже были: на Авито несколько лет существуют рейтинги и отзывы на продавцов, которые собираются проактивно с помощью пушей и уведомлений. Из этих данных мы взяли средние значения конверсий из пушей с запросом отзыва в реально оставленные и прошедшие модерацию отзывы.

Мы понимали, что основная аудитория, которая может оставить отзывы, — продавцы, недавно продавшие б/у товары в категориях, где мы планировали запуск. Ведь они какое-то время пользовались товаром и могут честно рассказать о своих впечатлениях. Мы посчитали, у скольких продавцов можем запросить отзыв, умножили на нужные конверсии и получили прогнозируемые значения — мы рассчитывали покрыть 80% просмотров объявлений в категории «Авто».

Также решили катить новый продукт без A/B-теста, который используем для уменьшения рисков при запуске, чтобы только часть пользователей увидела новый функционал. Причин было несколько:

  • Мы не видели рисков для пользователей.
  • Трафик в продукте ожидался минимальный: единственная органическая точка входа спрятана за семью печатями, а проактивную нагрузку мы могли регулировать за счёт того, что сами формировали базу для отправки уведомлений.
  • Мы запускались только в категории личного транспорта, и масштаб запуска был не глобальным.
  • К тому же запуск проходил только на десктопе, на этой платформе трафик Авито составляет менее 10%.

Перед раскаткой на внешних пользователей мы открыли доступ к продукту сотрудникам. Это помогло отловить баги перед выкаткой на всех и собрать первую обратную связь. В итоге после запуска мы не получили ни одного обращения в поддержку по поводу багов.

Перед публичным запуском протестируйте продукт на коллегах — это поможет отловить баги до публичного запуска и собрать первый фидбек.

После запуска мы стали активно приводить пользователей в продукт — запустили рассылку. На следующий день работа команды была парализована: мы как зачарованные следили за приходящими отзывами, читали их и получали удовольствие от того, что продукт действительно работает! По итогу рассылки мы собрали больше 600 отзывов, хотя целились в 450.

Собрав отзывы, мы сравнили полученные значения покрытия с теми значениями, которые получились в прогнозе — цель перевыполнили на 3 процентных пункта. Это небольшое превышение прогноза дало понимание, что выбранный метод прогнозирования довольно точный и мы можем использовать его для запуска в новых категориях.

Мы также поговорили с пользователями, которые успешно оставили отзыв, и с теми, кто не сделал этого, что позволило понять узкие места и дополнить бэклог фичами.

В фоновом режиме мы следили и за качеством отзывов, так как не все они одинаково полезны. Например, отзыв «всё ок» не даст никакой полезной информации человеку, который задумывается о покупке товара. Гораздо лучше прочитать отзыв, который содержит примеры использования, рассказывает про возможные «болезни» конкретной модели, оценивает, сколько будут стоить обслуживание и ремонт, а ещё лучше — содержит фотографии.

Мы также изучили сторонние ресурсы и своих пользователей, чтобы узнать сколько качественных отзывов нужно пользователю для принятия решения о покупке. Узнали, что покупатели начинают доверять отзывам, когда их не менее 11 штук.

Эти знания помогли нам сформулировать метрику качества — доля просмотров объявлений, где у модели более 11 отзывов длиной не менее 75 символов или есть фото. На момент написания статьи это наша основная метрика, которая наилучшим образом иллюстрирует полезность отзывов на площадке.

Как перейти к масштабированию

После успешного запуска в «Авто» встал вопрос: в каких категориях и как масштабировать продукт.

Мы решили синхронизироваться со стейкхолдерами и уточнить их приоритеты перед Gate 3. Оказалось, что к тому времени команда «Электроники» приняла решение активно развивать категорию «Телефоны». Для вертикали было критически важно настроить процесс выбора модели на площадке и создать плавный переход от выбора к сделке.

Вертикаль «Недвижимость» тоже хотела запустить отзывы, но технически не была готова к этому.

Мы поняли, что запуск отзывов в категории «Телефоны» не только пойдёт на пользу продукту, но и поддержит бизнес-приоритеты всей компании, поэтому приняли решение запустить отзывы именно в этой категории, а запуск в «Новостройках» отложить.

Специфика запуска в другом продукте

Авито — это суперапп, внутри несколько продуктов и у каждого своя специфика, поэтому мы не могли просто взять флоу категории «Авто» и нажать галочку, чтобы он заработал в категории «Телефоны». Отзывы на «Авто» содержали специфичную для автомобилей информацию об авторе: например, общий стаж вождения и опыт использования модели, а также подсказки, которые просили рассказать о стоимости технического обслуживания и «детских болезнях» автомобиля.

Благодаря тому, что мы уже запустились в Авто, все исследования в новых категориях проходили в разы быстрее: у нас были скрипты опросов, макеты, которые успешно прошли UX, методики подсчета прогноза сбора отзывов, которые нужно было немного доработать, а не начинать с нуля.

Тем не менее нам нужно было изучить процессы чтения и оставления отзывов на телефоны, чтобы понять специфику:

  • Мы провели качественное исследование с помощью фокус-групп, собрали респондентов, которые за последние несколько месяцев выбирали товары в категории «Электроника» с помощью отзывов: по две группы в Москве и Ростове-на-Дону, так как хотели понять, есть ли региональные различия в этих процессах.
  • Создали набор критериев идеального отзыва, который давал бы исчерпывающую информацию, был полезен и удобен.
  • Провели количественное исследование, которое помогло отранжировать эти критерии в порядке убывания важности для пользователей.
  • Изучали отзывы у конкурентов и поняли, что именно нужно адаптировать в нашем текущем флоу, чтобы привести продукт к Normal Market в этой категории.
  • Доработали процесс и провели UX-тесты, которые показали, что наши гипотезы по адаптации были верными.

Сейчас отзывы доступны в «Автомобилях», «Телефонах» и «Грузовиках». В течение года мы планируем запустить ещё несколько категорий.

Основная цель нашей команды на год — работа над качеством отзывов и проверка гипотезы, что рейтинги влияют на конверсию в покупку и churn rate. Для этого мы проводим A/B-тесты (например, вывод рейтинга на объявление), увеличиваем количество точек входа, планируем обратный A/B, где часть пользователей перестанет видеть отзывы. Такой тест покажет, зависит ли на самом деле конверсия в покупку от наличия отзывов.

Рук на все задачи в команде не хватает, поэтому мы активно нанимаем. Посмотреть вакансии в нашей команде и не только можно здесь.

Краткие выводы

Система гейтов — отличный инструмент, который помогает вовремя задать вопросы прежде всего самому себе, а после этого убедиться, что вы думаете в одном направлении со стейкхолдерами. Такой подход позволяет учесть возможные разногласия ещё на этапе исследования продукта и отказаться от реализации, если вы поняли, что продукт не нужен рынку.

Итеративный процесс защиты позволяет быстро узнавать об изменении бизнес-приоритетов основных стейкхолдеров и адаптировать продукт под реалии рынка.

Этот подход требует прогнозирования сроков, стоимости и ресурсов. В большой компании это помогает обосновать необходимость развития именно вашего продукта, приоритизировать найм и получить ресурсы.

В процессе дискавери команда может чувствовать себя новорожденным слепым котёнком. У вас нет ни малейшего представления о том, что именно вас окружает и что будет, если вы пойдете в одну или другую сторону. Но с каждым пройденным гейтом и прожитым днём вы видите всё больше, и вскоре более-менее отчётливо можете предсказать, что ждёт за поворотом.

Автор: Елизавета Князева, менеджер продукта в Авито.

null