Как команде продукта проверить идеи, если их несколько и хочется реализовать все? Провести A/B-тест. Это метод протестировать гипотезы на пользователях, а по результатам теста запустить в релиз вариант-победитель. В этом кейсе расскажем, как команда Утконос ОНЛАЙН A/B-тестируют изменения блоков и редизайн страниц, а результаты смотрят в Amplitude.
Продукт разрабатывается для юзеров, поэтому самый верный вариант протестировать обновления — понаблюдать за их реакцией. Так и сделала команда онлайн-магазина Утконос ОНЛАЙН. В этом кейсе:
- Как команда Утконос ОНЛАЙН с помощью агентства Adventum внедрила Amplitude;
- Как устроены А/В-тесты в Утконос ОНЛАЙН;
- Как тестировали новую версию блока «Возможно, вы забыли заказать»;
- Кейс с редизайном главной страницы приложения.
О клиенте
Утконос ОНЛАЙН — один из крупнейших онлайн-магазинов на российском рынке e-grocery. Компания основана в 2000 году и входит в инвестиционную группу «Севергрупп». По итогам 2020 года доля продуктов питания от всего оборота онлайн-продаж компании составила 18%, что позволило занять лидирующую позицию на рынке e-grocery Московского региона.
В онлайн-магазине более 970 000 позиций товаров. Заказать товары можно на сайте и через мобильное приложение Утконос ОНЛАЙН.
Утконос ОНЛАЙН выбрали Amplitude для развития аналитической инфраструктуры внутри компании
Обнаружили проблему и искали решения
В 2019 году в команде продукта Утконос ОНЛАЙН поняли, что уже отлаженная на тот момент аналитическая инфраструктура не позволяла им глубоко исследовать поведение пользователей в продукте.
Начали искать решения и решили протестировать бесплатную версию Amplitude. Спустя месяц поняли, что это решение им подходит и нужно внедрять его полную версию.
Внедрили Amplitude и через 6 месяцев начали тестировать гипотезы
За помощью во внедрении Amplitude обратились в Adventum: агентство является эксклюзивным партнером Amplitude в России и СНГ. Аналитики Adventum помогли составить схему событий, определить North Star метрику и цели и внедрить Amplitude.
За 6 месяцев мы полностью покрыли мобильное приложение на iOS и Android событиями в Amplitude. Мы стали лучше понимать, как пользователи взаимодействуют с продуктом, формировать на основе этого гипотезы и тестировать их
Принципы А/В-тестирования в Утконос ОНЛАЙН
- Ежемесячно запускают 15 A/B-тестов и хотят увеличить эту цифру. Для этого разрабатывают собственную платформу для A/B-тестов, основываясь на данных из Amplitude.
- Создали процесс по дизайну и приоритезации A/B-тестов.
- Оптимизируют метрики и увеличивают их чувствительность.
- Регулярно проверяют качество метрик и распределение трафика между контрольной и тестовой группами.
- Используют единую методологию для оценки результатов экспериментов.
Разберем два кейса, в которых в Утконос ОНЛАЙН улучшали продукт с помощью А/В-тестов, а за ходом экспериментов следилили в Amplitude.
Кейс с блоком «Возможно, вы забыли заказать»
В блоке «Возможно, вы забыли заказать» (далее — ВВЗЗ) отображаются товары, которые еще можно добавить на этапе подтверждения заказа. Раньше он выглядел так:
В Утконос ОНЛАЙН решили проверить гипотезу: если сделать блок ВВЗЗ более заметным, то увеличится средний чек. Для теста разработали 2 новых варианта блока:
Варианты блоков «Возможно, вы забыли заказать» для тестирования
В варианте «B» — маленькие картинки товаров без цены. При клике на блок пользователь переходит в список рекомендованных товаров, откуда он может добавить товары в корзину. В варианте «C» — более крупные изображения, есть цена и возможность добавить товар в корзину прямо из блока.
Как анализировали результаты тестирования блоков
Настроили события
До внедрения Amplitude в Утконос ОНЛАЙН отслеживали событие «Добавление товаров из блока ВВЗЗ в корзину», но не разделяли, откуда конкретно пользователь кликнул: с экрана корзины или с экрана подтверждения заказа — чекаута. Чтобы понять, с какого из экранов пользователи чаще кликают по блоку ВВЗЗ, в Amplitude начали передавать оба события: «Добавление товаров из ВВЗЗ в корзине» и «Добавление товаров из ВВЗЗ на этапе чекаута». Это позволило сравнить их использование в отчете Event Segmentation.
Следили за разбивкой тестовых групп
Команда Утконос ОНЛАЙН настроила произвольную разбивку пользователей по сегментам, чтобы каждой аудитории показывался один вариант блока. Затем, чтобы количество пользователей в каждой группе было примерно одинаковым, следили в отчете Event Segmentation:
Сегменты для теста с блоком ВВЗЗ равны
Анализировали просмотры блока
Построили график просмотров раздела ВВЗЗ по сегментам. По графику ниже видно, что в сегменте с вариантом «B» с маленькими картинками товаров без цены пользователи просматривали блок чаще, чем в остальных двух:
Анализировали конверсию в добавление товаров из блока
Далее отслеживали, как в тестовых группах отличается конверсия в добавление товаров в корзину. По графику ниже видно, что и в этом случае лучше всего себя показал вариант «B»:
Конверсия в добавление товаров в корзину из разных вариантов блока ВВЗЗ
Вариант «С» здесь на втором месте. Вероятно, это связано с возможностью добавлять товары в корзину без перехода на список товаров.
Результат — увеличили средний чек на 13,6%
Вариант «B» с изображениями товаров выиграл по сравнению со старым блоком, где товары не показаны. При этом, блок «C» с товарами и ценами не показал статистически значимых результатов.
Результаты A/B теста: вариант «B» показал лучший результат относительно варианта «A» по конверсии добавления товара в корзину, средней выручке с пользователя и среднему чеку
На основе этих результатов в приложении Утконос ОНЛАЙН решили на всех пользователей запустить блок ВВЗЗ с изображением товаров.
Кейс с редизайном главной страницы приложения
В Утконос ОНЛАЙН решили сделать редизайн мобильного приложений и начать его с главной страницы. Редизайн должен был помочь добиться следующих целей:
- Увеличить конверсию в покупку благодаря новому удобному дизайну.
- Поддержать новую стилистику бренда и брендбук. На тот момент уже обновили сайт, и настало время приложения, чтобы продукт был в одном стиле на всех платформах.
- Увеличить количество поисков. Ранее во внутреннем исследовании обнаружили: пользователи, которые взаимодействуют с поиском чаще, чем с каталогом товаров, в дальнейшем лучше конвертируются в покупку.
Для этого вынесли строку поиска на главный экран:
- Показать масштаб ассортимента, который в Утконос ОНЛАЙН постоянно расширяется. Хотели, чтобы пользователь знал, что он может заказать не только еду и продукты, а еще цветы, например.
Для этого добавили бесконечный список товаров и категорий:Показать масштаб ассортимента, который в Утконос ОНЛАЙН постоянно расширяется. Хотели, чтобы пользователь знал, что он может заказать не только еду и продукты, а еще цветы, например.
Раньше на главном экране показывались только новинки в одну строку. Теперь весь экран занимают товары, представленные в Утконос ОНЛАЙН.
Увеличить просмотры рецептов. В рецептах используются ингредиенты, которые можно купить в Утконос ОНЛАЙН. Поэтому чем больше пользователей будут просматривать рецепты, тем больше заказов будет сделано.
Чтобы обратить внимание клиентов на раздел Рецепты, его вынесли в слайдер с крупными изображениями:
Как анализировали результаты редизайна
Аудиторию разделили поровну на тех, кто видел обновления (тестовая группа), и тех, у кого в приложении ничего не изменилось (контрольная группа). Параметры передавали в Amplitude.
Обновления запускали постепенно и с помощью графиков в Amplitude проверяли, как тестовая группа на них реагирует и как ее показатели отличаются от контрольной:
Сегменты поделены поровну. «Ступеньки» на графике — постепенная раскатка обновлений на большую аудиторию.
Эксперимент длился 1,5 месяца. И спустя это время количество заказов и доход оказались практически равны.
Количество заказов по сегментам
Объем дохода по сегментам
Результаты каждого обновления
Поиск на главном экране
Как видно по графику ниже, количество поисков в тестовой группе больше, чем в контрольной. При этом поиск с главного экрана составил четверть всех поисков в тестовой группе. Это значит, что вынесенный на главный экран поиск помогает увеличить общее количество поисков в приложении, что в дальнейшем приведет к увеличению конверсии в покупку.
Суммарное количество поиска из отдельного раздела и с главной страницы
Бесконечный список товаров
График показал, что добавлений в корзину из бесконечного блока ненамного больше, чем из всех товарных слайдеров.
Сделали вывод, что этот блок полезен пользователям, его можно развивать, улучшать алгоритм выдачи и работать с визуалом.
Бесконечный список товаров почти не отстает от товарных слайдеров
Блок Рецепты
По графику ниже видно, что просмотры рецептов увеличились, а просмотры каталога рецептов снизились. Это связано с тем, что рецепты можно посмотреть, не переходя в каталог рецептов, а просто с главного экрана.
Для анализа результатов поделили метрики на ключевые и прокси-метрики. Ключевые метрики показывают основные бизнес-показатели, а прокси-метрики — эффективность редизайна.
Эксперимент не показал статистически значимой разницы в ключевых метриках, при этом выявил значимую разницу в прокси-метриках. Так стало ясно, что редизайн главного экрана не сильно влияет на основные метрики, но положительно на прокси-метрики. Поэтому Утконос ОНЛАЙН приняли решение запустить новый экран на всех пользователей и продолжить редизайн приложения в других разделах.
Общий результат — прокси-метрики значимо выросли
Для анализа результатов поделили метрики на ключевые и прокси-метрики. Ключевые метрики показывают основные бизнес-показатели, а прокси-метрики — эффективность редизайна.
Эксперимент не показал статистически значимой разницы в ключевых метриках, при этом выявил значимую разницу в прокси-метриках. Так стало ясно, что редизайн главного экрана не сильно влияет на основные метрики, но положительно на прокси-метрики. Поэтому Утконос ОНЛАЙН приняли решение запустить новый экран на всех пользователей и продолжить редизайн приложения в других разделах.
В строке «Изменение» показано, как изменились ключевые и прокси-метрики
Кейсы подтверждают важность A/B-тестирования
Времена, когда коллеги спорили о цвете кнопок на главной странице, уже давно в прошлом. Сегодня делать выводы о таких изменениях принято не «пальцем в небо», а на основе точных данных. Поэтому продуктовые компании так любят A/B-тестировать новые функции и изменения в дизайне.
Зачастую не самые очевидные варианты становятся самыми конверсионными. A/B-тесты помогают не тратить ресурсы на неэффективные разработки и запускать в большой релиз потенциально успешные обновления. Так произошло и у Утконос ОНЛАЙН при тестировании блока «Возможно, вы забыли заказать». С помощью A/B-теста их команда смогла найти самый конверсионный вариант блока и выпустить именно его в большой релиз.
Кейсы показали, что тестирование гипотез — важная часть работы продуктовых команд. Тестировать можно и нужно весь новый функционал. Только так получится делать выводы о его успехе не вслепую, а основываясь на данных, которые, кстати, может посмотреть в Amplitude любой менеджер компании