Увеличение конверсии интернет-магазина: сила дефолта и особенности проведения A/Б теста на примере HolySkin.ru
Всем привет. Меня зовут Фёдор Гвоздев, я основатель интернет-магазина корейской косметики HolySkin.ru. Работаем над проектом с 2013 года. За это время провели сотни А/В-тестов и создали архив-базу в Notion, чтобы избежать дублирования тестов и обеспечить команде быстрый доступ к данным.
В данном материале будет разобран кейс А/Б-тестирования с изменением страницы оформления заказа - от формирования гипотезы до анализа полученных результатов с использованием качественных и количественных метрик.
Объект исследования – количественные метрики интернет-магазина: средняя стоимость заказа и показатели конверсии из корзины в заказ
Цель исследования – понять, каким образом изменение способа доставки по-умолчанию при оформлении заказа влияет на конверсию и размер средней стоимости заказа
Использованные инструменты – Google Analytics, Google Enhanced Ecommerce, GTM, Owox Bi, Google Data Studio, Google BigQuery, Notion.
Вводные данные и особенности интернет-магазина
HolySkin — это интернет-магазин корейской косметики с классическим дизайном. Реализованы каталог, карточки товара, корзина и оформление заказа.
Нашей целью в период с января по март 2020 было:
- Увеличить средний чек заказов в регионе Санкт-Петербург
- Снизить вероятность отмены заказа в регионе Санкт-Петербург
На данном проекте были настроены Google Tag Manager, подключена расширенная электронная торговля Google Analytics (Enhanced Ecommerce) и настроена передача возвратов в Google Analytics.
Далее данные будут представлены только на основе информации из региона Санкт-Петербург и Ленинградская область.
В ходе анализа отчетов, полученных при помощи подключенных ранее инструментов, обнаружена закономерность: пользователи, выбирающие самовывоз из магазина, чаще отменяют заказы. При этом средняя стоимость таких заказов - ниже. Напротив, пользователи, которые предпочитают иные способы доставки, отменяют заказы на 70% реже, а средняя стоимость заказов таких пользователей - в 2 раза выше.
Статистика распределения вариантов доставки при оформлении заказа, данные взяты за предыдущие 4 месяца:
- 55% со способом доставки «самовывоз из магазина»
- 30% самовывоз из пунктов выдачи и постаматов
- 15% курьерская доставка
Высокий процент заказов, приходящийся на пункт “самовывоз из магазина”, нам показался странным. Санкт-Петербург – крупный город, в котором у нас подключено более 1000 пунктов выдачи. Стоимость доставки в пункты выдачи - одна из самых низких по городу. С учетом времени в пути и стоимости за проезд - забрать заказ прямо рядом с домом или работой кажется более удобным выбором.
На основе этого выдвигаем предположение, что пользователи на самом деле НЕ выбирают самовывоз, а просто используют способ доставки по-умолчанию, которым в тот момент времени и являлся самовывоз из магазина, а сам способ доставки им не важен.
Формулируем гипотезу и проводим А/Б тест
На основе полученной статистики и наших предположений, формулируем гипотезу:
ЕСЛИ настроить выбор способа доставки в пункты выдачи по-умолчанию,
ТО мы увеличим % заказов в пункты выдачи и таким образом увеличим среднюю стоимость заказа и снизим количество отмен,
ПОТОМУ ЧТО потребителю не важен способ доставки, и он выбирает установленный по дефолту
Полагаясь на данные о статистике отмены заказов среди пользователей, которые выбирают доставку в пункт самовывоза или доставку курьером, мы предполагали увеличить средний чек и снизить количество отмен через изменение порядка способов доставки в нашем меню.
Исходные данные перед проведением А/В-теста
Изменения: пункты выдачи переносим на первое место в выпадающем меню и включаем их как способ доставки по-умолчанию, самовывоз из магазина переносим на последнее место в выпадающем меню.
Для отслеживания результатов, динамики и составления графиков использовали набор инструментов: Google Analytics, Owox Bi, Google Data Studio, Google BigQuery. Результаты А/В-тестирования сохранили в Notion, чтобы сэкономить ресурсы команды и избежать повторных идентичных тестов в будущем.
Проверка гипотезы осуществлялась в период 20.01.2020 по 26.01.2020 . Длительность самого сплит-тестирования составила 5 рабочих дней, поскольку в связи с полученными результатами А/В-тест решено было остановить. Для теста выбрано 25% от общего количества посетителей интернет-магазина.
Ключевые метрики количественные:
- конверсия из корзины в заказ;
- средняя стоимость заказа (средний чек).
Доли посетителей, заходящих с мобильного телефона и с персональных компьютеров, составили 60 и 40%. Регион – Санкт-Петербург и Ленинградская область. Распределение трафика производилось динамически. Основной источник трафика – переходы по рекламе (Google.Ads, Criteo, Facebook.Ads, Yandex.Direct).
В течение периода тестирования следили за тем, чтобы все формы и выпадающие списки работали корректно: важно было не допустить ситуации, когда технические ошибки влияют на чистоту и качество результатов. Замеры проводились параллельно, чтобы исключить риск влияния внешних факторов (сезонность, рекламные кампании и разные источники трафика). Уровень статистической значимости составляет 5%.
Результаты А/В–тестирования:
Анализ результатов А/В-тестирования
Средняя стоимость заказа выросла на 55%, как мы и предполагали
А вот конверсия корзины снизилась на 67% — со средних 30% до 18%
Количество заказов в пункты выдачи выросло на 20%, а в магазин сократилось вдвое.
Гипотеза о том, что пользователи используют способ доставки по дефолту, оказалась верной, однако мы не учли два фактора:
- Посетителям очень важен магазин
Опросы посетителей, которые мы провели впоследствии, показали, что магазин является более привлекательным способом доставки, из-за: скорости, доверия, атмосферы, отсутствия платы за доставку.
Мы не получали обратной связи, что кто-то не мог найти в способе доставки самовывоз из магазина, поэтому допускаем, что если проблема и встречалась, то лишь у небольшого процента посетителей.
На сайте присутствует много упоминаний магазина и быстрой доставки — на карточках товара, на странице доставки, в контекстной рекламе.
Основываясь на всем этом, мы пришли к выводу, что посетители ожидали увидеть магазин. Когда они не видели его сразу, то откладывали заказ и уходили.
- Посетители не любят принимать сложные решения и слишком широкий выбор, который требует больших затрат времени
После того как список ПВЗ оказался первой опцией в списке доставки – это значительно усложнило процесс оформления заказа: посетителям приходилось дополнительно искать и выбирать удобный пункт из более чем 1000 ПВЗ, а также читать про сроки доставки и условия работы конкретного пункта выдачи.
Тогда как при самовывозе из магазина по-умолчанию, все происходило фактически в один клик: достаточно было заполнить контактные данные и нажать кнопку «оформить заказ».
Вывод
Исходя из всего вышесказанного — то, что вы ставите по дефолту — играет очень важную роль. Если вы используете конверсионные и простые решения, то вы можете улучшить результат. Если введете непопулярную или сложную опцию, можете снизить показатели. Но всё это покажут лишь тесты.
Наш опыт, результаты исследования и полученные выводы - окажутся полезными и могут быть использованы в процессе разработки и оптимизации работы интернет-магазинов.
Проводите А/Б тесты. Они позволят получить более полноценную информацию, подтвердить или опровергнуть ваши догадки. Даже если вы основываетесь на цифрах статистики и уверены в своем решении на 100%, вы можете просто не учесть какие-то факторы, которые статистика не всегда показывает.
А вот это тоже повышает конверсию?
А/Б тесты это хорошо. И провели вы их вроде правильно. Правда не знаю точного расчета выборки (а это напрямую влияет на результаты тестов), но надеюсь, что с этим вы тоже справились :)
Хотел рассказать о другом. На самом деле, чтобы придти к таким же выводам в вашем примере — не требовались тесты)
Если обратиться к более общим вещам, то прогон интерфейса по эвристикам Нильсена Нормана мог косвенно подсветить проблему— https://www.nngroup.com/articles/ten-usability-heuristics/
Если к более частным, то Baymard уже поисследовал и рассказал, как нужно правильно делать — https://baymard.com/blog/drop-down-usability
(спойлер: там есть конкретное решение на вашу проблему)
С наступающим! 🥳
Классный кейс. Спасибо что поделились. Был релевантный опыт с "забираем товар из нашей розничной точки", но тогда это было требование, которое нельзя было обойти, так как именно таким путем проще было формировать логистику "склад ГП>пвз" и дальнейший учёт остатков для склада ИМ. А также, даже при условии высоких отказов "часто не забирают товар", через свой офлайн-магазин можно было решать проблему с частичным выкупом и смены размера одежды.
Спасибо за положительную оценку!
Всё, что вы описали релевантно и моему опыту. Я проверял гипотезы о влиянии ПВЗ/магазинов на конверсию, средний чек и % выкупа. Статистических данных и расчётов хватит на несколько отдельных материалов. В будущем подготовлю и можно будет сравнить наш опыт.
спасибо за статью, классный материал!
одного не хватило - вывод то все же какой? будь я собственником бизнеса, то ничего бы не понял - одна цифра упала, другая выросла. заработаю ли я больше денег?
как я понял - нет. конверсия упала на чуть большую величину, чем вырос чек.
можно ли повторить тест, но использовать показатель "рублей на сеанс" (оборот/трафик)? так можно было бы оба показателя (ср. чек и конверсию) совместить в одном
Посмотрите в сторону https://sales-ninja.me
И ИИ будет показывать забор из пункта выдачи тем, кто конвертит лучше с этим вариантом и забор из магазина тем, кто конвертит лучше с вариантом забора из магазина.
Что-то вроде улучшенных АБ тестов с ИИ)
Правда оптимизации по выручки пока нет, должна быть в первом квартале 2023 года.