Увеличение конверсии интернет-магазина: сила дефолта и особенности проведения A/Б теста на примере HolySkin.ru

Всем привет. Меня зовут Фёдор Гвоздев, я основатель интернет-магазина корейской косметики HolySkin.ru. Работаем над проектом с 2013 года. За это время провели сотни А/В-тестов и создали архив-базу в Notion, чтобы избежать дублирования тестов и обеспечить команде быстрый доступ к данным.

В данном материале будет разобран кейс А/Б-тестирования с изменением страницы оформления заказа - от формирования гипотезы до анализа полученных результатов с использованием качественных и количественных метрик.

Объект исследования – количественные метрики интернет-магазина: средняя стоимость заказа и показатели конверсии из корзины в заказ

Цель исследования – понять, каким образом изменение способа доставки по-умолчанию при оформлении заказа влияет на конверсию и размер средней стоимости заказа

Использованные инструменты – Google Analytics, Google Enhanced Ecommerce, GTM, Owox Bi, Google Data Studio, Google BigQuery, Notion.

HolySkin — это интернет-магазин корейской косметики с классическим дизайном. Реализованы каталог, карточки товара, корзина и оформление заказа.

Нашей целью в период с января по март 2020 было:

На данном проекте были настроены Google Tag Manager, подключена расширенная электронная торговля Google Analytics (Enhanced Ecommerce) и настроена передача возвратов в Google Analytics.

Далее данные будут представлены только на основе информации из региона Санкт-Петербург и Ленинградская область.

В ходе анализа отчетов, полученных при помощи подключенных ранее инструментов, обнаружена закономерность: пользователи, выбирающие самовывоз из магазина, чаще отменяют заказы. При этом средняя стоимость таких заказов - ниже. Напротив, пользователи, которые предпочитают иные способы доставки, отменяют заказы на 70% реже, а средняя стоимость заказов таких пользователей - в 2 раза выше.

Статистика распределения вариантов доставки при оформлении заказа, данные взяты за предыдущие 4 месяца:

Высокий процент заказов, приходящийся на пункт “самовывоз из магазина”, нам показался странным. Санкт-Петербург – крупный город, в котором у нас подключено более 1000 пунктов выдачи. Стоимость доставки в пункты выдачи - одна из самых низких по городу. С учетом времени в пути и стоимости за проезд - забрать заказ прямо рядом с домом или работой кажется более удобным выбором.

На основе этого выдвигаем предположение, что пользователи на самом деле НЕ выбирают самовывоз, а просто используют способ доставки по-умолчанию, которым в тот момент времени и являлся самовывоз из магазина, а сам способ доставки им не важен.

На основе полученной статистики и наших предположений, формулируем гипотезу:

Полагаясь на данные о статистике отмены заказов среди пользователей, которые выбирают доставку в пункт самовывоза или доставку курьером, мы предполагали увеличить средний чек и снизить количество отмен через изменение порядка способов доставки в нашем меню.

Изменения: пункты выдачи переносим на первое место в выпадающем меню и включаем их как способ доставки по-умолчанию, самовывоз из магазина переносим на последнее место в выпадающем меню.

Для отслеживания результатов, динамики и составления графиков использовали набор инструментов: Google Analytics, Owox Bi, Google Data Studio, Google BigQuery. Результаты А/В-тестирования сохранили в Notion, чтобы сэкономить ресурсы команды и избежать повторных идентичных тестов в будущем.

Проверка гипотезы осуществлялась в период 20.01.2020 по 26.01.2020 . Длительность самого сплит-тестирования составила 5 рабочих дней, поскольку в связи с полученными результатами А/В-тест решено было остановить. Для теста выбрано 25% от общего количества посетителей интернет-магазина.

Ключевые метрики количественные:

Доли посетителей, заходящих с мобильного телефона и с персональных компьютеров, составили 60 и 40%. Регион – Санкт-Петербург и Ленинградская область. Распределение трафика производилось динамически. Основной источник трафика – переходы по рекламе (Google.Ads, Criteo, Facebook.Ads, Yandex.Direct).

В течение периода тестирования следили за тем, чтобы все формы и выпадающие списки работали корректно: важно было не допустить ситуации, когда технические ошибки влияют на чистоту и качество результатов. Замеры проводились параллельно, чтобы исключить риск влияния внешних факторов (сезонность, рекламные кампании и разные источники трафика). Уровень статистической значимости составляет 5%.

Результаты А/В–тестирования:

Количество заказов в пункты выдачи выросло на 20%, а в магазин сократилось вдвое.

Гипотеза о том, что пользователи используют способ доставки по дефолту, оказалась верной, однако мы не учли два фактора:

Опросы посетителей, которые мы провели впоследствии, показали, что магазин является более привлекательным способом доставки, из-за: скорости, доверия, атмосферы, отсутствия платы за доставку.

Мы не получали обратной связи, что кто-то не мог найти в способе доставки самовывоз из магазина, поэтому допускаем, что если проблема и встречалась, то лишь у небольшого процента посетителей.

На сайте присутствует много упоминаний магазина и быстрой доставки — на карточках товара, на странице доставки, в контекстной рекламе.

Основываясь на всем этом, мы пришли к выводу, что посетители ожидали увидеть магазин. Когда они не видели его сразу, то откладывали заказ и уходили.

После того как список ПВЗ оказался первой опцией в списке доставки – это значительно усложнило процесс оформления заказа: посетителям приходилось дополнительно искать и выбирать удобный пункт из более чем 1000 ПВЗ, а также читать про сроки доставки и условия работы конкретного пункта выдачи.

Тогда как при самовывозе из магазина по-умолчанию, все происходило фактически в один клик: достаточно было заполнить контактные данные и нажать кнопку «оформить заказ».

Исходя из всего вышесказанного — то, что вы ставите по дефолту — играет очень важную роль. Если вы используете конверсионные и простые решения, то вы можете улучшить результат. Если введете непопулярную или сложную опцию, можете снизить показатели. Но всё это покажут лишь тесты.

Наш опыт, результаты исследования и полученные выводы - окажутся полезными и могут быть использованы в процессе разработки и оптимизации работы интернет-магазинов.

Проводите А/Б тесты. Они позволят получить более полноценную информацию, подтвердить или опровергнуть ваши догадки. Даже если вы основываетесь на цифрах статистики и уверены в своем решении на 100%, вы можете просто не учесть какие-то факторы, которые статистика не всегда показывает.