Увеличение конверсии интернет-магазина: сила дефолта и особенности проведения A/Б теста на примере HolySkin.ru

Всем привет. Меня зовут Фёдор Гвоздев, я основатель интернет-магазина корейской косметики HolySkin.ru. Работаем над проектом с 2013 года. За это время провели сотни А/В-тестов и создали архив-базу в Notion, чтобы избежать дублирования тестов и обеспечить команде быстрый доступ к данным.

В данном материале будет разобран кейс А/Б-тестирования с изменением страницы оформления заказа - от формирования гипотезы до анализа полученных результатов с использованием качественных и количественных метрик.

Объект исследования – количественные метрики интернет-магазина: средняя стоимость заказа и показатели конверсии из корзины в заказ

Цель исследования – понять, каким образом изменение способа доставки по-умолчанию при оформлении заказа влияет на конверсию и размер средней стоимости заказа

Использованные инструменты – Google Analytics, Google Enhanced Ecommerce, GTM, Owox Bi, Google Data Studio, Google BigQuery, Notion.

Вводные данные и особенности интернет-магазина

HolySkin — это интернет-магазин корейской косметики с классическим дизайном. Реализованы каталог, карточки товара, корзина и оформление заказа.

Заказ оформляется сразу в корзине, 1 кнопкой, после заполнения основных данных. Способ доставки и способ оплаты уже выбран по-умолчанию, изменить его можно через выпадающее меню

Нашей целью в период с января по март 2020 было:

  1. Увеличить средний чек заказов в регионе Санкт-Петербург
  2. Снизить вероятность отмены заказа в регионе Санкт-Петербург

На данном проекте были настроены Google Tag Manager, подключена расширенная электронная торговля Google Analytics (Enhanced Ecommerce) и настроена передача возвратов в Google Analytics.

Далее данные будут представлены только на основе информации из региона Санкт-Петербург и Ленинградская область.

В ходе анализа отчетов, полученных при помощи подключенных ранее инструментов, обнаружена закономерность: пользователи, выбирающие самовывоз из магазина, чаще отменяют заказы. При этом средняя стоимость таких заказов - ниже. Напротив, пользователи, которые предпочитают иные способы доставки, отменяют заказы на 70% реже, а средняя стоимость заказов таких пользователей - в 2 раза выше.

Статистика распределения вариантов доставки при оформлении заказа, данные взяты за предыдущие 4 месяца:

  • 55% со способом доставки «самовывоз из магазина»
  • 30% самовывоз из пунктов выдачи и постаматов
  • 15% курьерская доставка

Высокий процент заказов, приходящийся на пункт “самовывоз из магазина”, нам показался странным. Санкт-Петербург – крупный город, в котором у нас подключено более 1000 пунктов выдачи. Стоимость доставки в пункты выдачи - одна из самых низких по городу. С учетом времени в пути и стоимости за проезд - забрать заказ прямо рядом с домом или работой кажется более удобным выбором.

На основе этого выдвигаем предположение, что пользователи на самом деле НЕ выбирают самовывоз, а просто используют способ доставки по-умолчанию, которым в тот момент времени и являлся самовывоз из магазина, а сам способ доставки им не важен.

Формулируем гипотезу и проводим А/Б тест

На основе полученной статистики и наших предположений, формулируем гипотезу:

ЕСЛИ настроить выбор способа доставки в пункты выдачи по-умолчанию,

ТО мы увеличим % заказов в пункты выдачи и таким образом увеличим среднюю стоимость заказа и снизим количество отмен,

ПОТОМУ ЧТО потребителю не важен способ доставки, и он выбирает установленный по дефолту

Полагаясь на данные о статистике отмены заказов среди пользователей, которые выбирают доставку в пункт самовывоза или доставку курьером, мы предполагали увеличить средний чек и снизить количество отмен через изменение порядка способов доставки в нашем меню.

Исходные данные перед проведением А/В-теста

Изменения: пункты выдачи переносим на первое место в выпадающем меню и включаем их как способ доставки по-умолчанию, самовывоз из магазина переносим на последнее место в выпадающем меню.

Вариант А — всё, как было до изменений — самовывоз из магазина по-умолчанию
Вариант Б — вносим изменения — пункты выдачи заказов по-умолчанию

Для отслеживания результатов, динамики и составления графиков использовали набор инструментов: Google Analytics, Owox Bi, Google Data Studio, Google BigQuery. Результаты А/В-тестирования сохранили в Notion, чтобы сэкономить ресурсы команды и избежать повторных идентичных тестов в будущем.

Проверка гипотезы осуществлялась в период 20.01.2020 по 26.01.2020 . Длительность самого сплит-тестирования составила 5 рабочих дней, поскольку в связи с полученными результатами А/В-тест решено было остановить. Для теста выбрано 25% от общего количества посетителей интернет-магазина.

Ключевые метрики количественные:

  • конверсия из корзины в заказ;
  • средняя стоимость заказа (средний чек).

Доли посетителей, заходящих с мобильного телефона и с персональных компьютеров, составили 60 и 40%. Регион – Санкт-Петербург и Ленинградская область. Распределение трафика производилось динамически. Основной источник трафика – переходы по рекламе (Google.Ads, Criteo, Facebook.Ads, Yandex.Direct).

В течение периода тестирования следили за тем, чтобы все формы и выпадающие списки работали корректно: важно было не допустить ситуации, когда технические ошибки влияют на чистоту и качество результатов. Замеры проводились параллельно, чтобы исключить риск влияния внешних факторов (сезонность, рекламные кампании и разные источники трафика). Уровень статистической значимости составляет 5%.

Результаты А/В–тестирования:

Анализ результатов А/В-тестирования

Средняя стоимость заказа выросла на 55%, как мы и предполагали
А вот конверсия корзины снизилась на 67% — со средних 30% до 18%

Количество заказов в пункты выдачи выросло на 20%, а в магазин сократилось вдвое.

Гипотеза о том, что пользователи используют способ доставки по дефолту, оказалась верной, однако мы не учли два фактора:

  • Посетителям очень важен магазин

Опросы посетителей, которые мы провели впоследствии, показали, что магазин является более привлекательным способом доставки, из-за: скорости, доверия, атмосферы, отсутствия платы за доставку.

Мы не получали обратной связи, что кто-то не мог найти в способе доставки самовывоз из магазина, поэтому допускаем, что если проблема и встречалась, то лишь у небольшого процента посетителей.

На сайте присутствует много упоминаний магазина и быстрой доставки — на карточках товара, на странице доставки, в контекстной рекламе.

Основываясь на всем этом, мы пришли к выводу, что посетители ожидали увидеть магазин. Когда они не видели его сразу, то откладывали заказ и уходили.

  • Посетители не любят принимать сложные решения и слишком широкий выбор, который требует больших затрат времени
Объединенная карта пунктов выдачи и постаматов всех служб доставки в Петербурге

После того как список ПВЗ оказался первой опцией в списке доставки – это значительно усложнило процесс оформления заказа: посетителям приходилось дополнительно искать и выбирать удобный пункт из более чем 1000 ПВЗ, а также читать про сроки доставки и условия работы конкретного пункта выдачи.

Тогда как при самовывозе из магазина по-умолчанию, все происходило фактически в один клик: достаточно было заполнить контактные данные и нажать кнопку «оформить заказ».

Вывод

Исходя из всего вышесказанного — то, что вы ставите по дефолту — играет очень важную роль. Если вы используете конверсионные и простые решения, то вы можете улучшить результат. Если введете непопулярную или сложную опцию, можете снизить показатели. Но всё это покажут лишь тесты.

Наш опыт, результаты исследования и полученные выводы - окажутся полезными и могут быть использованы в процессе разработки и оптимизации работы интернет-магазинов.

Проводите А/Б тесты. Они позволят получить более полноценную информацию, подтвердить или опровергнуть ваши догадки. Даже если вы основываетесь на цифрах статистики и уверены в своем решении на 100%, вы можете просто не учесть какие-то факторы, которые статистика не всегда показывает.

0
7 комментариев
Написать комментарий...
Евгений В.

А вот это тоже повышает конверсию?

Ответить
Развернуть ветку
Максим Отмахов из Antro.cx

А/Б тесты это хорошо. И провели вы их вроде правильно. Правда не знаю точного расчета выборки (а это напрямую влияет на результаты тестов), но надеюсь, что с этим вы тоже справились :)

Хотел рассказать о другом. На самом деле, чтобы придти к таким же выводам в вашем примере — не требовались тесты)

Если обратиться к более общим вещам, то прогон интерфейса по эвристикам Нильсена Нормана мог косвенно подсветить проблему— https://www.nngroup.com/articles/ten-usability-heuristics/
Если к более частным, то Baymard уже поисследовал и рассказал, как нужно правильно делать — https://baymard.com/blog/drop-down-usability
(спойлер: там есть конкретное решение на вашу проблему)

С наступающим! 🥳

Ответить
Развернуть ветку
Петр Костюков

Классный кейс. Спасибо что поделились. Был релевантный опыт с "забираем товар из нашей розничной точки", но тогда это было требование, которое нельзя было обойти, так как именно таким путем проще было формировать логистику "склад ГП>пвз" и дальнейший учёт остатков для склада ИМ. А также, даже при условии высоких отказов "часто не забирают товар", через свой офлайн-магазин можно было решать проблему с частичным выкупом и смены размера одежды.

Ответить
Развернуть ветку
Fedor Gvozdev
Автор

Спасибо за положительную оценку!

Всё, что вы описали релевантно и моему опыту. Я проверял гипотезы о влиянии ПВЗ/магазинов на конверсию, средний чек и % выкупа. Статистических данных и расчётов хватит на несколько отдельных материалов. В будущем подготовлю и можно будет сравнить наш опыт.

Ответить
Развернуть ветку
Vladius

спасибо за статью, классный материал!
одного не хватило - вывод то все же какой? будь я собственником бизнеса, то ничего бы не понял - одна цифра упала, другая выросла. заработаю ли я больше денег?

как я понял - нет. конверсия упала на чуть большую величину, чем вырос чек.

можно ли повторить тест, но использовать показатель "рублей на сеанс" (оборот/трафик)? так можно было бы оба показателя (ср. чек и конверсию) совместить в одном

Ответить
Развернуть ветку
Рустам Салахутдинов

Посмотрите в сторону https://sales-ninja.me

И ИИ будет показывать забор из пункта выдачи тем, кто конвертит лучше с этим вариантом и забор из магазина тем, кто конвертит лучше с вариантом забора из магазина.

Что-то вроде улучшенных АБ тестов с ИИ)

Правда оптимизации по выручки пока нет, должна быть в первом квартале 2023 года.

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Fedor Gvozdev
Автор

Максим, ваши примеры хорошо дополняют материал!

Согласен, но теория не всегда коррелирует с практикой. Мы проверяли часть гипотез из материалов по указанным ссылкам. Где было возможно и могло быть эффективно, проверяли их А/Б - тестированием, и далеко не везде было совпадение теории с практикой.

И вас с Наступающим!

Ответить
Развернуть ветку
4 комментария
Раскрывать всегда