Кейс 21vek.by и Popmechanic: +330 тысяч $ дополнительного дохода с помощью A/B-тестов

Рассказываем, как мы увеличили конверсию в подписку на 43%, проверили десятки гипотез, повысили конверсию сайта и принесли +330 тысяч $ дополнительного дохода с помощью A/B-тестов. А еще в этой статье поделимся ссылкой на таблицу с примерами 100+ механик для повышения конверсии сайта.

21vek.by - крупнейший онлайн-гипермаркет Беларуси, работающий с 2004 года.

Ассортимент превышает 600 000 товаров. Трафик сайта более 3 млн посетителей в месяц.

Коллеги из 21vek.by обратились в Popmechanic с задачей быстрого тестирования гипотез по увеличению конверсии сайта.

Чтобы маркетолог без привлечения разработки мог сам протестировать влияние показа любого баннера, промокода, всплывающего блока на коэффициент транзакции и доход.

Мы совместно определили возможные механики для улучшений и составили список гипотез для проверки.

Делимся результатами A/B-тестов.

Решили протестировать несколько разных типов форм подписки.

Попробуйте угадать, какая форма собирала больше подписчиков?

Результаты A/B-теста в таблице ниже:

Выводы:

Идея сделать с простой формы на 1 шаг двухшаговую выглядела нелогичной. Обычно усложнение и увеличение шагов заполнения негативно влияет на конверсию. В данном случае получилось наоборот – сработал психологический эффект: мы предлагаем сначала ответить на вопрос простым нажатием а потом оставить email. Кажется, в этой механике играет роль страх быть непоследовательным.

Например, спросить “Хотите скидку -5%” или “Хотите получить приглашение на закрытую распродажу?”, и запросить email на 2 шаге, если посетитель выбирает вариант “Хочу”.

Кроме тестов форм подписки мы запустили десятки различных тестов с контрольной группой.

Трафик сайта разделяется на несколько групп. Одной из групп изменения на сайте показываются, другой – нет. То есть мы создаем контрольную группу для оценки влияния показа определенной механики на поведение посетителей сайта и целевые метрики.

В таблице ниже представлена часть из тестов, которые дали достоверный результат по улучшению целевых показателей.

В результатах 1 цифра – показатели контрольной группы, 2 – показатели группы с показом механики.

Вы можете заметить, что для разных механик стартовые цифры конверсии и дохода за сеанс разные. Это связано с тем, что тесты проводились в разное время, для теста могла быть выделена отдельная категория посетителей. Например, тест только среди тех, кто посещал карточки товаров.

То есть, в данном случае корректно сравнивать показатели с контрольной группой и за конкретный период, а не по сайту в целом за всё время. Более детальное описание каждого из эксперимента мы опишем в своем блоге.

Мы выдвинули гипотезу о том, что можно повысить количество транзакций и доход за сеанс, если в карточке товара показывать количество бонусных баллов, которые получит клиент при покупке.

Потому как не все посетители сайта знают о существовании этой программы и это может быть решающим фактором покупки при условии равных цен с другим интернет-магазином.

Сделали в конструкторе блок с расчетом бонусных баллов в зависимости от цены товара по формуле, которая используется для программы лояльности:

Количество бонусных баллов для товаров по скидке = Цена товара X 0,01

Количество бонусных баллов для товаров без скидки = Цена товара X 0,03

Мы запустили 2 отдельных A/B-теста для проверки гипотезы – для мобильных и для десктопных устройств.

На мобильном получили такие показатели:

С вероятностью 95% показ бонусных баллов повышает коэффициент транзакций с 1,65% до 1,67%. На первый взгляд разница может показаться незначительной. Но при трафике контрольной группы в 1 728 556 посетителей мы получили 28 500 конверсий при коэффициенте транзакций 1,65%. А что если бы коэффициенте транзакций контрольной группы был тоже 1,67%? В таком случае количество транзакций предположительно было бы 28 866.

То есть, даже небольшое изменение коэффициента транзакций на 0,02% за тестовой период принесло на 366 транзакций больше.

На десктопных устройствах достоверность улучшений при показе блока с баллами меньше 90%. Поэтому продолжим тест, оптимизировав внешний вид блока.

Может показаться, что несколько процентов улучшения не имеют смысла.
Попробуем посчитать точнее, сколько дополнительных транзакций и дохода мы получили благодаря запущенным механикам.
Для тех экспериментов, где достоверность увеличения дохода была более 90% мы решили посчитать, на сколько был увеличен доход при показе механики в сравнении с контрольной группой с учетом вычисленного дохода за сеанс.

Выводы:

Разберем на примере одной механики, как непосредственно создается механика и запускается тест, какие инструменты используются, сколько времени это занимает.

Для этого наша команда анализирует сайт и подбирает наиболее подходящие механики.

Делимся нашим файлом для внутреннего использования с примерами:

Этот файл поможет вам найти идеи для тестов и сформулировать гипотезы. Например, мы хотим протестировать показ количества бонусных баллов, которые получит пользователь при покупке товара.

Важно определить, что будет целью использования механики и за какими показателями мы будем следить.

Например, показ количества бонусных баллов, которые получит пользователь при покупке товара, поможет увеличить коэффициент конверсии сайта на 10%.

Сервис Popmechanic позволяет быстро устанавливать различные встроенные и всплывающие формы по заданным условиям.

Выберем подходящий шаблон с каталога сервиса, адаптируем его:

Настраиваем условия показа формы:

Тестируем и запускаем механику на сайте.

Google Optimize позволяет:

Google Optimize покажет вам через время после запуска теста 1 из статусов :

- определен более конверсионный вариант;

- между вариантами нет разницы;

- недостаточно данных и необходимо продолжить эксперимент;

Минимальное время для теста зависит от количества посетителей сайта и условий теста.

В примере ниже, например, показ формы с количеством бонусных баллов в карточке товара с вероятностью 100% увеличивает коэффициент транзакций:

Рекомендуем создать файл с проведенными на сайте экспериментами, чтобы понимать ценность механик, улучшать показатели и передавать коллегам знания о поведении на сайте.

Итого, мы совместно с коллегами из компании 21 век мы проверили более 10 гипотез. Выбрали и оставили наиболее конверсионные механики. Повысили конверсию в подписку на 43%.

Планируем тестировать еще много новых механик и улучшать существующие показатели.

Алина Расюк, Head of digital marketing 21vek.by

Юлия Повх, Product owner Popmechanic

Карина Каварнали, менеджер клиентского успеха Popmechanic