Кейс 21vek.by и Popmechanic: +330 тысяч $ дополнительного дохода с помощью A/B-тестов

Рассказываем, как мы увеличили конверсию в подписку на 43%, проверили десятки гипотез, повысили конверсию сайта и принесли +330 тысяч $ дополнительного дохода с помощью A/B-тестов. А еще в этой статье поделимся ссылкой на таблицу с примерами 100+ механик для повышения конверсии сайта.

О клиенте:

21vek.by - крупнейший онлайн-гипермаркет Беларуси, работающий с 2004 года.

Ассортимент превышает 600 000 товаров. Трафик сайта более 3 млн посетителей в месяц.

Задача:

Коллеги из 21vek.by обратились в Popmechanic с задачей быстрого тестирования гипотез по увеличению конверсии сайта.

Чтобы маркетолог без привлечения разработки мог сам протестировать влияние показа любого баннера, промокода, всплывающего блока на коэффициент транзакции и доход.

Основная цель обращения к Popmechanic - улучшения сайта для роста бизнес-показателей.

Раньше любые небольшие изменения сайта мы могли реализовать только через наших разработчиков, и это занимало много времени.

А с Popmechanic такой проблемы нет. Можно очень быстро запустить эксперименты и протестировать свои гипотезы. А позже передать в полноценную разработку будучи уверенным в результате - в увеличении конверсии.

Алина Расюк, Head of digital marketing 21vek.by

Мы совместно определили возможные механики для улучшений и составили список гипотез для проверки.

Делимся результатами A/B-тестов.

Цель 1. Увеличиваем конверсию в подписку

Решили протестировать несколько разных типов форм подписки.

Попробуйте угадать, какая форма собирала больше подписчиков?

Результаты A/B-теста в таблице ниже:

Выводы:

Идея сделать с простой формы на 1 шаг двухшаговую выглядела нелогичной. Обычно усложнение и увеличение шагов заполнения негативно влияет на конверсию. В данном случае получилось наоборот – сработал психологический эффект: мы предлагаем сначала ответить на вопрос простым нажатием а потом оставить email. Кажется, в этой механике играет роль страх быть непоследовательным.

Рекомендуем протестировать двухшаговую механику подписки и для вашего сайта.

Например, спросить “Хотите скидку -5%” или “Хотите получить приглашение на закрытую распродажу?”, и запросить email на 2 шаге, если посетитель выбирает вариант “Хочу”.

Цель 2. Увеличиваем доход за сеанс и коэффициент транзакций с помощью A/B-тестов

Кроме тестов форм подписки мы запустили десятки различных тестов с контрольной группой.

Как это работает?

Трафик сайта разделяется на несколько групп. Одной из групп изменения на сайте показываются, другой – нет. То есть мы создаем контрольную группу для оценки влияния показа определенной механики на поведение посетителей сайта и целевые метрики.

В таблице ниже представлена часть из тестов, которые дали достоверный результат по улучшению целевых показателей.

В результатах 1 цифра – показатели контрольной группы, 2 – показатели группы с показом механики.

Почему стартовые цифры контрольной группы разные?

Вы можете заметить, что для разных механик стартовые цифры конверсии и дохода за сеанс разные. Это связано с тем, что тесты проводились в разное время, для теста могла быть выделена отдельная категория посетителей. Например, тест только среди тех, кто посещал карточки товаров.

То есть, в данном случае корректно сравнивать показатели с контрольной группой и за конкретный период, а не по сайту в целом за всё время. Более детальное описание каждого из эксперимента мы опишем в своем блоге.

Разберем для примера Эксперимент 5 из таблицы детальнее

Гипотеза эксперимента

Мы выдвинули гипотезу о том, что можно повысить количество транзакций и доход за сеанс, если в карточке товара показывать количество бонусных баллов, которые получит клиент при покупке.

Потому как не все посетители сайта знают о существовании этой программы и это может быть решающим фактором покупки при условии равных цен с другим интернет-магазином.

Внешний вид механики

Сделали в конструкторе блок с расчетом бонусных баллов в зависимости от цены товара по формуле, которая используется для программы лояльности:

Количество бонусных баллов для товаров по скидке = Цена товара X 0,01

Количество бонусных баллов для товаров без скидки = Цена товара X 0,03

Встроенный блок с показом бонусных баллов на следующую покупку

Результаты:

Мы запустили 2 отдельных A/B-теста для проверки гипотезы – для мобильных и для десктопных устройств.

На мобильном получили такие показатели:

С вероятностью 95% показ бонусных баллов повышает коэффициент транзакций с 1,65% до 1,67%. На первый взгляд разница может показаться незначительной. Но при трафике контрольной группы в 1 728 556 посетителей мы получили 28 500 конверсий при коэффициенте транзакций 1,65%. А что если бы коэффициенте транзакций контрольной группы был тоже 1,67%? В таком случае количество транзакций предположительно было бы 28 866.

То есть, даже небольшое изменение коэффициента транзакций на 0,02% за тестовой период принесло на 366 транзакций больше.

На десктопных устройствах достоверность улучшений при показе блока с баллами меньше 90%. Поэтому продолжим тест, оптимизировав внешний вид блока.

Сколько конкретно денег принес запуск механик и A/B-тесты?

Может показаться, что несколько процентов улучшения не имеют смысла.
Попробуем посчитать точнее, сколько дополнительных транзакций и дохода мы получили благодаря запущенным механикам.
Для тех экспериментов, где достоверность увеличения дохода была более 90% мы решили посчитать, на сколько был увеличен доход при показе механики в сравнении с контрольной группой с учетом вычисленного дохода за сеанс.

Выводы:

  • Не все механики позитивно влияют на конверсию. Часть проведенных тестов показала отрицательный результат. Именно поэтому важно тестировать изменения на сайте, а уже после этого их внедрять.
  • Многие из механик – контринтуитивны.
  • Поп-апы сильнее влияют на целевые метрики в сравнении с встроенными формами, что показал эксперимент с блоками о бонусных баллах в карточках товара. Поэтому рекомендуем не отказываться от этого инструмента, а тестировать и использовать его для наиболее конверсионных и важных механик
  • Используйте акционные баннеры с таймерами, если у вас действуют акционные предложения. Простая лента с промокодом и таймером может значительно повысить конверсию на сайте в период акции
  • Если у вас есть программа лояльности и бонусные баллы за покупку – протестируйте показ этой информации в карточке товара
  • Даже небольшие изменения в карточках товара, показ акционных баннеров могут принести сотни тысяч долларов дополнительного дохода при больших объемах трафика

Техническая реализация и методология

Разберем на примере одной механики, как непосредственно создается механика и запускается тест, какие инструменты используются, сколько времени это занимает.

Шаг 1: Выбор механики

Для этого наша команда анализирует сайт и подбирает наиболее подходящие механики.

Делимся нашим файлом для внутреннего использования с примерами:

Этот файл поможет вам найти идеи для тестов и сформулировать гипотезы. Например, мы хотим протестировать показ количества бонусных баллов, которые получит пользователь при покупке товара.

Шаг 2: Формулировка гипотезы

Важно определить, что будет целью использования механики и за какими показателями мы будем следить.

Например, показ количества бонусных баллов, которые получит пользователь при покупке товара, поможет увеличить коэффициент конверсии сайта на 10%.

Шаг 3: Выбор шаблона из каталога Popmechanic, адаптация его под внешний вид сайта и настройка условий показа

Сервис Popmechanic позволяет быстро устанавливать различные встроенные и всплывающие формы по заданным условиям.

Выберем подходящий шаблон с каталога сервиса, адаптируем его:

Каталог для выбора готовых шаблонов

Настраиваем условия показа формы:

Пример возможностей настроек для механики в ЛК Popmechanic

Показывать форму посетителям из России, на всех урлах, кроме содержащих “cart”, для тех посетителей которые более 3 раз заходили на сайт ранее и перешли сейчас с UTM-campaign, содержащей “2020”.

Тестируем и запускаем механику на сайте.

В Popmechanic можно кастомизировать формы, есть много готовых шаблонов, которые можно скорректировать под свой сайт. Все настройки очень гибкие, есть интеграция с Google Optimize и в целом есть возможность любой интеграции через webhook.

Алина Расюк, Head of digital marketing 21vek.by

Шаг 4: Настройка эксперимента в Google Optimize

Google Optimize позволяет:

  • Разделить равномерно трафик сайта на несколько сегментов
  • Настроить показ или не показ механики одному из сегментов
  • Выбрать целевые метрики на основе целей в Google Analytics
  • Посмотреть отчет по результатам эксперимента с процентом достоверности показателей и рекомендациями

Шаг 5: Ждем результаты теста :

Google Optimize покажет вам через время после запуска теста 1 из статусов :

- определен более конверсионный вариант;

- между вариантами нет разницы;

- недостаточно данных и необходимо продолжить эксперимент;

Минимальное время для теста зависит от количества посетителей сайта и условий теста.

В примере ниже, например, показ формы с количеством бонусных баллов в карточке товара с вероятностью 100% увеличивает коэффициент транзакций:

Скриншот Google Optimize после проведения теста

Шаг 6: Подтверждаем или не опровергаем гипотезу

Рекомендуем создать файл с проведенными на сайте экспериментами, чтобы понимать ценность механик, улучшать показатели и передавать коллегам знания о поведении на сайте.

Заключение и что дальше

Итого, мы совместно с коллегами из компании 21 век мы проверили более 10 гипотез. Выбрали и оставили наиболее конверсионные механики. Повысили конверсию в подписку на 43%.

Планируем тестировать еще много новых механик и улучшать существующие показатели.

Историю успеха подготовили

Алина Расюк, Head of digital marketing 21vek.by

Юлия Повх, Product owner Popmechanic

Карина Каварнали, менеджер клиентского успеха Popmechanic

0
23 комментария
Написать комментарий...
Сергей Бусуркин

Круто структурировано, спасибо за материал.
 
Однако остался ряд вопросов:
При выборке конкретных сегментов для того же эксперимента №5 какие факторы учитывались?
Условно, в тот же промежуток времени в прошлом году / на год раньше с этой же формы не шёл рост продаж? 

Кроме данного изменения, никаких гипотез в этот же промежуток времени не тестировалась, где выборка могла пересекаться? 
Опять же, условно не в рамках карточки товара, а на другом этапе, что постфактум могло повлиять на cr?

Как внедрение данной фичи влияет на использование бонусных баллов данной выборки постфактум?

Как сильно это ударило по экономики клиента, с учетом "цикла" траты бонусных баллов? Ударило ли это в целом?
И исходи из этого коэффициента, какой фактический профит в данной фичи?  

Ответить
Развернуть ветку
Юлия Повх
Автор

Спасибо! 
1) В эксперименте 5 мы запустили 2 отдельных А/B-теста в Google Optimize
1 – посетители с десктопных устройств, распределение трафика 50:50  на показ и не показ
2 – посетители с мобильных устройств , распределение трафика 50:50  на показ и не показ
Выборка сегментов производится автоматически рандомным алгоритмом Google Optimize, посетителю при визите на сайт выдается id сегмента. То есть, во всех сессиях этого посетителя будет/не будет блока 

2) Именно по этому эксперименту не пересекались, но в целом несколько тестов можно запускать, потому как распределение будет на большой выборке всё равно равномерное с экспериментами, которые запущены 

3) Как внедрение данной фичи влияет на использование бонусных баллов данной выборки постфактум? 
Не проверяли к сожалению такую гипотезу, так как тест только завершился недавно. Подумаю, попробуем создать сегмент и посмотреть изменения в поведении дальше 

4) Как сильно это ударило по экономики клиента, с учетом "цикла" траты бонусных баллов? Ударило ли это в целом? 
В данном случае не просчитывали, так как задача стояла увеличить конверсию и рассказать о бонусных баллах. Поскольку бонусные баллы начисляются в любом случае  и пользователю не нужно отдельно регистрироваться в бонусной программе. То есть, мы начисляем бонусные баллы НЕ только сегменту, которому показывали об этом, а всем в любом случае. Поэтому корректнее рассматривать экономику ПЛ отдельно от этого эксперимента. Тут мы скорее ставим гипотезу о том, что будет, если мы будем подчеркивать наличие ПЛ. 

Ответить
Развернуть ветку
Артём Лисин

Это вечно избитый вопрос кейсов, никто не соотносит по периодам, не сопоставляет прочую динамику запросов (активности) и пр. 
Но в целом, если проводится эксперимент, то чистота анализа выше, за счет того, что в один срез времени, компания с разными настройками льется на разделенную аудиторию.

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Igor Yarmolchuk

В закладки) Информативно

Ответить
Развернуть ветку
Galina Panasyuk

Спасибо за материал) подскажите сколько времени в среднем тратили непосредственно на тестирование каждой гипотезы?

Ответить
Развернуть ветку
Иннокентий Фефилов

А почему вы комментируете только посты данной компании?
Вы же совместно с сервисом работаете больше года?

Ответить
Развернуть ветку
Илья Попов

Удивительно! В статье учтены все мелочи и нюансы до такой степени, что нет никаких вопросов. И такому дилетанту в этой сфере как я все понятно. Молодцы!

Ответить
Развернуть ветку
Артём Лисин

Так если вы делитант в этой сфере, как вы можете понять ценность? Хдддд

Ответить
Развернуть ветку
BBlog

Думаю, что в случае с формой подписки сыграло роль ещё и изображение. Старый образец – крайне неприметный, глаз не цепляется.

Ответить
Развернуть ветку
Юлия Повх
Автор

Да, валидная гипотеза. Можно было протестировать 2 шага и 1 шаг с таким же дизайном. 
Может как-то проверим в следующий раз

Ответить
Развернуть ветку
Николай Мясников

Материала Ого-го! Отличная работа! Спасибо за опыт.

Ответить
Развернуть ветку
Андрей Макаров

Очень круто! 

Ответить
Развернуть ветку
Иннокентий Фефилов

Везде в подобных сервиса кейсы связанные со скидками. Практически все.
Хочется кейсов без всяких "предложили скидку 20%" против "красиво предложили скидку 20%.

Ответить
Развернуть ветку
Юлия Повх
Автор

В форме подписки напрямую скидка не предлагается (и не предлагалась) 
Из 5 экспериментов только 2 связаны со скидками.
И это распродажи, которые в любом случае бы проводились, они не создавались специально под механику.
То есть, если есть скидки – освещайте их.
Если нет скидок – тестируйте другие механики. 

Выбирайте варианты механик из таблицы, которые не связаны со скидками. 

Ответить
Развернуть ветку
Иннокентий Фефилов

Хорошо, убираем скидки и подписки.
У некоторых нет скидок, а подписки смысла не имеют. Или нет эмэйл-маркетинга вообще.

Вы статью такую сделайте. И такая штука многим зайдет.

Ответить
Развернуть ветку
Geo Zim

Не совсем понял, почему на скрине из Optimize у вас дата завершения эксперимента 23 марта. Правильно ли я понимаю, что выводы делать рано по этому эксперименту?

Увеличение коэффициента транзакций на 0,02 п.п. это статистически значимый результат? Может это просто случайность/шум?

Почему вы использовали показатель Процент транзакций за сеанс, а не Коэфф.транзакций?

Ответить
Развернуть ветку
Юлия Повх
Автор

1) Почему на скрине из Optimize у вас дата завершения эксперимента 23 марта?
В оптимайзе автоматически ставятся даты теста, если их не задать вручную. 

На скрине тест еще не отключили, но по результатам его уже нет смысла продолжать, так как достигнута 100% достоверность на таком объеме трафика, о чем сами подсказки от Google Optimize и говорят (лучший вариант – с показом блока) 

2) Увеличение коэффициента транзакций на 0,02 п.п. это статистически значимый результат? 
Достоверность 95% по данным Google Optimize
Но конкретно этот эксперимент я рекомендовала еще продолжить, хотя внутренний калькулятор Google Optimize определил победу варианта с показом блока
Для того, чтобы после теста оставить механику на постоянной основе на сайте мы обычно смотрим еще показатели достоверности и мощности для определения точности: 
https://mindbox.ru/ab-test-calculator/

3) Видимо опечатка в таблице
Цели были выбраны в экспериментах:
- доход (общий по группе и за сеанс вычисленный)
- транзакции (вычисленный коэффициент транзакций в рамках эксперимента) 

Ответить
Развернуть ветку
Shlomo Goldenberg

Каких гипотез то, что вы за гипотезы все проверяете? 

Ответить
Развернуть ветку
Юлия Повх
Автор

В статье описана детально одна из гипотез из таблицы. 

В целом, гипотезы все касались повышения целевых метрик: 
- конверсии в подписку (цель 1 из статьи) 
- дохода за сеанс
- количества транзакций 

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Юлия Повх
Автор

В среднем около 2 недель на гипотезу.
Это минимальное время, которое рекомендует выделять Google Optimize для проведения теста. 

Но, конечно, нужно учитывать трафик на сайт. В данном случае, трафик около 3 млн/месяц позволял так тестировать. 

Рекомендую перед тестом прикинуть необходимый размер выборки через специальный калькулятор 

Ответить
Развернуть ветку
Артём Лисин

Пишите всегда в кейсе, по результату такие kpi, как roi на проведенную компанию, cpl и выдержаны ли рамки ДРР.
Также уточните динамику cr в соотношении ctr.
А так......

Ответить
Развернуть ветку
EveryStraus _

Любопытная статья, но тут приводятся только удачные эксперименты, а хотелось бы почитать и об отрицательных результатах, которые вскользь упоминались.

Ответить
Развернуть ветку
Alexander Lazarevich

Интересный кейс, спасибо.

Зашел на карточку товара, которого нет в наличии, и не увидел на нем механики предложения скидки. Например,
https://www.21vek.by/fire_extinguishers/10_yarpojinvest.html

Решили все-таки отказаться от нее?

Ответить
Развернуть ветку
20 комментариев
Раскрывать всегда