Кейс 21vek.by и Popmechanic: +330 тысяч $ дополнительного дохода с помощью A/B-тестов
Рассказываем, как мы увеличили конверсию в подписку на 43%, проверили десятки гипотез, повысили конверсию сайта и принесли +330 тысяч $ дополнительного дохода с помощью A/B-тестов. А еще в этой статье поделимся ссылкой на таблицу с примерами 100+ механик для повышения конверсии сайта.
О клиенте:
21vek.by - крупнейший онлайн-гипермаркет Беларуси, работающий с 2004 года.
Ассортимент превышает 600 000 товаров. Трафик сайта более 3 млн посетителей в месяц.
Задача:
Коллеги из 21vek.by обратились в Popmechanic с задачей быстрого тестирования гипотез по увеличению конверсии сайта.
Чтобы маркетолог без привлечения разработки мог сам протестировать влияние показа любого баннера, промокода, всплывающего блока на коэффициент транзакции и доход.
Мы совместно определили возможные механики для улучшений и составили список гипотез для проверки.
Делимся результатами A/B-тестов.
Цель 1. Увеличиваем конверсию в подписку
Решили протестировать несколько разных типов форм подписки.
Попробуйте угадать, какая форма собирала больше подписчиков?
Результаты A/B-теста в таблице ниже:
Выводы:
Идея сделать с простой формы на 1 шаг двухшаговую выглядела нелогичной. Обычно усложнение и увеличение шагов заполнения негативно влияет на конверсию. В данном случае получилось наоборот – сработал психологический эффект: мы предлагаем сначала ответить на вопрос простым нажатием а потом оставить email. Кажется, в этой механике играет роль страх быть непоследовательным.
Например, спросить “Хотите скидку -5%” или “Хотите получить приглашение на закрытую распродажу?”, и запросить email на 2 шаге, если посетитель выбирает вариант “Хочу”.
Цель 2. Увеличиваем доход за сеанс и коэффициент транзакций с помощью A/B-тестов
Кроме тестов форм подписки мы запустили десятки различных тестов с контрольной группой.
Как это работает?
Трафик сайта разделяется на несколько групп. Одной из групп изменения на сайте показываются, другой – нет. То есть мы создаем контрольную группу для оценки влияния показа определенной механики на поведение посетителей сайта и целевые метрики.
В таблице ниже представлена часть из тестов, которые дали достоверный результат по улучшению целевых показателей.
В результатах 1 цифра – показатели контрольной группы, 2 – показатели группы с показом механики.
Почему стартовые цифры контрольной группы разные?
Вы можете заметить, что для разных механик стартовые цифры конверсии и дохода за сеанс разные. Это связано с тем, что тесты проводились в разное время, для теста могла быть выделена отдельная категория посетителей. Например, тест только среди тех, кто посещал карточки товаров.
То есть, в данном случае корректно сравнивать показатели с контрольной группой и за конкретный период, а не по сайту в целом за всё время. Более детальное описание каждого из эксперимента мы опишем в своем блоге.
Разберем для примера Эксперимент 5 из таблицы детальнее
Гипотеза эксперимента
Мы выдвинули гипотезу о том, что можно повысить количество транзакций и доход за сеанс, если в карточке товара показывать количество бонусных баллов, которые получит клиент при покупке.
Потому как не все посетители сайта знают о существовании этой программы и это может быть решающим фактором покупки при условии равных цен с другим интернет-магазином.
Внешний вид механики
Сделали в конструкторе блок с расчетом бонусных баллов в зависимости от цены товара по формуле, которая используется для программы лояльности:
Количество бонусных баллов для товаров по скидке = Цена товара X 0,01
Количество бонусных баллов для товаров без скидки = Цена товара X 0,03
Результаты:
Мы запустили 2 отдельных A/B-теста для проверки гипотезы – для мобильных и для десктопных устройств.
На мобильном получили такие показатели:
С вероятностью 95% показ бонусных баллов повышает коэффициент транзакций с 1,65% до 1,67%. На первый взгляд разница может показаться незначительной. Но при трафике контрольной группы в 1 728 556 посетителей мы получили 28 500 конверсий при коэффициенте транзакций 1,65%. А что если бы коэффициенте транзакций контрольной группы был тоже 1,67%? В таком случае количество транзакций предположительно было бы 28 866.
То есть, даже небольшое изменение коэффициента транзакций на 0,02% за тестовой период принесло на 366 транзакций больше.
На десктопных устройствах достоверность улучшений при показе блока с баллами меньше 90%. Поэтому продолжим тест, оптимизировав внешний вид блока.
Сколько конкретно денег принес запуск механик и A/B-тесты?
Может показаться, что несколько процентов улучшения не имеют смысла.
Попробуем посчитать точнее, сколько дополнительных транзакций и дохода мы получили благодаря запущенным механикам.
Для тех экспериментов, где достоверность увеличения дохода была более 90% мы решили посчитать, на сколько был увеличен доход при показе механики в сравнении с контрольной группой с учетом вычисленного дохода за сеанс.
Выводы:
- Не все механики позитивно влияют на конверсию. Часть проведенных тестов показала отрицательный результат. Именно поэтому важно тестировать изменения на сайте, а уже после этого их внедрять.
- Многие из механик – контринтуитивны.
- Поп-апы сильнее влияют на целевые метрики в сравнении с встроенными формами, что показал эксперимент с блоками о бонусных баллах в карточках товара. Поэтому рекомендуем не отказываться от этого инструмента, а тестировать и использовать его для наиболее конверсионных и важных механик
- Используйте акционные баннеры с таймерами, если у вас действуют акционные предложения. Простая лента с промокодом и таймером может значительно повысить конверсию на сайте в период акции
- Если у вас есть программа лояльности и бонусные баллы за покупку – протестируйте показ этой информации в карточке товара
- Даже небольшие изменения в карточках товара, показ акционных баннеров могут принести сотни тысяч долларов дополнительного дохода при больших объемах трафика
Техническая реализация и методология
Разберем на примере одной механики, как непосредственно создается механика и запускается тест, какие инструменты используются, сколько времени это занимает.
Шаг 1: Выбор механики
Для этого наша команда анализирует сайт и подбирает наиболее подходящие механики.
Делимся нашим файлом для внутреннего использования с примерами:
Этот файл поможет вам найти идеи для тестов и сформулировать гипотезы. Например, мы хотим протестировать показ количества бонусных баллов, которые получит пользователь при покупке товара.
Шаг 2: Формулировка гипотезы
Важно определить, что будет целью использования механики и за какими показателями мы будем следить.
Например, показ количества бонусных баллов, которые получит пользователь при покупке товара, поможет увеличить коэффициент конверсии сайта на 10%.
Шаг 3: Выбор шаблона из каталога Popmechanic, адаптация его под внешний вид сайта и настройка условий показа
Сервис Popmechanic позволяет быстро устанавливать различные встроенные и всплывающие формы по заданным условиям.
Выберем подходящий шаблон с каталога сервиса, адаптируем его:
Настраиваем условия показа формы:
Тестируем и запускаем механику на сайте.
Шаг 4: Настройка эксперимента в Google Optimize
Google Optimize позволяет:
- Разделить равномерно трафик сайта на несколько сегментов
- Настроить показ или не показ механики одному из сегментов
- Выбрать целевые метрики на основе целей в Google Analytics
- Посмотреть отчет по результатам эксперимента с процентом достоверности показателей и рекомендациями
Шаг 5: Ждем результаты теста :
Google Optimize покажет вам через время после запуска теста 1 из статусов :
- определен более конверсионный вариант;
- между вариантами нет разницы;
- недостаточно данных и необходимо продолжить эксперимент;
Минимальное время для теста зависит от количества посетителей сайта и условий теста.
В примере ниже, например, показ формы с количеством бонусных баллов в карточке товара с вероятностью 100% увеличивает коэффициент транзакций:
Шаг 6: Подтверждаем или не опровергаем гипотезу
Рекомендуем создать файл с проведенными на сайте экспериментами, чтобы понимать ценность механик, улучшать показатели и передавать коллегам знания о поведении на сайте.
Заключение и что дальше
Итого, мы совместно с коллегами из компании 21 век мы проверили более 10 гипотез. Выбрали и оставили наиболее конверсионные механики. Повысили конверсию в подписку на 43%.
Планируем тестировать еще много новых механик и улучшать существующие показатели.
Историю успеха подготовили
Алина Расюк, Head of digital marketing 21vek.by
Юлия Повх, Product owner Popmechanic
Карина Каварнали, менеджер клиентского успеха Popmechanic
Круто структурировано, спасибо за материал.
Однако остался ряд вопросов:
При выборке конкретных сегментов для того же эксперимента №5 какие факторы учитывались?
Условно, в тот же промежуток времени в прошлом году / на год раньше с этой же формы не шёл рост продаж?
Кроме данного изменения, никаких гипотез в этот же промежуток времени не тестировалась, где выборка могла пересекаться?
Опять же, условно не в рамках карточки товара, а на другом этапе, что постфактум могло повлиять на cr?
Как внедрение данной фичи влияет на использование бонусных баллов данной выборки постфактум?
Как сильно это ударило по экономики клиента, с учетом "цикла" траты бонусных баллов? Ударило ли это в целом?
И исходи из этого коэффициента, какой фактический профит в данной фичи?
Спасибо!
1) В эксперименте 5 мы запустили 2 отдельных А/B-теста в Google Optimize
1 – посетители с десктопных устройств, распределение трафика 50:50 на показ и не показ
2 – посетители с мобильных устройств , распределение трафика 50:50 на показ и не показ
Выборка сегментов производится автоматически рандомным алгоритмом Google Optimize, посетителю при визите на сайт выдается id сегмента. То есть, во всех сессиях этого посетителя будет/не будет блока
2) Именно по этому эксперименту не пересекались, но в целом несколько тестов можно запускать, потому как распределение будет на большой выборке всё равно равномерное с экспериментами, которые запущены
3) Как внедрение данной фичи влияет на использование бонусных баллов данной выборки постфактум?
Не проверяли к сожалению такую гипотезу, так как тест только завершился недавно. Подумаю, попробуем создать сегмент и посмотреть изменения в поведении дальше
4) Как сильно это ударило по экономики клиента, с учетом "цикла" траты бонусных баллов? Ударило ли это в целом?
В данном случае не просчитывали, так как задача стояла увеличить конверсию и рассказать о бонусных баллах. Поскольку бонусные баллы начисляются в любом случае и пользователю не нужно отдельно регистрироваться в бонусной программе. То есть, мы начисляем бонусные баллы НЕ только сегменту, которому показывали об этом, а всем в любом случае. Поэтому корректнее рассматривать экономику ПЛ отдельно от этого эксперимента. Тут мы скорее ставим гипотезу о том, что будет, если мы будем подчеркивать наличие ПЛ.
Это вечно избитый вопрос кейсов, никто не соотносит по периодам, не сопоставляет прочую динамику запросов (активности) и пр.
Но в целом, если проводится эксперимент, то чистота анализа выше, за счет того, что в один срез времени, компания с разными настройками льется на разделенную аудиторию.
Комментарий удален модератором
В закладки) Информативно
Спасибо за материал) подскажите сколько времени в среднем тратили непосредственно на тестирование каждой гипотезы?
А почему вы комментируете только посты данной компании?
Вы же совместно с сервисом работаете больше года?
Удивительно! В статье учтены все мелочи и нюансы до такой степени, что нет никаких вопросов. И такому дилетанту в этой сфере как я все понятно. Молодцы!
Так если вы делитант в этой сфере, как вы можете понять ценность? Хдддд
Думаю, что в случае с формой подписки сыграло роль ещё и изображение. Старый образец – крайне неприметный, глаз не цепляется.
Да, валидная гипотеза. Можно было протестировать 2 шага и 1 шаг с таким же дизайном.
Может как-то проверим в следующий раз
Материала Ого-го! Отличная работа! Спасибо за опыт.
Очень круто!
Везде в подобных сервиса кейсы связанные со скидками. Практически все.
Хочется кейсов без всяких "предложили скидку 20%" против "красиво предложили скидку 20%.
В форме подписки напрямую скидка не предлагается (и не предлагалась)
Из 5 экспериментов только 2 связаны со скидками.
И это распродажи, которые в любом случае бы проводились, они не создавались специально под механику.
То есть, если есть скидки – освещайте их.
Если нет скидок – тестируйте другие механики.
Выбирайте варианты механик из таблицы, которые не связаны со скидками.
Хорошо, убираем скидки и подписки.
У некоторых нет скидок, а подписки смысла не имеют. Или нет эмэйл-маркетинга вообще.
Вы статью такую сделайте. И такая штука многим зайдет.
Не совсем понял, почему на скрине из Optimize у вас дата завершения эксперимента 23 марта. Правильно ли я понимаю, что выводы делать рано по этому эксперименту?
Увеличение коэффициента транзакций на 0,02 п.п. это статистически значимый результат? Может это просто случайность/шум?
Почему вы использовали показатель Процент транзакций за сеанс, а не Коэфф.транзакций?
1) Почему на скрине из Optimize у вас дата завершения эксперимента 23 марта?
В оптимайзе автоматически ставятся даты теста, если их не задать вручную.
На скрине тест еще не отключили, но по результатам его уже нет смысла продолжать, так как достигнута 100% достоверность на таком объеме трафика, о чем сами подсказки от Google Optimize и говорят (лучший вариант – с показом блока)
2) Увеличение коэффициента транзакций на 0,02 п.п. это статистически значимый результат?
Достоверность 95% по данным Google Optimize
Но конкретно этот эксперимент я рекомендовала еще продолжить, хотя внутренний калькулятор Google Optimize определил победу варианта с показом блока
Для того, чтобы после теста оставить механику на постоянной основе на сайте мы обычно смотрим еще показатели достоверности и мощности для определения точности:
https://mindbox.ru/ab-test-calculator/
3) Видимо опечатка в таблице
Цели были выбраны в экспериментах:
- доход (общий по группе и за сеанс вычисленный)
- транзакции (вычисленный коэффициент транзакций в рамках эксперимента)
Каких гипотез то, что вы за гипотезы все проверяете?
В статье описана детально одна из гипотез из таблицы.
В целом, гипотезы все касались повышения целевых метрик:
- конверсии в подписку (цель 1 из статьи)
- дохода за сеанс
- количества транзакций
Комментарий удален модератором
В среднем около 2 недель на гипотезу.
Это минимальное время, которое рекомендует выделять Google Optimize для проведения теста.
Но, конечно, нужно учитывать трафик на сайт. В данном случае, трафик около 3 млн/месяц позволял так тестировать.
Рекомендую перед тестом прикинуть необходимый размер выборки через специальный калькулятор
Пишите всегда в кейсе, по результату такие kpi, как roi на проведенную компанию, cpl и выдержаны ли рамки ДРР.
Также уточните динамику cr в соотношении ctr.
А так......
Любопытная статья, но тут приводятся только удачные эксперименты, а хотелось бы почитать и об отрицательных результатах, которые вскользь упоминались.
Интересный кейс, спасибо.
Зашел на карточку товара, которого нет в наличии, и не увидел на нем механики предложения скидки. Например,
https://www.21vek.by/fire_extinguishers/10_yarpojinvest.html
Решили все-таки отказаться от нее?