Кейс 21vek.by и Popmechanic: +330 тысяч $ дополнительного дохода с помощью A/B-тестов
Рассказываем, как мы увеличили конверсию в подписку на 43%, проверили десятки гипотез, повысили конверсию сайта и принесли +330 тысяч $ дополнительного дохода с помощью A/B-тестов. А еще в этой статье поделимся ссылкой на таблицу с примерами 100+ механик для повышения конверсии сайта.
Круто структурировано, спасибо за материал.
Однако остался ряд вопросов:
При выборке конкретных сегментов для того же эксперимента №5 какие факторы учитывались?
Условно, в тот же промежуток времени в прошлом году / на год раньше с этой же формы не шёл рост продаж?
Кроме данного изменения, никаких гипотез в этот же промежуток времени не тестировалась, где выборка могла пересекаться?
Опять же, условно не в рамках карточки товара, а на другом этапе, что постфактум могло повлиять на cr?
Как внедрение данной фичи влияет на использование бонусных баллов данной выборки постфактум?
Как сильно это ударило по экономики клиента, с учетом "цикла" траты бонусных баллов? Ударило ли это в целом?
И исходи из этого коэффициента, какой фактический профит в данной фичи?
Спасибо!
1) В эксперименте 5 мы запустили 2 отдельных А/B-теста в Google Optimize
1 – посетители с десктопных устройств, распределение трафика 50:50 на показ и не показ
2 – посетители с мобильных устройств , распределение трафика 50:50 на показ и не показ
Выборка сегментов производится автоматически рандомным алгоритмом Google Optimize, посетителю при визите на сайт выдается id сегмента. То есть, во всех сессиях этого посетителя будет/не будет блока
2) Именно по этому эксперименту не пересекались, но в целом несколько тестов можно запускать, потому как распределение будет на большой выборке всё равно равномерное с экспериментами, которые запущены
3) Как внедрение данной фичи влияет на использование бонусных баллов данной выборки постфактум?
Не проверяли к сожалению такую гипотезу, так как тест только завершился недавно. Подумаю, попробуем создать сегмент и посмотреть изменения в поведении дальше
4) Как сильно это ударило по экономики клиента, с учетом "цикла" траты бонусных баллов? Ударило ли это в целом?
В данном случае не просчитывали, так как задача стояла увеличить конверсию и рассказать о бонусных баллах. Поскольку бонусные баллы начисляются в любом случае и пользователю не нужно отдельно регистрироваться в бонусной программе. То есть, мы начисляем бонусные баллы НЕ только сегменту, которому показывали об этом, а всем в любом случае. Поэтому корректнее рассматривать экономику ПЛ отдельно от этого эксперимента. Тут мы скорее ставим гипотезу о том, что будет, если мы будем подчеркивать наличие ПЛ.
Это вечно избитый вопрос кейсов, никто не соотносит по периодам, не сопоставляет прочую динамику запросов (активности) и пр.
Но в целом, если проводится эксперимент, то чистота анализа выше, за счет того, что в один срез времени, компания с разными настройками льется на разделенную аудиторию.