Кейс 21vek.by и Popmechanic: +330 тысяч $ дополнительного дохода с помощью A/B-тестов
Рассказываем, как мы увеличили конверсию в подписку на 43%, проверили десятки гипотез, повысили конверсию сайта и принесли +330 тысяч $ дополнительного дохода с помощью A/B-тестов. А еще в этой статье поделимся ссылкой на таблицу с примерами 100+ механик для повышения конверсии сайта.
Не совсем понял, почему на скрине из Optimize у вас дата завершения эксперимента 23 марта. Правильно ли я понимаю, что выводы делать рано по этому эксперименту?
Увеличение коэффициента транзакций на 0,02 п.п. это статистически значимый результат? Может это просто случайность/шум?
Почему вы использовали показатель Процент транзакций за сеанс, а не Коэфф.транзакций?
1) Почему на скрине из Optimize у вас дата завершения эксперимента 23 марта?
В оптимайзе автоматически ставятся даты теста, если их не задать вручную.
На скрине тест еще не отключили, но по результатам его уже нет смысла продолжать, так как достигнута 100% достоверность на таком объеме трафика, о чем сами подсказки от Google Optimize и говорят (лучший вариант – с показом блока)
2) Увеличение коэффициента транзакций на 0,02 п.п. это статистически значимый результат?
Достоверность 95% по данным Google Optimize
Но конкретно этот эксперимент я рекомендовала еще продолжить, хотя внутренний калькулятор Google Optimize определил победу варианта с показом блока
Для того, чтобы после теста оставить механику на постоянной основе на сайте мы обычно смотрим еще показатели достоверности и мощности для определения точности:
https://mindbox.ru/ab-test-calculator/
3) Видимо опечатка в таблице
Цели были выбраны в экспериментах:
- доход (общий по группе и за сеанс вычисленный)
- транзакции (вычисленный коэффициент транзакций в рамках эксперимента)