Что такое А/В-тест и как сделать оценку
В мире цифрового маркетинга и продуктового дизайна есть множество инструментов и техник, которые помогают предприятиям оптимизировать свои продукты и услуги для потребителей. Одним из таких инструментов является А/В-тестирование - мощный подход к оптимизации сайтов, мобильных приложений и других цифровых продуктов.
Привет, Коллеги!
АБ-тесты это хороший инструмент. Вам стоило подробно рассказать, почему нельзя сравнить результаты "в лоб". Поэтому дополню ваш пост.
Почему нельзя сравнить конверсию прямо:
1. Статистическая значимость. Вы должны быть уверены, что полученный результат лежит за пределами погрешности измерений. Чтобы не заморачиваться используйте калькулятор АБ-тестов. Под капотом этого сервиса лежит математическая модель проверяющая результат на достоверность - http://hungrysites.ru/ab
2. Есть еще "эффект подглядывания".
Почти всегда в любой выборке при тестировании можно найти интервал, где будет достоверно выигрывать то "оригинал", то "новый вариант". Поэтому бывает, что "экспериментатор" следит за результатами и как только видит результат, который ему нравится (например подтверждение гипотезы) тест останавливает. И хлопает в ладоши с воплями "Ну я же говорил!!!".
Тут надо подход разворачивать на изнанку. Гипотезу изменений необходимо дополнить предположением на какую величину ожидаем изменения целевого показателя. Например так: "изменение положение кнопки "Купить" должно увеличить конверсию в переход на страницу "оформить заказ" на 10%". В этом случае, можно посчитать размер выборки(читай как посетителей) и длительность эксперимента. Опять же чтобы без формул есть калькуляторы выборок.
Посчитать можно здесь - https://mindbox.ru/academy/ab-test-calculator/
Всем высоких конверсий и достоверных результатов!
Дополню еще. Если изучить "подкапотную математику" аб-тестов, то будет понятно, что чем менее значимые изменения мы хотим оттестировать, те больше нам надо выборку для тестов(трафик).
Ловить прирост конверсии на 1% при средних 20% при небольшом входящем трафике в 100 уникальных посетителей в сутки придется, наверно, годами. (подвигайте движки на в калькуляторе майндбокс ссылка выше).
Эта пища для размышлений, а стоит ли гипотезу тестировать....