А/В-тестирование - это метод, позволяющий сравнить два различных варианта веб-страницы или другого цифрового продукта, чтобы определить, какой из них лучше работает. В основном, это процесс, при котором вы создаете две версии одного элемента (например, заголовка страницы или кнопки вызова к действию) и показываете эти варианты случайно выбранной группе пользователей, чтобы увидеть, какой из них приводит к лучшему вовлечению или конверсии.
Привет, Коллеги!
АБ-тесты это хороший инструмент. Вам стоило подробно рассказать, почему нельзя сравнить результаты "в лоб". Поэтому дополню ваш пост.
Почему нельзя сравнить конверсию прямо:
1. Статистическая значимость. Вы должны быть уверены, что полученный результат лежит за пределами погрешности измерений. Чтобы не заморачиваться используйте калькулятор АБ-тестов. Под капотом этого сервиса лежит математическая модель проверяющая результат на достоверность - http://hungrysites.ru/ab
2. Есть еще "эффект подглядывания".
Почти всегда в любой выборке при тестировании можно найти интервал, где будет достоверно выигрывать то "оригинал", то "новый вариант". Поэтому бывает, что "экспериментатор" следит за результатами и как только видит результат, который ему нравится (например подтверждение гипотезы) тест останавливает. И хлопает в ладоши с воплями "Ну я же говорил!!!".
Тут надо подход разворачивать на изнанку. Гипотезу изменений необходимо дополнить предположением на какую величину ожидаем изменения целевого показателя. Например так: "изменение положение кнопки "Купить" должно увеличить конверсию в переход на страницу "оформить заказ" на 10%". В этом случае, можно посчитать размер выборки(читай как посетителей) и длительность эксперимента. Опять же чтобы без формул есть калькуляторы выборок.
Посчитать можно здесь - https://mindbox.ru/academy/ab-test-calculator/
Всем высоких конверсий и достоверных результатов!
Дополню еще. Если изучить "подкапотную математику" аб-тестов, то будет понятно, что чем менее значимые изменения мы хотим оттестировать, те больше нам надо выборку для тестов(трафик).
Ловить прирост конверсии на 1% при средних 20% при небольшом входящем трафике в 100 уникальных посетителей в сутки придется, наверно, годами. (подвигайте движки на в калькуляторе майндбокс ссылка выше).
Эта пища для размышлений, а стоит ли гипотезу тестировать....