Как провести А/B тестирование

В чем суть A/B тестирования и как его проводить - расскажем в сегодняшней статье.

А/В тестирование – метод исследования в маркетинге, служащий для проверки влияния альтернативных вариантов чего-либо на целевой показатель.

А и В в названии отражают два альтернативных варианта, сопоставляемых в этом методе (например, 2 варианта цветовой гаммы сайта), показатели которых (например, конверсии в продажи) замеряются и сравниваются.

Разновидностью А/В тестирования является многовариантное тестирование, когда А и В отличаются не одним элементом, а множеством элементов. Рассматривая пример с сайтом, многовариантное тестирование может выглядеть следующим образом:

Две версии сайта (оригинальная и пробная) различаются: цветовой гаммой (яркие тона VS пастельные тона), наполнением (есть баннер VS нет баннера), наличием чат-бота (есть VS нет), анимацией прокрутки (плавная VS резкая). Как видим, многовариантное тестирование, по сути, складывается из множества А/В тестирований по отдельным элементам сайта.

А/В тестирование служит для повышения эффективности работы вашего интернет-ресурса.

В ходе работы и вы замечаете метрику ниже желаемого уровня и, основываясь на собственном опыте и ряде показателей, выдвигаете гипотезу: «Кажется, элемент «А» работает плохо, нужно его заменить (элемент «В»), чтобы показатель повысился». Чтобы проверить, верна ли ваша гипотеза и сравнить метрики двух вариантов и используется А/В тестирование.

1. Определить цель исследования.

Допустим, порядка 50% ваших клиентов уходят до завершения регистрации. Вы решаете внести изменения в страницу регистрации таким образом, чтобы повысить долю зарегистрированных пользователей. Цель в таком случае - проверить, окажет ли новая версия сайта влияние на этот показатель.

2. Выбрать метрику.

Этот показатель будет замеряться для обеих версий страницы регистрации (старой и новой) и сравниваться. Разница в метрике продемонстрирует, какой из вариантов показывает лучший результат. Вполне может оказаться, что новый вариант покажет даже худший результат. В данном случае в качестве метрики возьмем Registration rate – долю пользователей, посетивших сайт и зарегистрировавшихся.

3. Разработать гипотезу.

Если поменять сразу несколько элементов на странице регистрации, будет фактически невозможно выяснить, какой именно из них оказал влияние на повышение/понижение доли регистрации. Поэтому следует выбрать ключевой на ваш взгляд элемент (допустим, изображение) и в ходе данного исследования рассматривать именно его. Гипотеза может быть следующей: изменение изображения на странице регистрации на новое приведет к росту Registration rate, так как на нем содержится информация о бонусах за регистрацию.

4. Подготовить исследование.

А) Создайте альтернативную версию сайта, отражающую внесенные вами изменения. Например, меняем изображение на баннере с кота (исходный вариант) на жабу, лучше отражающую суть предложения:

Б) Определите контрольную и экспериментальную группы. Контрольная группа – те, кто видит исходный вариант, экспериментальная – альтернативный (новый). В нашем случае речь идет о доле зарегистрированных пользователей в целом. Но в зависимости от условий контрольные группы могут формироваться и из отдельных сегментов клиентов. Помните, что они должны быть репрезентативны (выбраны случайным образом, отражающие демографические и экономические характеристики группы).

В) Определите размер погрешности. По умолчанию она составляет порядка 5%. Это значит, что если новая версия сайта в ходе эксперимента повысит долю зарегистрировавшихся пользователей в пределах 0-5%, это нельзя с уверенностью назвать успехом. Есть вероятность, что это случайность.

Г) Определите размер выборки. Существует множество онлайн-калькуляторов, позволяющих определить размер выборки при A/B тестировании. В них задаются 3 параметра: изначальная конверсия, минимальное изменение в конверсии, которое вы хотите отследить и погрешность. Чаще всего они оперируют размерами выборки от нескольких десятков тысяч человек – это позволяет получать статистически значимые результаты.

Д) Определите временные рамки исследования. Проще всего это сделать, учитывая кол-во посещений сайта в день. Так как сайты А и В будут показываться пользователям в случайном порядке, разделите сумму двух выборок на количество посещений сайта в день. Полученное число дней и будет периодом проведения эксперимента.

5. Провести исследование.

Перед этим следует проверить, действительно ли пользователи увидят 2 различные версии сайта. Эксперты не рекомендуют также смотреть на предварительные результаты тестирования – это может ввести в соблазн свернуть его раньше времени или преждевременно объявить успешным.

6. Проанализировать результаты исследования.

Для каждой из групп (А и В) вычисляется ключевая метрика (доля зарегистрировавшихся пользователей. Возможны три варианта:

А) А = В или разница между ними в пределах погрешности.

Гипотеза исследования не подтверждена, мы не можем утверждать, что какая-то из двух версий показывает лучший результат. Можно попробовать сегментировать выборку. Вполне возможно, что версия сайта В лучше работает для отдельных подгрупп аудитории (впоследствии проведите соответствующее А/В тестирование для данного сегмента).

Б) А > В, разница превышает погрешность. Новая версия показывает еще худший результат в сравнении с оригинальной. Вполне вероятно, что с измененным элементом (изображение на странице регистрации) все было в порядке. Следует попробовать изменить иные элементы с проведением соответствующих тестирований.

В) В > А, разница превышает погрешность. Гипотеза подтверждена, и новая версия В демонстрирует качественный рост метрики. Можно вводить новую версию для всей аудитории и фиксировать изменения в полном масштабе.