Наша задача - протестировать рассылку и понять какой заголовок заходит лучше, какой текст лучше читают.
Я задался вопросом: На сколько человек надо отправить рассылку с тестированием заголовка и текста сообщения, чтобы получить статистически значимый результат?
Ниже полезный результат моих изысканий.
Для определения размера выборки, который обеспечит статистическую значимость результатов A/B тестирования (в данном случае тестирования заголовка и текста электронной рассылки), необходимо учесть несколько параметров:
- Базовый показатель конверсии (Baseline Conversion Rate, BCR): средний процент открытия ваших предыдущих рассылок. Это ваша отправная точка.
- Минимальное изменение в конверсии, которое вы хотите обнаружить (Minimum Detectable Effect, MDE): наименьшее изменение в проценте открытий, которое для вас имеет практическую значимость и которое вы хотите иметь возможность зафиксировать с помощью теста.
- Уровень значимости (Alpha): вероятность отвергнуть нулевую гипотезу, когда она верна. Обычно используется значение 0.05, что соответствует 5%.
- Мощность теста (Power): вероятность обнаружения эффекта, если он действительно существует. Обычно используется значение 0.8, что соответствует 80%.
Формула для расчета размера выборки
Расчет размера выборки для A/B тестирования может быть достаточно сложным, особенно если делать его вручную, поскольку он включает в себя функции нормального распределения и обратные функции. Однако базовая формула, используемая для определения размера выборки для каждой группы, выглядит следующим образом:
Где:
Пример расчета
Допустим, ваша текущая средняя конверсия (BCR) составляет 10% (0.1 в долях), и вы хотите увидеть изменение хотя бы на 2% (MDE равно 0.02). При стандартных значениях уровня значимости 5% и мощности 80%, размер выборки для каждой группы можно рассчитать с использованием вышеуказанной формулы.
Давайте проведем этот расчет.
Для получения статистически значимых результатов в вашем A/B тестировании (с учетом базового показателя конверсии в 10% и желаемого минимального детектируемого изменения в 2% при стандартном уровне значимости 5% и мощности 80%), вам потребуется примерно 3623 участников в каждой группе тестирования. Это означает, что общее количество участников для обеих групп должно быть примерно 7246 человек.
Этот расчет предполагает, что у вас есть достаточно большая аудитория для рассылки и что распределение открытий будет приближаться к нормальному распределению. Важно также учитывать другие факторы, такие как сезонность и поведение вашей аудитории, которые могут повлиять на результаты теста.
Расчет для разных показателей BCR и MDE
Ниже представлена таблица, показывающая размер выборки для одной группы, необходимый для различных базовых показателей конверсии (BCR) и минимальных детектируемых изменений (MDE):
В этой таблице строки представляют различные значения MDE (1%, 2%, 3%, 5%), а столбцы – различные значения BCR (5%, 10%, 15%, 20%). Каждое значение в таблице указывает на размер выборки одной группы, необходимый для достижения статистической значимости при данных параметрах.
Видно, что чем выше BCR и ниже MDE, тем больше нужно участников для достижения статистической значимости.
Другими словами, если у ваша конверсия уже 20% и вы хотите увидеть повышение этой конверсии на 1%, то вам надо запустить тест на 25+ тысяч респондентов. Но если вы запустите тест на 1000+ респондентов и увидите конверсию в 25%, то вы можете быть спокойны - вы подтвердили изменение в целых 5%!
Кстати, по ссылке ниже можно задать параметры для A/B теста и получить на выходе размер выборки: