🚩Убийца A/B-тестов ― отсутствие чёткой гипотезы. Серьёзно, как вы собираетесь получить осмысленные результаты, если не понимаете, что именно хотите проверить? Это всё равно, что пойти в магазин без списка покупок ― в лучшем случае купите что-то ненужное, в худшем ― вернётесь домой с пустыми руками. Первым делом сформулируйте предположение, которое хотите подтвердить или опровергнуть. Например, «Использование эмодзи в теме письма увеличит открываемость на 15%».
🚩Пожалуй, самая распространённая ошибка ― смена параметров тестирования. Вы запустили A/B-тест, сравнивающий два варианта заголовка письма. Но вдруг решили добавить ещё одну экспериментальную группу с тестом на время отправки. Бах! 💣 Ваши результаты только что превратились в тыкву. Объективно сравнить и сделать выводы теперь практически невозможно. Вывод: выберите метрики и параметры тестирования заранее и строго им следуйте.
🚩Следующая ошибка ― неправильный расчёт размера выборки. Представьте, что вы решили сравнить две версии письма, но для тестовой группы выбрали всего 50 человек. Да, результаты могут оказаться интересными, но будут ли они статистически значимыми? Вряд ли. Поэтому перед запуском теста проанализируйте размер базы, определите минимальный порог для репрезентативности и распределите аудиторию соответственно.
🚩Нельзя не упомянуть ещё один распространённый промах ― тестирование сразу нескольких элементов. Вы же хотите получить достоверные результаты, а не кашу из топора? Если вы одновременно меняете тему письма, отправителя, CTA и дизайн, как вы потом поймёте, что именно повлияло на конечный результат? Лучше сфокусируйтесь на одном элементе за раз. Тогда вы сможете понять, что сработало, а что нет, и продолжить оптимизацию.