Гайд по A/B тестированию. Как планировать A/B тесты в 2025м году. Часть 2. Составление плана A/B тестов.
Первая часть статьи тут:
Как спланировать программу по A/B тестированию.
Ниже приведен план по проведению A/B тестов, который подойдёт для больших и малых организаций. Этот план достаточно надежен.
Шаг 1. Получить поддержку руководства.
Опыт показывает, что привлечение руководства к проведению тестов значительно увеличит шансы на долгосрочное удержание ресурсов для проведения тестирования. Начать нужно с того, что понять какие стратегические цели сейчас преследует руководство, для того чтобы подобрать нужные метрики для тестирования. Руководители скорее поддержат планы по тестированию, если будут понимать, что они могут улучшить ключевые метрики, которые приблизят компанию к стратегической цели.
В случае, если руководители настроены скептически, можно попросить их сформулировать гипотезы, а затем протестировать их и предоставить результаты. Успешные результаты или нет, с хорошо проведённым анализом, покажут значимость A/B тестов и дадут почву для проведения дальнейших тестов.
Шаг 2. Измерение и анализ показателей веб-сайта.
На этом шаге, во-первых, нужно определить что можно оптимизировать. Каждый веб-ресурс уникален, поэтому компаниям нужно разрабатывать свою стратегию на основе поведения своей аудитории, целей компании и текущих результатов. Для выявления проблемных точек на сайте можно использовать инструменты поведенческого анализа, такие как отслеживание кликов или тепловые карты.
Шаг 3. Формулирование гипотезы.
Как только определены основные барьеры мешающие пользователям совершить целевое действие, можно ставить гипотезы для A/B тестирования. Гипотеза- это обоснованное предположение о поведении клиента. Все хорошие тесты проектируются на основе гипотез, которые поставлены основываясь на фактах о поведении пользователей.
К примеру, если на сайт поместили кнопки, призванные облегчить навигацию на сайте, но пользователи их игнорируют, то возможно они непонятны для пользователей и их следует изменить или подписать.
Шаг 4. Расставьте приоритеты в тестировании и составьте дорожную карту.
Опираясь на методику Pie framework можно сделать оценить все идеи для тестирования по трем критериям и на основе этих оценок расставить приоритеты.
- Потенциал. По шкале от 1 до 10 оцените насколько возможно улучшить эту выбранную страницу.
- Значимость. В этом параметре оценка строится исходя из трафика на выбранной странице(его количества и качества) по шкале от 1 до 10.
- Простота. Насколько легко реализовать выбранный тест, где 10 - очень легко, а 1 - крайне трудно.
Основываясь на этой оценке моюно определить порядок тестирования.
Шаг 5. Тестирование
Теперь, когда все подготовительные шаги проведены можно начинать само тестирование. На этом шаге важно не изменять параметры теста до его завершения. Всегда следует ждать завершения теста и только потом вносить изменения.
Шаг 6. Анализ результатов
Крайне важно анализировать и интерпретировать результаты проведённых тестов. В конечном счёте, A/B тестирование должно приводить к принятию решений на основе проведённых тестов.
Для эффективного анализа следует:
- Научиться распознавать ложные срабатывания
- Установить репрезентативные сегменты аудитории
- Не следует тестировать слишком много вариаций одновременно. Это сильно усложняет анализ.
- Не следует отказываться от идеи теста после одной неудачи.
Шаг 7. Повтор
Как только результаты получены и проанализированы, следует сформулировать новые гипотезы, основываясь на новых знаниях о клиентах и их взаимодействии с вашим продуктом. A/B тестирование всегда подразумевает обратную связь. Оптимизация ведет к дальнейшей оптимизации, растущее вовлечение клиентов ведёт к ещё большему вовлечению.
После завершения этого этапа тестирования приходит время разработать новый виток экспериментов и реализовать их.