В этой статье мы рассказываем о том, как построить эффективную стратегию и дорожную карту теста: от момента генерации гипотезы до приоритизации тестов и интерпретации результатов.
Что такое A/B-тест?
А/B-тестирование — это эксперимент, в ходе которого мы сравниваем две (или больше) вариации элементов или страницы, а затем анализируем результаты.
Как выстроить стратегию теста с умом?
Опираясь на наш опыт работы с клиентами и огромное количество реализованных стратегий, мы выделили пять ключевых этапов построения успешной стратегии оптимизации конверсии:
- Провести аудит сайта
Для того, чтобы процесс формирования гипотез был более объективным и эффективным, нужен компетентный взгляд со стороны: к примеру, наши UX-эксперты анализируют сайт клиента и определяют направления для улучшений. В результате клиент получает список идей и гипотез, а также предварительные макеты, которые готовят наши дизайнеры, для визуализации возможных модификаций на сайте.
- Создать дорожную карту
а) Собрать идеи клиента
Клиент, который досконально знает свой сайт, также, скорее всего, понимает, что ему бы хотелось изменить в первую очередь, какие гипотезы протестировать.
б) Сформулировать гипотезу оптимизации
Следующим шагом является необходимость сформулировать и структурировать гипотезы на основе проведенного ранее UX-аудита и с учетом идей клиента. Для того, чтобы сформулировать такую гипотезу можно использовать простейшую последовательность из 3 пунктов:
- Проблемы, которые мы идентифицировали
- Решения, которые мы сформулировали
- Результаты, которые мы ожидаем
с) Приоритизировать тесты
Каждый, кто работает с A/B-тестами, уже задавался вопросом: какой тест нужно запустить первым? И это правильный вопрос. Логично, что мы захотим определить потенциал тестов и начинать осуществлять их в порядке убывания. Но возникает второй вопрос: как оценить потенциал и эффективность тестов?
Мы в Kameleoon используем методику трёх факторов для оценки потенциала теста и последующей их приоритизации:
- Потенциал
- Размер сегмента
- Степень сложности теста
Потенциал (от 1 до 5)
Сколько улучшений можно сделать на той или иной странице? Как это повлияет на конверсию?
1 балл — небольшие изменения, улучшаем общий UX сайта и уровень комфорта посетителей. 5 баллов — существенные изменения, напрямую влияющие на показатели конверсии.
Размер сегмента, размер трафика на тест (от 1 до 5)
Определим, с какими трафиком мы имеем дело на той или иной странице: важно учесть как количество трафика, так и качество. Да, вы можете быстро найти страницы с низкими показателями посещаемости, но если они не притягивают существенный объем дорогостоящего трафика, то они не приоритет для тестов.
Также можно применить эту логику и к тесту: тест можно отобразить для маленькой части трафика и для всей аудитории сайта.
1 балл — страницы с незначительным трафиком (небольшая тестируемая аудитория), 5 баллов — страницы с дорогостоящим и существенным трафиком (совокупность аудитории).
Степень сложности теста
Сколько времени и ресурсов займет тест? Еще одним важным фактором является простота реализации теста: есть разница между полным редизайном сайта, к примеру, небольшими косметическими модификациями или созданием нового элемента. Работаем ли мы только на фронте, нужно ли создать веб-сервис, тестируем ли мы элемента на сайте или необходимо интегрировать инструмент?
Все эти вопросы помогают оценить сложность теста: 1 балл — очень сложный тест (несколько недель или больше), 5 баллов — очень простой тест (тест, который можно осуществить за 1 день).
Примерный вариант такой таблицы приоритизации:
- Анализировать результаты
Анализ результатов — один из важнейших этапов, который поможет понять вам, что работает для той или иной вариации. Важно не только определить выигрышную вариацию, но и понять, почему она сработала (или нет). Мы также используем результаты для подтверждения или переориентации стратегии/дорожной карты, если данные указывают на такую потребность.
И еще небольшой совет: анализируя результаты, сохраняйте нейтралитет по отношению к вариациям и оставайтесь объективными.
- Поделиться результатами внутри компании
Необходимо с регулярностью представлять краткое содержание о проделанной работе и презентовать результаты стейкхолдерам (хотя бы раз в квартал) для того, чтобы наглядно показать эффективность практики и вдохновить на новые эксперименты.
- Тестировать снова
Не думайте, что результаты — это достижение, помните, что ничто не стоит на месте: хорошая практика сегодня может быть недействительной через какое-то время. В идеале стоит задуматься о приобщении к культуре данных внутри команды.
Заключение:
A/B-тест должен быть запущен с помощью эффективной и мощной платформы (Kameleoon, Optimizely, VWO…) для того, чтобы максимально эффективно осуществлять тесты всего: от микротекстов CTA до обновлений функционала, а также полного редизайна страницы, на любом типе устройства (mobile, desktop, app) или при использовании любого метода (front end, back end, full stack и гибрид).
A/B-тестирование является не только инструментом: большая часть успеха — это еще и профессиональная команда с глубокой экспертизой на стороне поставщика, а также политика содействия и готовность к экспериментам со стороны клиента.