Выживет сильнейший: полный гайд по A/B-тестам для проверки ваших гипотез

A/B-тестирование — инструмент, который помогает точно определить, как изменения продукта повлияют на его качество. Разберем, как провести A/B-тест без программирования и что учесть, чтобы получить достоверный результат.

А/В-тест — это всегда сравнение двух вариантов продукта. Например, двух дизайнов сайта или стилей рекламного баннера. Когда проводят А/В-тест, аудиторию делят на две группы. Первой показывают старый вариант продукта, второй — новый. После эксперимента берут данные о поведении обеих групп и сравнивают их. Сравнение можно провести на глаз, но лучше использовать специальные статистические тесты. Они помогут удостовериться, что разница между поведением пользователей в двух группах — не результат случайного стечения обстоятельств, а объективная реальность.

Разберём, как работает A/B-тестирование, на примере. Конверсия страницы сайта сейчас — 5%. Маркетолог предполагает, что, если изменить цвет кнопки «Заказать» с синего на красный, конверсия вырастет до 7%.

Чтобы проверить это предположение, маркетолог использует специальный сервис — например, AB Tasty. Сервис распределяет трафик так, что половина посетителей страницы видят старую её версию, а половина — новую, с синей кнопкой «Купить». Через три недели маркетолог сравнивает результаты. Конверсия старой версии страницы — 5%, а новой — 7,5%.

Маркетолог ставит задачу разработчикам, и цвет кнопки меняют. Благодаря этому компания зарабатывает больше — она тратит на привлечение трафика столько же, сколько раньше, но получает в полтора раза больше продаж.

Можно. Но тогда вы не сможете определить, как это изменение повлияло на оптимизацию воронки. Например, вам не нравится зеленый цвет, поэтому вы решили поменять на сайте зеленый баннер на синий. В следующем месяце продаж было больше на 5%, но гарантии, что на это повлиял цвет баннера, нет. Возможно, контекстная реклама так хорошо сработала или сезонный фактор сыграл роль. А с A/B-тестированием вы получите точный результат.

Маркетинг — это процесс постоянных улучшений. Нельзя один раз создать сайт/рассылку/объявление и считать, что они сами будут приносить заявки. Клиенты с каждым годом всё более придирчивы, да и конкуренты не дремлют, поэтому необходимо непрерывно строить гипотезы и тестировать их, чтобы улучшать пользовательский опыт. И здесь, как по Дарвину, выживет не самый сильный, а тот, кто лучше приспособится.

Ниже примеров, что можно улучшить с помощью A/B-тестов.

Улучшить метрики

Устаревший дизайн и неинтересный контент — основные причины отказов и низкой кликабельности. Таких проблем можно избежать, если постоянно тестировать элементы и подбирать оптимальные решения для каждой проблемы. Метрики прежде всего важны для маркетологов.

Показатель отказов — это процент пользователей, которые ушли с сайта почти сразу (как правило, в течение 15 секунд), не сделав ни одного целевого действия или клика.

Кликабельность, или CTR, — основная метрика в маркетинге, отношение количества кликов к показам.

Улучшить юзабилити

Юзабилити — это удобство пользования сайтом. Клиенты не должны искать корзину или форму подписки на рассылку. Полезные кнопки нужно держать на виду, иначе пользователи будут уходить без покупок. Даже если сайт удобен, поверьте — всегда есть, что улучшать. A/B-тесты помогают UX-дизайнерам оптимизировать оформление, сделать его максимально удобным и понятным.

Увеличить конверсию с минимальными рисками

Конверсии одинаково важны как для маркетологов, так и для менеджеров продаж. Сплит-тесты помогают проверить, как баннер или кнопка влияют на конверсию и протестировать разные варианты оформления. И всё это — с минимальными затратами и почти без потерь, ведь половина аудитории по-прежнему видит старую версию.

Есть много успешных кейсов, когда A/B-тесты помогали компаниям добиться желаемых результатов и увеличить продажи. Например, один из наших клиентов по лестницам под ключ в Москве увеличил конверсию в продажу в 2 раза с помощью изменения оффера на сайте и в рекламных объявлениях. Изменения сначала протестировали на небольшой группе пользователей, а потом уже внесли на сайт.

Если коротко — почти всё. На сайте это:

В контекстной рекламе:

A/B-тесты могут стать универсальным инструментом, главное — провести его правильно. На примере покажем, каких правил стоит придерживаться, как строить гипотезы и анализировать результаты.

Представьте, что вы маркетолог строительной компании и заметили, что конверсия в подписку на рассылку на сайте всего 15%. На ваш взгляд, ее можно повысить, если изменить дизайн формы. Проведем тестирование?

Шаг 1. Определяем цель и метрики

Проведение A/B-теста нужно начинать с определения цели и метрик. Иначе будет трудно оценить результаты. Метриками могут быть любые количественные показатели, которые используются в маркетинге — средний чек, количество заказов, кликабельность.

Объясним на примере. Вы проанализировали воронку продаж в компании и заметили, что форму подписки на email-рассылку заполняют лишь 3% тех, кто увидел ее. Вам нужно «увеличить конверсию в подписку на рассылку на 15%» — это и будет цель. А CR, или конверсия, поможет измерить, достигнута ли поставленная цель.

Шаг 2. Формулируем гипотезу

Гипотеза также является основой A/B-тестирования. Она должна содержать предположение, метрику и конечный результат: «Если мы [...], то [...]». Выделяют два вида гипотез:

Вернемся к примеру. В нашем случае альтернативная гипотеза может быть такой: «Если мы предложим скидку 10% на любую покупку за подписку на рассылку, конверсия увеличится как минимум на 15%». Цифры не важны, в гипотезе можно обойтись без них, ведь точно никогда не получится посчитать выгоду от каких-либо изменений до эксперимента. Нулевая гипотеза будет такой: «Если мы предложим скидку 10% на любую покупку за подписку на рассылку, это никак не скажется на конверсии».

Тестируйте только один элемент за один эксперимент. Если вы поменяете сразу несколько объектов, не удастся понять, какой из них лучше сработал. Если у вас есть несколько гипотез, необходимо провести несколько тестов.

Шаг 3. Определяем аудиторию

Чтобы эксперимент прошел объективно, выборка должна быть репрезентативной.

Репрезентативность — соответствие признаков тестируемой группы генеральной совокупности.

Генеральная совокупность — это совокупность всех пользователей/клиентов, о которых нам необходимо сделать вывод. Если выборка репрезентативная, значит, результаты исследования можно обобщить для всей аудитории.

В нашем примере генеральная совокупность — это наша целевая аудитория. Допустим, наш магазин одежды ориентирован на женщин и мужчин от 18 до 35 лет. При этом, женская аудитория составляет 70% от общего числа. Значит, чтобы выборка была репрезентативной, необходимо собрать группу, которая будет полностью соответствовать этим показателям — в ней должно быть 70% женщин, 30% мужчин от 18 до 35 лет. Нужно определить две таких группы — экспериментальную и контрольную. Одной аудитории мы показываем вариант сайта A, другой — вариант B.

Только в этом случае тест будет корректным. Если выборка окажется нерепрезентативной, результаты эксперимента окажутся под сомнением.

Также важно определить размер выборки. Для этого можно воспользоваться калькулятором. В зависимости от объема выборки, определите длительность тестирования — рассчитайте ежедневный трафик и посмотрите, сколько нужно дней, чтобы собрать достаточно данных. В среднем для этого требуется две недели.

И снова пример! Вернемся к нашему магазину — например, в день сайт посещают 10 тысяч человек. Калькулятор показал, что для объективности эксперимента два варианта формы должны увидеть в общей сложности 100 тысяч пользователей. Получается, 100/10=10 дней для получения результатов.

Шаг 4. Проводим эксперимент

Определитесь с площадкой, с помощью которой будете проводить эксперимент. Приступайте к оценке данных только тогда, когда эксперимент закончится.

Шаг 5. Проводим анализ

Итак, 10 мучительно долгих дней прошли, и что мы видим? Конверсия второй группы, которой мы показывали вариант формы с оффером, составила 30% — предложение-то работает! Значит, наш эксперимент можно считать успешным? Нет, нужно определить статистическую значимость, чтобы убедиться, что результатам можно доверять. Для этого есть множество калькуляторов. Вот один из них.

Эти ошибки чаще всего допускают при проведении тестирования:

1) Одновременная проверка двух гипотез/элементов

Сложно удержаться от соблазна за раз убить двух зайцев проверить несколько элементов. Но так вы не сможете отследить, какой из них повлиял на метрики. Возможно, первый покажет отрицательный результат, а остальные — положительный. Из-за этого можно сделать неправильные выводы. Один тест — одна гипотеза.

2) Последовательное тестирование

Во время последовательного тестирования первые две недели (или месяц) вы показываете вариант сайта A, а оставшийся промежуток времени — вариант B. Для ниш с сезонными товарами последовательное тестирование не подойдет — невозможно будет оценить, повлиял ли на результаты спрос.

Например, вы продаете санки и решили тестировать новую страницу лендинга в феврале. Первый месяц вы показывали старый вариант, следующий месяц — новый. Если у последней показатели оказались крайне низкими, это не значит, что пора прощаться с дизайнером. Важно учитывать спрос — в марте санки уже никого не интересуют.

3) Недостаточное количество данных

Такое случается, когда эксперимент останавливают раньше времени. Может быть, сроки горят или презентацию перенесли на дату пораньше. Из-за этого в будущем можно потерять не одну сотню клиентов. Заканчивать эксперимент раньше срока — грубая ошибка. Чтобы избежать ее, не жалейте времени, и учитывайте, что статистическая достоверность должна быть не ниже 95%.

A/B тестирование — это лишь эксперимент, а не доказательство ваших гипотез. Тесты не всегда успешны, поэтому относитесь к ним как к полезному опыту, который поможет лучше понимать клиентов и сконцентрироваться на пробелах. Но не забывайте, что никакие тесты и оптимизации не помогут, если сайт, к примеру, сделан некомпетентными специалистами и содержит много ошибок. Поэтому выбирайте надежных специалистов и экспериментируйте без проблем!

У вас уже есть сайт? Проведем анализ и запишем видео-разбор вашего сайта. Вы наглядно увидите, какие есть проблемы и как их исправить. Это бесплатно.

Оставляйте заявку на консультацию или бесплатный аудит на сайте агентства.

Делимся полезностями по маркетингу, упаковке и продвижению в телеграмм-канале.