Что такое A/B-тестирование и как провести его правильно. Урок 1

Перед вами — гайд по A/B-тестированию, который расскажет, в чем разница между A/B-тестированием и мультивариативным тестированием, как проводить тесты структурировано и последовательно, и как понять, какой эксперимент стоит выбрать, чтобы выжать максимум.

Автор английской версии: Янив Навот, CMO, Dynamic Yield

Вы читаете перевод бесплатного курса по A/B тестированию от компании Dynamic Yield. Над переводом работали Оля Жолудова и Ринат Шайхутдинов. При поддержке koptelnya.ru.

Коптельня — команда по быстрой разработке веб-приложений и сайтов.

Иллюстрация Jack Daly: https://dribbble.com/shots/3474087-Curated-Living 
Иллюстрация Jack Daly: https://dribbble.com/shots/3474087-Curated-Living 

А/В-тестирование — это метод сравнения двух версий страницы или приложения, который помогает понять, какая из них работает лучше в контексте какой-то конкретной задачи. А/В-тест — один из самых популярных методов повышения производительности цифровых продуктов: сайтов, мобильных приложений, SaaS-продуктов, рассылок и других т. д.

При помощи контролируемых экспериментов маркетологи, продакт-менеджеры и разработчики могут быстро проверять свои творческие идеи на жизнеспособность и, отталкиваясь от объективных данных, быстро и гибко внедрять самые удачные из них в продукт. Короче говоря, вам больше не надо рассуждать, почему тот или иной вариант страницы (или шага в пользовательском сценарии) более удачный — эксперимент все скажет сам за себя. Этот метод идеально подходит, когда нужно поднять конверсию, увеличить выручку, нарастить базу подписчиков или привлечь побольше клиентов и лидов.

Содержание:

  1. Что такое A/B-тестирование и как провести его правильно | Урок 1
  2. A/A тестирование — способ проверить корректность работы механизма A/B-тестирования | Урок 2
  3. Что такое статистичекая значимость в A/B тестах и почему она важна | Урок 3
  4. Как правильно распределять трафик при A/B тестировании | Урок 4
  5. Атрибуция конверсии в A/B тестировании: что такое, в чем ценность и какой уровень атрибуции использовать| Урок 5
  6. Оптимизация конверсии: что такое, в чем ценность и как выбрать подходящую цель оптимизации | Урок 6
  7. Частотный и байесовский подходы к A/B тестированию: подробное сравнение | Урок 7
  8. Как провести байесовский A/B-тест правильно: подробное руководство | Глава 8
  9. Многорукие бандиты как альтернатива A/B-тестам | Урок 9
  10. A/B-тестирование и персонализация на стороне клиента и сервера: какой метод выбрать и когда| Урок 10
  11. Сегментация в A/B-тестировании: в чем ценность, как сделать, подводные камни | Урок 11
  12. Как A/B тесты и персонализация влияют на SEO и какие нюансы важно учесть | Урок 12
  13. Как выжимать значимые результаты из любого эксперимента и почему неудачных A/B тестов не бывает | Урок 13
  14. Как правильно проанализировать и оценить результаты A/B теста | Урок 14
  15. Как увеличить бизнес-показатели: кейс по A/B-тестированию компании Kopari Beauty | Урок 15

Глобальные компании, такие как Google, Amazon, Fb и Netflix выстроили процессы в бизнесе так, чтобы проводить тысячи экспериментов в год и оперативно внедрять их результаты в работу.

Успех Amazon зависит от того, сколько экспериментов мы сможем провести в год, в месяц, в неделю, в день

Джефф Безос

В технологическом блоге Netflix в апреле 2016 года прозвучала такая фраза: «Благодаря эмпирическому подходу к работе, мы точно знаем, что изменения в продукте продиктованы не вкусами и мнениями самых авторитетных сотрудников компании, а объективными данными. То есть наши зрители сами подсказывают нам, что им нравится».

И Марк Цукерберг в одном из интервью признался, что успех Fb кроется в их уникальной системе тестирования, чем предприниматель очень гордится: «В любую секунду в мире работает не одна версия Fb, а порядка 10,000».

Что такое A/B тест и в чем его ценность для развития цирфорового продукта?

В классическом A/B тесте, мы, первым делом, определяем, что будем тестировать и какова наша задача. Далее мы создаем одну или несколько вариаций исходного веб-элемента (еще его называют контрольной группой или точкой отсчета) . Далее, мы делим трафик пополам (в случайном порядке: то есть распределяем пользователей согласно некой вероятности) , и, наконец, собираем данные (метрики) о том, как работает каждая версия страницы. Спустя какое-то время, мы анализируем данные и оставляем ту версию, которая отработала лучше, а менее удачную — выключаем.

Очень важно проводить тесты грамотно: иначе вы не только не получите осмысленные и полезные результаты, но и можете выбрать ошибочный путь. В целом, контролируемые эксперименты могут помочь в решении следующих задач и дают следующую ценность:

  1. Разобраться с недочетами UX и популярными барьерами для клиентов (pain points)
  2. Повысить эффективность существующего трафика (поднять конверсию (conversions) и выручку (revenue) , оптимизировать затраты на привлечение клиентов (customer acquisition costs))
  3. Поднять вовлеченность (снизить показатель отказов (bounce rate), повысить показатель кликабельности (click-through rate) и т. д.)

Нужно помнить, что когда мы отдаем предпочтение тому или иному рианту, мы по сути масштабируем результаты, полученные к этому моменту, на всю аудиторию потенциальных пользователей. Это настоящий прыжок веры, и каждое такое действие должно быть обосновано. Внедряя решения без веских оснований, мы обязательно сделаем хоть один неверный шаг — что негативно скажется на продукте в долгосрочной перспективе. Процесс сбора таких обоснований мы называем тестированием гипотез, а искомые обоснования —статистической значимостью.

Вот несколько примеров A/B тестов:

Как рождается A/B тест: Изучаем ситуацию и формулируем гипотезу

В основе любого A/B теста лежит проблема (ситуация) , которую нам надо решить (разрешить) или некое поведение пользователя, которое нам нужно изменить или, наоборот, закрепить. Выявив проблему или задачу, маркетолог формулирует гипотезу — обоснованное предположение, которое либо подтверждается, либо опровергается в результате эксперимента.

Пример продуктовой гипотезы: Если мы добавим значок с социальным доказательством на страницу с описанием продукта, посетители узнают о популярности нашего продукта, и количество добавлений в корзину вырастет на 10%.

Разбор гипотезы: В этом случае, когда мы выявили проблему (низкий показатель добавлений в корзину, к примеру) и сформулировали гипотезу (решение: отображение значка с социальным доказательством стимулирует пользователей добавлять товар в корзину чаще) , можно приступать к тестированию на сайте.

Классический подход к A/B тестированию: как организуется эксперимент и распределяется трафик между версиями

В простом A/B тесте трафик распределяется между двумя версиями. Одна из версий — с оригинальным (текущим) контентом и дизайном — считается контрольной. Вторая версия — это вариация. Изменения могут быть разными: к примеру, можно протестировать разные варианты заголовка, кнопки call-to-action, лейаут, дизайн и т. п.

В классическом эксперименте на уровне одной страницы, нам даже не нужно делать два URL для тестирования. Большинство решений для A/B тестирования позволяют динамически менять контент, лейаут и дизайн страницы.

Однако, если вы хотите включить в тестирование 2+ набора страниц, тогда нужно проводить сплит тестирование и использовать несколько URL.

В каких случаях проводить сплит тестирование

Сплит тестирование (иногда его называют многостраничным тестированием) в целом похоже на A/B тестирование, но позволяет проводить эксперименты с использованием отдельного URL для каждой вариации. Другими словами, сплит тестирование можно провести между двумя существующими URL-адресами, что особенно полезно, если у вас динамический контент.

Допустим, у вас уже есть два страницы, и вы хотите узнать, какая из них работает лучше. К примеру, вы запускаете рассылку и у вас есть две разные версии потенциального лендинга. Проведите сплит тестирование — и поймете, какой лендинг показывает лучшие результаты в рамках этой кампании.

В A/B тест можно включить и больше двух вариаций

Если вы хотите протестировать более двух вариаций, проведите A/B/n тест. С его помощью можно сравнить эффективность трех или более вариаций, вместо того, чтобы тестировать каждую вариацию относительно одной и той же контрольной вариации (то есть проводить цепочку независимых A/B тестов) . Если на сайте высокий трафик, при помощи A/B/n тестирования можно проверять множество вариаций разом, тем самым сокращая время тестирования и получая результаты быстрее.

Однако я не рекомендую вносить слишком много изменений в вариацию. Если вы внесете только самые важные и значимые изменения, по результатам эксперимента вам будет проще понять возможные причинно-следственные связи. А если вы хотите протестировать сразу ряд изменений, проведите лучше мультивариативный тест.

Что такое мультивариативное тестирование

Мультивариативные тесты (иногда их называют мультивариантными тестами) позволяют протестировать изменения сразу в нескольких разделах одной страницы. Чтобы понять принцип, проведите мультивариативный тест на одном из своих лендингов, а потому поменяйте на нем пару элементов. В первой вариации замените главное фото на странице формой для обратной связи. Во второй вариации, добавьте на страницу видео. Теперь система сгенерирует на базе ваших изменений еще одну возможную вариацию — с видео И формой обратной связи.

Всего получится 2 x 2 = 4 вариации страницы

V1 — контрольная версия (без формы обратной связи и без видео)

V2 — вариация с формой обратной связи

V3 — вариация с видео

V4 — вариация с формой обратной связи + видео

Поскольку в ходе мультивариативного тестирования проверяются все возможные комбинации, не рекомендуется добавлять много вариантов — если только у вас не сайт с очень и очень высоким трафиком. Если проводить мультивариативное тестирование с множеством переменных на сайте с низким трафиком, есть риск получить недостаточно значимые результаты, по которым не получится сделать никакие весомые выводы. Для такого вида тестирования нужно как минимум несколько тысяч посещений в месяц.

Пример мультивариантного теста на продуктовой странице онлайн-магазина

Какой тест применить в зависимости от ситуации

A/B тест поможет найти ответы вопросы типа: “на какую из этих двух вариаций страницы посетители реагируют лучше? ”

А мультивариантные тесты помогут ответить такие вопросы:

  • Посетители лучше реагируют на видео или на форму обратной связи?
  • Или лучше работает только форма обратной связи, без видео?
  • Или лучше оставить видео и убрать форму обратной связи?

Как оценить эффективность платформы для A/B тестирования

Чтобы оценить эффективность платформы для A/B тестирования, можно провести A/A тест. Для этого вам нужно создать две одинаковые версии страницы и запустить A/B тест. В идеале, система должна выдать ответ, что обе вариации показали примерно одинаковые результаты. Подробнее про A/A тесты читайте здесь.

Вывод и рекомендации: разбираем путь к результативным A/B тестам

Я не провалил тест, я просто нашел 100 способов выполнить его неправильно

Бенджамин Франклин

При проведении A/B тестирования очень важна четкая и адекватная методология. Только в этом случае мы можем доверять результатам теста и принимать эффективные решения на их основании.

A/B тестирование дает нам фреймворк, который позволяет сравнить реакцию посетителей сайта на различные вариации страниц (и паттерны движения к цели), и если одна из вариаций работает лучше — установить статистическую значимость результата и в какой-то мере причинно-следственную связь.

Это первая глава | Продолжение (Глава 2)

1616