Как правильно распределять трафик при A/B-тестировании. Урок 4

Поговорим о том, как выбрать правильный метод распределения трафика в A/B-тестах, избежать популярных ошибок и получить полезные и адекватные результаты.

← Предыдущий урок

Автор английской версии: Янив Навот, CMO, Dynamic Yield

Вы читаете перевод бесплатного курса по A/B тестированию от компании Dynamic Yield. Над переводом работали Оля Жолудова и Ринат Шайхутдинов. При поддержке koptelnya.ru.

Коптельня — команда по быстрой разработке веб-приложений и сайтов.

(Если вы здесь впервые, то лучше начните сначала)

А/В тестирование — это незаменимый инструмент для маркетолога, который дает возможность бизнесу принимать значимые решения, касающиеся пользовательского опыта, на основании данных. При запуске A/B теста с несколькими вариациями, важно понимать, как мы будем распределять трафик между этими вариациями. Давайте рассмотрим два метода распределения трафика:

Если в двух словах, при ручном распределении трафик равномерно делится между вариациями, пока не будет объявлен один победитель. По факту, при проведении стандартного A/B/n теста предполагается, что при достижении значимого результата администратор теста будет направлять всех посетителей только на лучшую вариацию.

К примеру, запуская тест с четырьмя вариациями, вы можете направить равную долю трафика (25%) на каждую из них — тогда каждая вариация будет в равных условиях. Либо вы можете выделить какую-то вариацию и распределить трафик в другом соотношении — скажем 50/20/20/10. Главное, чтобы суммарно выходило 100%.

Тесты с ручным распределением — это по определению тесты между вариациями (и контрольной группой, если она есть), в результате чего одна вариация объявляется победителем с высоким уровнем доверительной вероятности.

В случае с автоматическим распределением (также известным как динамическое распределение или метод многорукого бандита), на самую результативную вариацию постепенно направляется все больший процент посетителей — по мере сбора данных. Со временем система динамически направляет трафик на вариацию с лучшими показателями, основываясь на данных, доступных на тот момент времени. Это означает, что даже если сегодня вариация А показывает лучшие результаты, через месяц ее может обойти другая вариация. Диаграмма ниже иллюстрирует, как работают методы ручного и автоматического распределения трафика в эксперименте с двумя вариациями, при условии, что решение должно быть принято на восьмой день:

Каждый метод распределения трафика заточен под определенные сценарии использования.

Подумайте, какое из утверждений ниже лучше описывает конкретно ваш случай:

Ручное распределение следует использовать в ситуациях, когда мы намерены сделать какое-то кардинальное и постоянное изменение на сайте и для принятия решения нам нужны статистически значимые результаты, а время не имеет значения. Тесты с ручным распределением могут крутиться столько времени, сколько требуется для сбора данных, которые приведут к убедительным статистически значимым результатам.

Обратная сторона таких тестов в том, что пока мы ждем этих самых значимых результатов — а иногда для этого требуется много времени — мы никак не задействуем собранные данные. В случаях, когда вариации рекламных сообщений постоянно обновляются, времени для достижения статистической значимости может быть недостаточно, в результате чего мы теряем возможность оптимизации.

Если же вы управляете кампаниями, в которых жизненный цикл каждой вариации очень короткий или они часто меняются, тогда метод многорукого бандита — это то, что вам нужно. Автоматическое распределение мгновенно задействует все доступные данные и гораздо агрессивнее принимает решения по распределению трафика между вариациями. Автоматическое распределение оперативно учитывает новые вариации, вариации с разной степенью эффективности, разные периоды времени и т.д.

А/В тестирование и оптимизацию стоит рассматривать через призму времени — у нас оно либо есть, либо его нет. Объясню подробнее: когда нам нужно протестировать эффект какого-то долгосрочного изменения (например, лейаута страницы или заголовка, призывающего оставить email), мы не хотим принимать такое значительное стратегическое решение преждевременно, не собрав достаточного количества подтверждающих данных. Иначе это может серьезно отразиться на ключевых показателях эффективности и на клиентском опыте в целом.

Учитывая что при тестировании нужно собрать достаточно данных о вариации, чтобы команда могла с уверенностью объявить победителя, весь процесс может занять как минимум две недели. Если ваш бизнес может позволить себе роскошь дождаться статистически значимых результатов, то A/B тест идеально вам подходит.

Но что если жизненный цикл вариации короткий, и у нас просто нет времени ждать объявления победителя? Например, рассмотрим сценарий, при котором сообщение на hero-баннере меняется каждую неделю в рамках какой-то акции, а наша основная задача — повысить определенный KPI, привлекая пользователей тем сообщением, которое работает лучше. Таким образом, если мы будет намеренно направлять трафик на более слабую вариацию, то CTR, конверсия или другая метрика успеха тестирования будет падать. Именно по этой причине автоматическое распределение трафика больше подходит для принятия краткосрочных решений, поскольку наиболее результативная вариация показывается чаще, что позволяет гораздо быстрее оптимизировать конверсию.

Теперь давайте рассмотрим динамическое распределение в плоскости “Исследования / использования” (Explore vs Exploit), когда мы оцениваем сколько ресурсов уходит на исследование и как мы можем использовать полученные данные. Поскольку 10% трафика при динамическом распределении всегда уходит на случайную вариацию, а 90% — на вариацию-победителя, это соотношение исследования к использованию 10/90 позволяет направлять большую часть трафика на более эффективную вариацию, и при этом продолжать собирать данные о “проигрышных” вариациях, в результате чего они могут снова выстрелить.

Эти два метода распределения трафика обеспечивают бизнесу гибкость при принятии решений: как долгосрочных — со сбором достаточного количества подтверждающих данных, так и краткосрочных — с возможностью менять стратегию на ходу. Вопрос “какой из методов лучше” не стоит: использовать следует оба и, я надеюсь, из этой статьи вы поняли, под какие сценарии заточен каждый.

← Назад | Продолжение (Глава 5) →

#маркетинг #a_b_тестрование #a_b_тест