Многовариантное против A/B-тестирования: что выбрать для редизайна сайта Статьи редакции

Старший UX-специалист в Nielsen Norman Group Аврора Харли — о разнице и преимуществах вариантов тестирования дизайна.

Перевод Николая Геллара для Sketchapp.me.

В мире методов оптимизации дизайна A/B-тестирование — самый популярный метод. Многовариантное тестирование — менее понятная альтернатива, её часто считают слишком трудоёмкой для использования. Хотя этот метод имеет свои ограничения, они уравновешиваются преимуществами, которые трудно достигнуть с помощью A/B-тестирования.

Предположим, вы хотели оптимизировать дизайн страницы продукта, чтобы максимизировать конверсию добавления товара в корзину. Вы рассматриваете несколько возможных изменений.

• Использование видеоролика продукта вместо изображения.
• Изменение подписи кнопки призыва к действию с «Купить сейчас» на «Добавить в корзину».

Многовариантный тест может помочь вам решить, какая комбинация этих вариантов дизайна будет оптимизировать конверсии.

Разберёмся в терминологии.

• Переменная — элемент интерфейса (например, изображение или заголовок) с несколькими возможными вариантами дизайна.

В нашем примере электронной коммерции переменные представляют собой визуальное представление продукта и подпись кнопки призыва к действию.

• Вариант — каждая версия дизайна переменной.

Изображение и видео продукта представляют собой два варианта визуального представления переменной; подписи «Добавить в корзину» и «Купить сейчас» — это варианты призыва к действию.

• Вариация — итоговый дизайн, содержащий вариант каждой переменной, который можно сравнить с другими вариациями.

В примере будут четыре вариации дизайна, соответствующие всем возможным комбинациям вариантов переменных: изображение и «Добавить в корзину», изображение и «Купить сейчас», видео и «Добавить в корзину», видео и «Купить сейчас».

В многовариантном тесте проверяются два или более элементов дизайна (переменные). Каждая из этих переменных может иметь несколько вариантов. Например, на приведённой выше странице мы могли бы протестировать две переменные: визуальное представление продукта (с двумя вариантами: изображение или видео) и подпись основного призыва к действию (с двумя вариантами: «Купить сейчас» или «Добавить в корзину»).

Многовариантное тестирование часто рассматривается как разновидность A/В-тестирования, хотя их настройка и сильные стороны несколько отличаются. Ниже приведены сходства и различия между ними.

• Оба метода тестируют варианты дизайна, сравнивая их путём деления трафика сайта (или приложения) между различными вариантами.
• Оба способа измеряют, какая альтернатива дизайна (то есть вариация) приводит к максимальной скорости конверсий для определённых целей.
• В A/B-тесте проверяемые варианты могут полностью отличаться друг от друга и совсем не из-за манипулирования небольшим набором переменных. Например, у вас могут быть две страницы с совершенно разными макетами, текстом, навигацией, визуальным дизайном и так далее. Результат A/B-теста будет указывать на то, что один вариант работает лучше другого, но вы не узнаете, что лучше: текст, визуальный дизайн или макет (или комбинация этих факторов).

Напротив, если вы используете МВТ, вы, как правило, сможете определить значимость одного конкретного варианта или комбинации вариантов. Таким образом, вы сможете, например, узнать, что видео продукта значительно увеличивает конверсию по сравнению с изменением подписи кнопки. Это может дать вам дальнейшую стратегию и понимание дизайна (например, что стоит инвестировать в создание хороших видеороликов).

Вернёмся к нашему первому примеру с электронной торговлей. Вы можете задаться вопросом, дадут ли два последовательных A/B-теста тот же результат, что и МВТ. Представим, что сначала вы запускаете A/B-тест для сравнения видео с изображением — предположим, что видео победит. Затем по вариации выигрыша вы проведёте ещё один A/B-тест между двумя возможными подписями кнопок, и «Купить сейчас» окажется лучше. Разве этот результат не был бы эквивалентен тесту МВТ?

Необязательно. Возможно, оптимальная комбинация — это изображение и «Купить сейчас», но вы не проверили эту версию.

Основным преимуществом запуска многовариантного теста вместо A/B-теста является способность определять, как различные элементы на странице взаимодействуют друг с другом. Только тестируя каждую комбинацию различных вариантов, вы сможете не только понять, что визуальный элемент, А работает лучше, чем визуальный элемент B, а эта кнопка C работает лучше, чем кнопка D, но вы также можете найти наилучшую комбинацию из них.

Вариации, возникающие из каждой комбинации, размножаются как кролики. Даже наш довольно простой пример электронной торговли имеет четыре вариации дизайна для сравнения, соответствующие всем возможным комбинациям двух переменных.

Добавление ещё одного варианта для переменной «призыв к действию» (например, «Покупка») создало бы ещё две вариации, генерируемые путём объединения этого варианта с 2 другими вариантами переменной визуального представления.

Количество вариаций будет получено путём умножения числа вариантов для каждой переменной. Tак что, если у вас было две переменные: одна с двумя и другая с тремя вариантами, вы получите шесть вариаций.

Большое количество вариаций, которые необходимо протестировать в многовариантном тесте, приводит к наибольшему ограничению этого метода: чтобы достичь статистической значимости, обычно требуется больше трафика для выполнения многовариантного теста по сравнению с A/B-тестированием.

Это связано с тем, что каждая вариация, добавленная к сравнению, приводит к тому, что реальный трафик делится на более мелкие части, следовательно, также может потребоваться много времени для сбора достаточного количества данных для каждой альтернативы дизайна.

Однако имейте в виду, что время, необходимое для запуска теста, зависит не только от общего трафика, но и от ожидаемого изменения коэффициента конверсии для цели эксперимента, поскольку более крупные улучшения легче измерить, чем небольшие. Разделение реального трафика между большим количеством вариаций приводит к более длительным экспериментам.

Другим ограничением МВТ является то, что все комбинации вариантов должны иметь общий смысл. При тестировании вариантов изображения и заголовка на странице не следует писать заголовки, которые относятся к деталям варианта изображения (например, «Замечательные спа-каникулы» и «Замечательный отдых на пляже» с соответствующими фотографиями), потому что каждый заголовок будет сопровождать каждое изображение в вариации для теста. Такой тип экспериментов лучше проводить как A/B-тестирование, поэтому комбинации могут быть более контролируемыми.

Многовариантное тестирование — скорее отличный способ внести дополнительные улучшения в дизайн, а не провести полный редизайн. Поскольку оно требует, чтобы вы идентифицировали определённые элементы, представляющие интерес, на странице для тестирования нескольких вариантов этой переменной, вы не сможете легко сравнивать радикальные изменения в разных вариантах.

Если ваша цель — перейти к основательному редизайну (например, редизайн макета), A/B-тест для сравнения этого нового дизайна с текущим является более подходящим, чем МВТ. Как только вы найдёте более эффективный дизайн, используйте многовариантные тесты для дальнейшего улучшения определённых элементов победившем макете.

#дизайн