A/B/n и MVT-тестирование: польза для бизнеса, сходства и различия

Здравствуйте. Меня зовут Людмила, я маркетолог в компании Altcraft. Сегодня поговорим с вами о том, как найти правильный вариант контента. Предлагаем использовать данные A/B/n и MVT тестов вместо догадок. Узнайте в статье, чем отличаются эти виды тестирований, как их провести и почему они важны для вашего бизнеса. Приятного чтения.

Лендинг плохо работает, email- и push-рассылки не дают результата. В чём причина? Что изменить, чтобы повысить эффективность? Даже самый опытный маркетолог не ответит на 100% точно. Угадывание — риск потерять время, деньги и потенциальных клиентов. 88% пользователей, скорее всего, не вернутся на сайт компании после неудачного опыта. Также ошибки стоят дорого — $1,420,300,000,000 теряют компании со всего мира из-за плохого UX дизайна.

A/B/n тестирование — метод, где сравнивают эффективность нескольких вариантов контента на странице сайта, в email-рассылке и в других кампаниях. Проверяют отдельные элементы или нескольких разных шаблонов. Цель тестирования — понять, какая версия работает лучше и даёт больше конверсий.

A/B/n test — это A/B тестирование, но есть разница. Обычный сплит-тест (другое название A/B теста) проверяет только 2 варианта, а трафик делится 50/50% для каждой версии.

A/B/n сравнивает больше двух вариантов, и трафик равномерно распределяется между каждой версией.

Например, маркетинговая команда предлагает 4 вариантов нового дизайна сайта и не может договориться, какой лучше. Тогда запускается A/B/n тест, где каждый вариант получит 25% трафика.

Какие элементы можно тестировать с помощью A/B/n (некоторые примеры):

Зачем проводить тестирование? Оно помогает уйти от догадок маркетологов и интуитивного принятия решений к действиям на основе данных. Такой подход:

Снижение рисков денежных потерь. Чем проще клиенту найти нужный товар и сделать заказ, тем с большей вероятностью он купит именно у вас. Незаметные кнопки и непонятная навигация ведут к потере клиентов и потенциального дохода.

Увеличение конверсии. С помощью теста вы найдёте самые кликабельные варианты, которые быстрее приведут ваших клиентов к покупке.

Проверка идей. Во время разработки нового дизайна случаются споры. Чья идея лучше? Покажет сплит-тестирование, которое проверит гипотезы и решит конфликт мирным путём.

Увеличение трафика. Произойдёт, если снизить показатель отказов (Bounce Rate), который учитывают поисковые системы при ранжировании сайта. Удобная посадочная страница задержит пользователей дольше — это хороший признак для поисковиков. Пользователям интересно, они остаются на сайте — можно показывать эту страницу чаще.

Экономия ресурсов. Тест быстрее покажет, какие варианты рабочие, чем споры и проверка по одной версии контента последовательно.

Новые идеи для будущих кампаний. Поведение пользователей с разными вариантами дизайна — источник для новых инсайтов, иногда неожиданных.

Большой объём трафика. Для обычного A/B тестирования трафик делится на 2 части, для A/B/n — на несколько равных. Результаты будут значимыми только при достаточном трафике для каждого варианта.

Проверка только одного элемента. Тест покажет, какой вариант оказался лучше (например, на тёмную кнопку кликали чаще, чем на светлую). Другие факторы, которые повлияли на результат, останутся неизвестными.

Санкции поисковых систем. При тестировании вариантов дизайна сайта поисковики могут заподозрить вас в клоакинге — поисковом спаме, когда пользователь и поисковая система видят разные варианты страниц.

Ищем, что работает неэффективно или вообще не приносит никаких результатов. Например, пользователи редко кликают на кнопку «доптовары» на сайте или не переходят на страницу заказа из email.

Определят «слабые места» инструменты Google Analytics, вебвизоры и анализ обращений пользователей в техподдержку.

Гипотеза отражает, какое действие улучшит показатели. Например, если изменить цвет кнопки «доптовары» на более яркий, то количество кликов увеличится в 2 раза.

Проверять за один тест можно одну гипотезу. Например, для кнопки «доптовары» — это несколько разных цветов: красный, синий, жёлтый. Менять одновременно размер шрифта и положение кнопки уже нельзя.

Другой вариант — тестировать дизайн полностью.

Результаты теста нельзя оценивать без привязки к метрикам: количеству показов, кликов и другим, которые вы планируете улучшать. Инструменты для отслеживания должны работать до начала теста. Не забудьте проверить кнопки, формы и отображение элементов, которые собираетесь тестировать.

Для репрезентативного результата нужно определённое количество посетителей сайта, которые увидят вашу страницу. Как его рассчитать? Использовать специальные онлайн-калькуляторы: Optimizely, Driverback и другие.

Как это работает:

Например, сейчас конверсия 5%. Мы хотим улучшить её на 10%. Вводим параметры в калькулятор и получаем 30 244 человек — столько нужно уникальных просмотров на каждый вариант.

Пример расчёта трафика для тестирования

Запускаем тестирование

Важно тестировать все варианты одновременно, а не по отдельности. Результат зависит от времени суток, дня недели, сезонности и других факторов. Остановите тест, когда каждый вариант наберёт нужное количество просмотров.

Считаем результаты и принимаем решение

Снова возвращаемся к онлайн-калькуляторам. Теперь, чтобы рассчитать статистическую значимость результатов. Для этого указываем количество конверсий по каждому варианту и размер выборки. Калькулятор покажет, отличаются результаты или значительной разницы нет.

По итогам принимаем решение: внедрять новый дизайн/элемент дизайна/менять контент полностью или начать новое тестирование.

MVT или мультивариантное тестирование проверяет эффективность сразу нескольких комбинаций разных элементов на страницах сайта и на других площадках. MVT тестирование покажет, какое сочетание даёт больше конверсий.

Тестируют такие же элементы, как в A/B/n тестах, но более детально и в комплексе с другими. MVT не сравнивает дизайн полностью.

Например, мы хотим проверить эффективность кнопки CTA. Есть два варианта «заказать» и «купить», для которых используем красный или жёлтый цвет, а также полужирный или обычный шрифт. Ещё под кнопкой два варианта подписи: «сейчас» или «товар просматривают 5 человек». Получаем 16 вариантов.

Пример вариантов для MVT тестирования

Увеличение конверсии. Многомерное тестирование продемонстрирует, на какое сочетание элементов аудитория реагирует лучше — кликает на товары и покупает или совершает другую конверсию (например, подписку).

Оптимизация без глобальных перемен. Тест улучшает показатели без полного редизайна.

Экономия времени. MVT test проверяет несколько разных вариантов переменных одновременно и их взаимодействие.

Нужно много трафика. С количеством комбинаций увеличивается и аудитория, которая должна их увидеть. Поэтому MVT получится провести только при:

Большие затраты по времени. Придётся ждать, пока наберётся нужное количество просмотров.

Возможность ложных срабатываний. Чем больше вариантов, тем выше риск случайных кликов.

Самыми распространёнными методами MVT-тестирования считаются полнофакторный и дробный факторный.

Проверяет все сочетания с одинаковым количеством трафика. Статистически точный метод, но требует огромного трафика.

Как это работает? Тестируются несколько факторов. Возьмём A, B, C, где:

A — кнопка CTA;

B — надпись на кнопке;

C — фон раздела, где находится кнопка.

По полнофакторному методу каждый фактор имеет только два варианта (обозначим +1 и -1). Например, для фактора A кнопка CTA жёлтая — +1, а оранжевая будет -1.

Дальше все варианты факторов комбинируются между собой. Как это выглядит наглядно:

Принцип разделения на факторы и их варианты такой же, как у полнофакторного метода. Но тестируются только некоторые варианты сочетаний. Точность метода ниже, но нужно меньше трафика.

Серым обозначены варианты для дробного факторного теста

Последовательность действий для MVT тестирования совпадает с A/B/n (смотрите подробнее выше):

У обоих видов тестирования есть общие признаки:

Несмотря на сходство у A/B/n и MVT есть значимые отличия:

Провести A/B/n и MVT-тестирование без современных инструментов сложно. В Altcraft Platform доступен вид теста A/B/n для кампаний email, sms, push и других подключенных каналов.

Возможности платформы для A/B/n:

Примеры настройки A/B/n-тестирования в Alcraft Platform