А/В -тесты и примеры реализации в рассылках Mailchimp, в рекламе Facebook и прочих продуктах

А/B-тестирование - это эксперимент, который проводится на интернет-сайте, мобильном приложении с целью подтвердить гипотезы по оптимизации потенциальных улучшений в сравнении с исходной версией (оригиналом). Оно позволяет увидеть, что работает для аудитории вашего продукта, основываясь на статистическом анализе эффективности.

А/B-тестирование позволяет сравнить существующую версию страницы с новыми вариантами для оптимизации, которые мы хотели бы протестировать (CTA, название, элемент и т.д.).

Посетители делятся на равные части и повергаются различным вариантам тестирования с целью определить вариант, который лучше всего подходит для поставленной вами цели (вход, клик, добавление в корзину, …), то есть чей процент конверсии является лучшим. Затем данные подвергаются анализу и сравнению для того, чтобы определить возможны или нет изменения, которые вы хотите реализовать.

Как и любой другой инструмент А/В- тестирование опирается на процесс и строгую методологию для определения идей и концентрации на наиболее обоснованных А/В-тестах.

Каждая компания развивает свой собственный процесс, но в общем он похож на это:

- измеряйте и анализируйте данные вашего сайта для определения областей оптимизации и возможностей роста;

- сформулируйте одну из гипотез оптимизации;

- расставьте приоритеты ваших идей А/В-тестирования: одна их наиболее часто используемых методик фреймворк приоритизации - PIE, созданная Widerfunnel.

Благодаря этой системе вы сможете классифицировать ваши идеи тестирования в соответствии с тремя критериями оценки по шкале от 1 до 10, чтобы определить с какой (или каких) из них следует начать.

- проведите А/В-тестирование наиболее важных гипотез

- анализируйте и изучайте результаты ваших А/В-тестов

- поделитесь вашими результатами внутри компании для обсуждения и обмена мнений.

Как провести А/В-тесты в email-рассылках, если вы никогда этого не делали? Отправьте два варианта письма двум группам подписчиков. В зависимости от цели теста (увеличение открытий, переходов, продаж) оцените, какой вариант победил. Письмо с лучшими показателями отправьте остальным. Звучит просто, но на деле тест легко испортить и прийти к неправильным выводам. А это ухудшит показатели рассылки. На старте воспользуйтесь советами “матёрых” А/В-тестировщиков:

• Тестируйте все виды писем: рекламные, транзакционные и автоматические. Так вы сможете лучше понять, что нравится подписчикам, и откорректировать свою email-стратегию.
• В первую очередь тестируйте ключевые элементы письма: тему, призыв к действию и изображения. Если с ними всё ок, переходите к менее значимым элементам.
• Определите, какого максимума вы хотите достичь тестом — локального или глобального.
• Тестируйте один элемент, чтобы правильно оценить результат.
• Сформулируйте цель теста и после этого решайте, какие элементы нужно протестировать.
• Оценивайте не только поверхностные показатели вроде открытий и переходов. Двигайтесь глубже по воронке: смотрите на регистрации и продажи.
• Используйте одинаковые группы подписчиков для проверки гипотезы.
• Следите, чтобы обе группы подписчиков были активными.
• Используйте специальные онлайн калькуляторы Kissmetrics, AB Testguide, и Optimizely, чтобы оценить значимость полученного результата.
• При каждом тестировании учитывайте результаты подписчиков, которые не получили письмо. Так вы сможете оценить эффект от письма в целом. Такие группы особенно нужны при тестировании автоматических писем. Например, вы планируете запустить серию писем о брошенных корзинах. Одна из тестовых групп — подписчики, которые оставили товары в корзине, но не получили письмо о брошенной корзине. Результаты теста покажут, как меняется поведение разных групп подписчиков. Возможно, письма о брошенной корзине раздражают подписчиков и их лучше вообще не отправлять. Так мы проверим, как письмо влияет на подписчиков: позитивно или негативно.
• Создайте план A/B-тестов. Отмечайте, когда, что и зачем будете тестировать. Записывайте результат.
• Первый результат теста не всегда показательный. Проверьте гипотезу ещё несколько раз, чтобы понять её значимость.
• Расскажите о результатах теста команде. Возможно, эти данные можно будет использовать для других рекламных кампаний.

Прежде чем начинать, вам необходимо подготовить фундамент, который необходим в принципе для любой маркетинговой кампании. Для начала, вам нужно понять кому вы продаете. Необходимо определить персоны ваших покупателей, которые помогут вам определиться с контентом — исходя из возраста, пола, местоположения, образования, источников информации и ключевых проблем ваших клиентов. Стоит отметить, что ваши подписчики не являются единой однородной группой. Они, вероятно, будут иметь разные интересы и будут на разных этапах своего взаимодействия с вами. Вот почему имеет смысл сегментировать ваш список адресов электронной почты, чтобы вы отправляли нужные сообщения нужным людям в нужное время.

Сегментировать базу контактов можно разными способами. Email-маркетологи чаще используют эти шесть:

• По активности. Рекомендуют: всем.
• По предпочтениям. Рекомендуют: интернет-магазинам, офлайн- и онлайн-сервисам.
• По жизненному циклу. Рекомендуют: всем.
• По возрасту и полу. Рекомендуют: интернет-магазинам одежды, обуви и аксессуаров.
• По географии. Рекомендуют: всем компаниям, чьи предложения зависят от географии клиентов.
• На основании RFM-анализа. Рекомендуют: всем, у кого хватит аналитических ресурсов.

Задача, которую требовалось решить — улучшить ключевые метрики Email-рассылки:

• Снизить Bounce rate (процент отказов).

У любой Email базы вероятнее всего есть пользователи, которые сохранены с некорректным адресом, логично, что письма до них никогда не дойдут. Так же они могут появиться по ошибке (если при вводе адреса пользователь опечатался) или специально, когда человек не хочет оставлять свой Email, но это зачем-то требуется.

Снизить Bounce rate можно, проверив корректность емейлов. Это называется валидация. Есть разные сервисы для валидации — их несложно найти в поиске. Они не дают 100% гарантии, и у вас может быть какой-то незначительный bounce, но уже не такой критичный.

Результат: У аналогичной рассылки без чистки базы Bounce rate был 0,9%. После валидации он уменьшился в 3 раза до 0,3%.

• Повысить Open rate (открываемость писем).

Каждый пользователь ежедневно получает десяток рекламный предложений и различных писем, будь то по работе или личная переписка. Как привлечь внимание именно к вашему предложению? Что пользователь видит в почте сразу? Имя отправителя и тему письма. Это то, что вызывает у него интерес и помогает понять: стоит ли читать дальше. Множество кейсов говорит о том, что письма, где в имени отправителя указано реальное имя человека, открываются чаще, чем те, где просто указано название компании. Они воспринимаются как более личные и менее рекламные. Также время отправки письма — это частая тема для споров емейл-маркетологов. Самый популярный совет — вечер четверга. Но ирония в том, что из-за популярности этого совета количество писем, отправляемых вечером в четверг, значительно увеличилось. Лучший вариант понять, когда лучше проводить рассылку — А/Б тест на своей аудитории. Разделите её на две части и отправьте одно и то же письмо в разное время.

• Повысить CTR (переходы по ссылкам).

Увеличение открываемости писем бессмысленно, если потом по ним не переходят на сайт, не покупают или не совершают любое другое действие, которого вы ждёте. Тут уже необходимо работать с содержанием письма.

Как этого можно добиться:

· Валидировать Email базу;

· A/B тест имени отправителя;

· A/B тест темы письма;

· A/B тест времени отправки;

· A/B тест вёрстки письма.

A/B-тестирование на Facebook можно проводить разными способами, зависимо от тестируемой переменной и места создания тестирования. Facebook рекомендует создавать A/B-тестирование с помощью панели инструментов Ads Manager, которая использует текущую рекламную кампанию в качестве шаблона для вашего теста. В основе всех A/B-тестирований лежит одна и та же технология, позволяющая сравнивать разные креативы, аудитории или места размещения и определять наиболее результативные из них. По завершении тестирования его результаты будут доступны на странице "Тесты и результаты". Во время сплит-теста Facebook берет одну аудиторию и делит ее на равные пропорции. Так, если у вас будет 4 разных теста, их увидят не одни и те же люди, а разные люди, но из одной группы. И на основе красивой и честной статистики можно будет выбрать тест-победителя. Facebook выбирает пользователей случайно, он просто перемешивает всю аудиторию и сортирует на группы. Под каждое объявление он создает отдельную группу объявлений, при этом настройки одинаковые, а люди в них не пересекаются.

Вывод: нужно тестировать все свои гипотезы, иначе это всего лишь ваши предположения, а не предпочтения или боль ваших потенциальных клиентов.