17+ гипотез для сплит-тестирования в email-рассылках

Меня часть спрашивают, что лучше работает в email-рассылках. Письма с какими темами чаще открывают, где разместить кнопку с призывом к действию, какого цвета её сделать, во сколько лучше отправить рассылку и т.д. Но единственно верного ответа на все эти вопросы нет, так как на разных аудиториях срабатывают разные приёмы. Поэтому любой такой вопрос следует превращать в гипотезу и тестировать с помощью A/B-рассылки.

Гипотеза - это предположение о том, как то или иное изменение повлияет на конечный результат. Для того, чтобы выдвинуть гипотезу надо четко сформулировать задачу. Например, принесет ли дополнительные клики добавление таймера обратного отсчета в макет письма? Сервис DashaMail позволяет автоматически протестировать практически любую гипотезу и получить подтверждение или опровержение выдвинутого предположение.

Суть A/B-рассылки заключается в том, что тестируемые версии отправляются на часть базы. Затем анализируется статистика по каждому варианту и рассылка-победитель отправляется остальным подписчикам:

Сервис DashaMail позволяет проверять одновременно несколько параметров рассылки: тема, имя отправителя, макет письма и время отправки. Причём каждый параметр тестируется отдельно, и можно понять что именно сработало. Главное не переборщить с количеством тестовых сегментов и правильно выбрать победителя, так как разные изменения влияют на разные показатели статистики. Например, тема, имя отправителя и время проведения рассылки в первую очередь сказываются на статистике открытий, а макет - на кликах. Однако победителя А/В-рассылки можно выбирать и вручную на основании более сложных метрик, например, таких как продажи, CTOR и т.д. Какие же именно гипотезы стоит в первую очередь протестировать?

Чаще всего тестируют тему рассылки, ведь она позволяет значительно повысить конечную конверсию всей email-кампании. В связке с ней также полезно проверять еще и работу прехедера. Это первая текстовая информация письма, которая отображается в большинстве почтовых программ рядом с темой еще до открытия письма.

Для проверки гипотез, связанных с формулировкой темы, достаточно наименьшего количества подписчиков в тестовых сегментах, так как победитель выбирается на основании статистики открытий, а она в среднем составляет 10-30%. Ведь при проведении любых сплит-тестов важно помнить о том, что не всякий результат статистически достоверен. Отличия в показателях могут быть связаны просто с математической погрешностью. Чтобы понять можно ли доверять полученному результату и рассчитать минимальное количество подписчиков для проверки гипотезы, можно воспользоваться калькулятором сплит-тестов.

Какие же гипотезы чаще всего тестируют в теме письма?

Для тестирования последней гипотезы в сервисе dashamail есть даже специальный инструмент, который называется Gestalt-функцией. Подробнее о его работе я рассказывала в статье. Идея заключается в том, что люди лучше реагируют на темы, имеющие некий эмоциональный окрас. При этом разные люди по-разному взаимодействуют с разными эмоциями. Сервис изучает паттерны поведения каждого подписчика и отправляет каждому рассылку в то время и с той темой, которая с бОльшей вероятностью приведет к открытию.

Значительное влияние на статистику открытий оказывает еще и строчка “От кого”. Это может быть название компании, бренд, имя автора рассылки или имя и бренд вместе. Тестирование имени отправителя лучше проводить сразу при запуске email-маркетинга. Если вы всегда отправляли рассылки от одного имени и вдруг решили протестировать другое, то рост в статистике открытий для нового варианта может быть связан просто с самим фактом внесения изменений. Зачастую при проведении таких сплит-тестов, вариант с непривычным для подписчиков именем отправителя показывает не только большее количество открытий, но и увеличение в статистике отписок и жалоб на СПАМ. Поэтому желательно проводить такие тесты только на новых подписчиках, которые ранее еще не получали ваши письма.

Определить наиболее удачное время для проведения рассылки можно тоже в пару кликов с помощью функционала А/В-рассылки в сервисе DashaMail. Для этого вы создаете сплит-тест на 100% базы с проверкой только времени отправки. В результате вы получите наглядный отчет со статистикой по каждой тестовой рассылке:

Но тестировать только время отправки недостаточно. Имеет смысл также проверить и разные дни недели. Помните, для получения достоверных результатов рассылка должна уходить всегда одна и та же и на равнозначные тестовые сегменты. Для решения этой задачи в сервисе DashaMail можно воспользоваться функцией плавной отправки. Она автоматически растянет рассылку на несколько дней.

Наиболее удачное время отправки в разные дни может отличаться. Особенно это касается разницы между буднями и выходными. Поэтому логично сначала протестировать дни недели, а затем внутри них протестировать еще и разное время суток.

Пожалуй, больше всего гипотез можно выдвинуть именно в отношении макета письма. Но для их проверки нужно иметь и большие тестовые сегменты. Ведь победителя в таких A/B-рассылках следует определять по статистике кликов, а она обычно варьирует около 1-5%.

Что же можно проверить?

При тестировании любой гипотезы стоит опираться не только на общие метрики в статистике по рассылке, но и помнить о достижении нужного вам KPI. Например, OR в выходные может быть значительно ниже, чем в будни, но CTOR и продажи окажутся в разы выше. Поэтому при подведении итогов A/B-тестирования смотрите глубже, обращайтесь к данным вашей внутренней аналитики. Чтобы вам было проще это делать, в сервисе DashaMail есть возможности автоматически проставлять уникальные utm-метки во все тестовые версии A/B-рассылки.

Я рассказала о классических сплит-тестах, которые можно быстро провести и проанализировать (зачастую автоматически). Но существуют также гипотезы, которые требуют более основательного подхода. Так, например, имя отправителя может влиять не только на статистику открытий, но и на продажи. Причем продажи не быстрые, а с длинным циклом сделки. Т.е. анализ продаж из одного письма при проведении сплит-теста имени отправителя не даст ответ. Так для сферы услуг часто рекомендуют (и я тоже) использовать в рассылке автора и отправлять письма от его имени. Это создает ощущение личного знакомства, что, как следствие, с большей вероятностью приводит к продаже, нежели коммуникация от имени компании. По сути речь идет о тестировании уже не просто параметров рассылки, а разных маркетинговых стратегий. Для проведения подобных сплит-тестов необходимо разбивать базу на однородные сегменты и работать с ними отдельно в течение длительного периода времени, анализируя затем достижение KPI по каждой группе подписчиков отдельно: вовлечённость, продажи, отписки и пр. Такой подход позволяет также определиться с частотой рассылок, с пропорцией между продающими и контентными письмами и многим другим.

Не бойтесь экспериментов. Выдвигайте гипотезы, тестируйте их, анализируйте результаты и улучшайте свои показатели изо дня в день!