Привет! Меня зовут Дмитрий Власенко. Я junior CRM manager курьерского сервиса Dostavista. Мы активно развиваемся — за август 2020 года у нас было 2 млн доставок по всему миру. Расскажу, как с помощью платформы Mindbox мы хотели активировать базу из 200 тысяч клиентов с email-адресами, но без однозначного согласия на получение рассылок.
Будет много тестов и неожиданных инсайтов. А советами поделятся мои коллеги: marketing director и CRM lead marketing manager.
Мы работаем и развиваемся в 10 странах — проводим много экспериментов с посылом, форматом. Активный спрос с контентной рекламы мы уже собрали, но хотим развиваться дальше. Именно поэтому эксперименты для нас очень важны, еще и потому, что удачные практики из одной страны мы можем раскатать на все. Сейчас мы находимся в стадии обучения: ищем идеальные сочетания каналов и механик для достижения результата. И если один из 10 экспериментов срабатывает — то я считаю, что мы молодцы.
С email мы работаем чуть меньше года. Благодаря тому, что у нас выросла команда CRM, мы сможем уделять больше внимания сбору базы, проведению экспериментов и созданию мультиплатформенных триггеров: email, мобильные и вебпуши.
Зачем тестировали гипотезы
Email-канал мы начали развивать около года назад одновременно с подключением платформы Mindbox. Email-адресов в базе гораздо меньше, чем клиентов вообще: менее 100 тысяч контактов с подтвержденными email-адресами. Так произошло потому, что, с одной стороны, мы хотели максимально облегчить оформление заказа и поэтому не делали поле с email обязательным, а с другой — у бурно развивающейся компании не было достаточно сотрудников для полноценной работы с email-каналом.
Ситуация начала меняться с созданием CRM-отдела. Позже к команде присоединился я — отвечаю за наращивание базы, тестирование гипотез и создание триггерных кампаний. До этого email в основном использовался для транзакционных рассылок.
При этом email-база собиралась независимо от наших усилий: клиенты, которые оплачивают услуги Dostavista картой, указывают email, чтобы получить электронный чек.
На сентябрь 2020 года в базе было 200 тысяч держателей карт — ценный актив, с которым мы в Dostavista раньше не работали. Активировать клиентов решили с помощью скидки на следующий заказ в обмен на подтверждение email’а (double opt-in). Поскольку у нас не было информации о предпочтениях этой аудитории, решили не отправлять рассылку по всей базе, а тестировать разные варианты писем на небольших группах. Предполагали, что это обеспечит бóльшую конверсию в подписчиков.
Я преподаю студентам и всегда говорю, что в CRM есть две главные вещи: путь пользователя, то есть нужное сообщение в нужное время, и тестирование гипотез. Я не очень верю в бенчмарк: то, что работает для одной компании, может не подойти другой. Например, на прошлом месте работы ссылки на примеры рассылок повысили конверсию в подписку, а в Dostavista это не сработало.
Стандартные механики нам вообще не подходят, и лучший способ найти то, что сработает, — провести эксперимент. Благодаря серии тестов на исторической базе мы сможем отправлять актуальным клиентам проверенный макет в оптимальное время.
Самое важное, что получилось, — удалось выстроить диалог с клиентами и получение от них обратной связи. Почти в каждом письме мы проводим опросы — благодаря им формат рассылок поменялся кардинально. У нас также появилась база респондентов для фокус-групп, согласных оценивать новые возможности нашего продукта.
Какие гипотезы проверили
Этап первый: AB-тест тем письма. Разделили участников теста на две группы и отправили каждой промокод на 50% со сроком действия в две недели. Рассылки отличались темой письма.
Гипотеза: тема письма «Скидка за подписку — 50%» окажется эффективнее варианта «Разрешите иногда писать вам?». В качестве целевого действия выбрали open rate.
Гипотеза не подтвердилась. Тема письма, обещающая получателю осязаемую выгоду, оказалась менее эффективной: open rate 25,43% против 25,84%.
Вывод по результатам теста: тема с предложением отправлять письма оказалась эффективнее варианта со скидкой.
Дополнительный инсайт: продлить срок действия промокода до одного месяца. За две недели подписчики не успели им воспользоваться — конверсия в заказ достигла скромных 0,05%.
Этап второй: мультивариативное тестирование макетов письма. Разделили группу на 8 частей и каждой отправили свой вариант дизайна.
Конкретной гипотезы не было — хотели проверить все варианты. В качестве целевого действия выбрали клик на кнопку «Подписаться» в письме. Отслеживали не click rate (отношение кликов к отправленным письмам), а CTOR (отношение кликов к открытым письмам). CTOR показывает более точную картину, так как размеры выборок могут немного отличаться. Погрешность невелика, но на маленьких цифрах Dostavista всё-таки заметна.
По результатам теста победил третий вариант:
Вывод по результатам теста: текст письма должен быть максимально коротким, без отвлекающих элементов, например таймера или дополнительных ссылок.
Дополнительный инсайт: баннер с размером скидки повышает CTOR.
Этап третий: мультивариативное тестирование времени отправки. До проверки гипотез массовые рассылки отправляли по пятницам — так исторически сложилось. Решили изучить, как на CTOR повлияет день недели и время отправки.
Протестировали понедельник, вторник, среду и четверг: 8:30 (дорога на работу), 12:00 (время перед обедом), 16:00 (полдник), 18:30 (дорога домой) и 21:00 (время дома). Часовые пояса не имели значения: большинство клиентов в базе из Москвы и Санкт-Петербурга.
Среди 20 вариантов самый высокий CTOR оказался у письма, отправленного в четверг в 21:00.
Вывод по результатам теста: самое эффективное время для отправки писем — поздний вечер четверга.
Этап четвертый: мультивариативное тестирование вариантов скидки. Разделили участников теста на пять групп и каждой отправили свой вариант скидки: 45%, 49%, 50%, 53% и 55%.
Гипотеза: некруглая скидка выделит стандартное письмо с промокодом и привлечет внимание читателя — выше вероятность, что он совершит целевое действие.
Гипотеза подтвердилась. Самый высокий CTOR был у письма с 55% скидкой. Этот результат предсказуем: самая высокая скидка в тесте. Неожиданным оказалось, что второе место с минимальным отрывом в 0,06% (3,65% против 3,71%) заняла скидка в 49%, то есть четвертая по размеру.
Вывод по результатам теста: размер скидки должен быть нестандартным — не нужно её округлять.
Этап пятый: AB-тест скидки в 55% против 49%. Поскольку в предыдущей итерации скидка в 55% победила с минимальным отрывом, решили провести тест повторно.
Гипотеза: скидка в 55% окажется эффективнее меньшей скидки в 49%.
Гипотеза не подтвердилась. Оказалось, что CTOR со скидкой в 49% выше: 3,09% против 2,69%. Этот результат можем объяснить только эффектом неожиданности.
Вывод по результатам теста: чем нетривиальнее скидка, тем выше CTOR — можно предлагать клиентам меньшую скидку, но в неожиданном виде.
Результаты тестирования и дальнейшие шаги
Раньше у нас не было ресурсов на проведение тестов в рассылках — время отправки, например, зависело от готовности рассылки. Благодаря серии тестов мы получили много инсайтов. Так, для реактивации стоит использовать нетривиальную скидку, письма должны быть короткими и отправляться в определенное время.
Важно, что у нас в Dostavista есть возможность тестировать гипотезы и спокойно принимать неудачи. Так, первая итерация теста показала очень низкую конверсию в заказ — мы сделали выводы и продлили срок действия промокода в два раза.
Средний CTOR в тестах колебался на уровне 3%. В результате из 120 тысяч получателей только 3 тысячи подписались на рассылки Dostavista. Это ниже, чем мы ожидали. Следующий этап: понять, как увеличить этот показатель — для этого планируем провести RFM-анализ тех, кто не подписался.
Тем не менее результатами тестирования мы довольны: удалось получить несколько важных инсайтов. В базе клиентов, указавших свой email при оплате картой, осталось 80 тысяч человек (и это число постоянно растет) — им отправим наиболее эффективный вариант письма в лучшее время.
Следующий шаг — при ближайшем заходе на сайт показать неподписавшимся клиентам попап: подтвердить согласие можно будет, нажав одну кнопку. Мы уже провели тест попапа — он показал высокую конверсию в подписку: 67%.
Я считаю, что тесты нужны всем, у кого есть email-рассылки. Проверку гипотез надо воспринимать как учебу в школе: это позволяет понять, какие подходы не работают и не наступать на одни и те же грабли. С расширением штата мы будем уделять больше внимания проверка гипотез в email-канале.