Growth Hacker платформы персонализации для интернет-магазинов Retail Rocket Павел Беспалов рассказал о процессе и результатах A/B-тестирований триггерных писем.
Просто запускать автоматизированные email-кампании недостаточно. Как и в любом другом маркетинговом инструменте, здесь есть огромные просторы для оптимизации.
Подумайте, пробовали ли вы когда-нибудь провести простейший тест. Например, проверить, когда эффективнее отправлять «брошенную корзину» — через 30 минут или через час? Какой заголовок, текст, CTA? Сколько ещё гипотез для тестирования можно с ходу придумать?
В Retail Rocket мы ежедневно проводим десятки A/B-тестов по проверке гипотез оформления писем в триггерных email-рассылках, преследуя главную цель — увеличение выручки интернет-магазинов.
Сегодня мы поделимся результатами работы с интернет-магазином игрушек и товаров для детей Toy.ru.
Работа проводилась методом A/B-тестирования, в котором все получатели писем случайным образом делятся на два сегмента. Сегменту А отправляется исходная версия письма, сегменту В — письмо с изменением-гипотезой, которое должно повысить эффективность рассылок.
Первый кейс. Оптимальное время для отправки триггерных писем
Время отправки — один из вечных вопросов, которым задаются email-маркетологи. С одной стороны нужно вовремя напомнить пользователю о брошенном в корзине товаре или помочь с выбором, подогреть интерес и мотивировать совершить покупку.
С другой — магазину важно не быть назойливым и не надоедать навязчивой рекламой. Поэтому одна из самых распространённых гипотез в тестировании email-кампаний — время задержки отправки письма.
Гипотеза
Сокращение временной задержки отправки писем до 20 минут не только положительно повлияет на Open Rate без ущерба для других ключевых показателей письма, но и повысит мотивацию к покупке и, как следствие, ко всем целевым действиям, связанным с письмом.
Результаты
Второй кейс. Удаление меню с товарными категориями из хедера письма — акцентирование внимания на товарах
Разрабатывая дизайн рассылок, важно задумываться о том, как пользователи воспринимают каждый элемент письма в отдельности и все в совокупности. Что помогает вести подписчика, а что отвлекает его внимание.
Когда шаблон оказывается перегружен деталями или, наоборот, конверсионных элементов недостаточно, вероятность, что пользователь перейдёт по ссылке, гораздо меньше. Важно направить внимание пользователя на кнопки и ссылки, которые с наибольшей вероятностью приведут к конверсионному действию.
Поэтому мы решили протестировать удаление ссылок, ведущих на информационные разделы сайта, в сценариях, где нужно лишь слегка подтолкнуть пользователя к завершению оформления заказа, например, в «Брошенной корзине».
Гипотеза
Меню в хедере письма каннибализирует часть кликов у блока товаров из корзины, при этом его элементы ведут на не конверсионные ссылки. Внимание пользователя рассеивается, и он с меньшей вероятностью совершит покупку.
Результаты
В тестировании приняло участие более 12 тысяч человек.
Третий кейс. Увеличение количества товаров в блоке рекомендаций
Персональные рекомендации — признанная всем рынком сильная сторона Retail Rocket. Для максимизации их эффективности мы обязательно тестируем блоки товарных рекомендаций в триггерных рассылках наших клиентов.
Разные дети любят разные игрушки, а значит, их родители наверняка хотели бы иметь больше выбора в рамках письма, поэтому мы решили увеличить количество товаров в блоке рекомендаций сценария «Брошенный просмотр» в два раза — с шести до 12 позиций.
Гипотеза
Увеличение количества товарных карточек в письме позволит увеличить кликабельность.
Результаты
Четвёртый кейс. Внедрение в товарные карточки элемента «Куплено сегодня» — использование принципа социального доказательства
Принцип социального доказательства — психологическое явление, которое мы довольно часто используем при построении гипотез. Не секрет, что люди доверяют мнению других людей, и чем больше положительных реакций (отзывов, оценок и так далее) есть у товара, тем сильнее желание нового пользователя совершить покупку. Один из способ использования принципа социального доказательства — внедрение элемента «Куплено сегодня».
Гипотеза
Добавление в товарную карточку элемента с количеством купленных за сегодня товаров повысит интерес пользователя за счёт уже проявленной заинтересованности в этих товарах других людей, то есть создаст ощущение востребованности.
Результаты
В тестировании приняли участие более 140 тысяч человек.
Пятый кейс. Внедрение в шаблон письма CTA-элемента «Показать ещё» — эксплуатация принципов гештальтизма
При построении гипотез наши Growth Hacker используют различные направления психологии, в том числе принципы гештальтизма. Для создания этой гипотезы были использованы основные идеи гештальт-психологии — проявления (формирование целостного образа из простых визуальных паттернов) и воплощение (дополнение воспринимаемого образа до действующего визуального стереотипа).
Добавление элемента «Показать ещё», который имитирует ряд товарных карточек со скрывающим их градиентом, позволяет воспринимать этот элемент как продолжение блока товарных рекомендаций и создает эффект незавершенности.
При клике на элемент пользователь ожидает, что по элементу «Показать ещё» увеличится количество отображаемых карточек, то есть срабатывает пользовательский стереотип.
Гипотеза
Элемент «Показать ещё» добавляется после блока товарных рекомендаций и копирует оформление товарных карточек. Согласно постулатам гештальт-психологии, его визуальная реализация эксплуатирует незавершённость образа и пользовательские стереотипы взаимодействия с сайтом.
Результаты
Спасибо Retail Rocket за плотное и плодотворное сотрудничество по улучшению качественных показателей в работе с триггерными письмами. Даже незначительные изменения при проведении А/Б-тестирования существенно повышают конверсию. Благодаря этому наш магазин получает дополнительную прибыль с того же объёма отправленных триггерных писем. Но работа на этом не останавливается, впереди ещё много этапов повышения конверсии и продаж с триггеров.
маркетинг начинается прямо в подсчетах и дельте. Вы берете процентный рост от уже процентного значения. мне кажется это некорректно и неуважительно по отношению к читателям. Цифры получаются красивыми, но методика странная. был 1%, стало 1,5%. математически рост - 0,5%, а у вас в таком случае - 50%. это очковтирательство
| был 1%, стало 1,5%. математически рост - 0,5%, а у вас в таком случае - 50%. это очковтирательство
Это не очковтирательство, это математика.
Просто не надо путать проценты и процентные пункты. Процентный рост, что логично, всегда считается именно таким образом как в статье.
Например возьмём три ситуации: 1) изменение значения CTR c 2% на 4%; 2) изменение значения CTR c 22% на 24%; 3) изменение значения CTR c 80% на 82%;
По вашей логике во всех ситуациях "Рост 2%", но на самом деле в третьем случае рост 2.5%, во втором 9%, а в первом 100%.
Не важно на сколько процентных пунктов изменилось значение CTR, важно насколько больше людей кликает. В первом сценарии людей в два раза больше, чем было.
subst, это старая шутка с процентами, где рост от 1 покупки до 5-ти покупок объявляется ростом на 500%
А сам кейс интересный - в части масштабности проведенного тестирования.
Но нет ни погрешностей ни "серой зоны" где не сработали маркеры - а она должна быть, обязательно.
ну тоесть например а/б тест в а-сценарии кликнуло 5 человек из 100, CTR 5%. в б-сценарии 7 из 100, CTR 7%. Рост CTR = 2 из 100 или 2%. А вы считаете что рост в этом случае будет 5/7*100%=71% )))
если заказчик схавал такие цифры и у него не возникло вопросов, то тут уже наверно ничем не поможешь.
исследование возможно и хорошее, но вот эти маркетинговые трюки с отчетностью умножают его ценность на ноль.
Не 5/7, а 2/5 (разница на изначальный максимум) - итого дельта = 40%.
Такая же дельта будет, если цифры будут не 5 и 7, а 50 и 70.
Т.е. вопрос масштаба и динамики, а не просто количества в вакууме.
Да, тоже обратил на это внимание.
И про conversion rate неясно - клики это одно, покупки это другое.
Conversion rate продажи 10% от простой напоминалки про брошеный товар - это фантастика.
Особенно для тех, кто добавил в корзину без регистрации, и ему/ей некуда отправлять напоминалку :)
Да, conversion rate - это именно конверсия в покупки.
Обычно показатели конверсии у рассылок, упомянутых в статье, от 5 до 20% в зависимости от сценария.
Но отправить письмо, конечно, можно только если известен адрес :)
1 из 10 бежит покупать из-за письма?
Я конечно слышал про клиповое мышление и память как у золотой рыбки (5 сек, на самом деле у рыбок все лучше), но как так получается - что я хожу по Интернет магазину, выбираю, складываю в корзину, сваливаю ...
и потом стоит мне напомнить - все же покупаю?
То есть, если не напоминать, то никогда больше (ни через день, ни через неделю) я не вернусь в этот магазин, и не оформлю заказ?
Или они именно про _такой_ conversion rate, который по письму, а что там в принципе с продажами их как бы не волнует. Потому что можно человек захлестать нафиг этими "подстегиваниями", и например - отложить его/ее следующую покупку и "Я отписываюсь нафиг, задолбали".
P.S. В этих историях успеха-ха-ха-ха, как-то лучше всего воспринимается текст, в котором есть и сомнение в себе, и рассмотрение бОльшего количества поведенческих сценариев. А не просто - пришел, увидел, нафлудил ... все такие ломанулись покупать, вот оно счастье.
Комментарий удален модератором
Комментарий удален модератором
Время от времени покупаю что-то в Internet магазинах, ну как и все.
Товарные таблички в рассылках - честно, надоели, не катят.
Ужимки и прыжки маркетологов, впендюривающих товар, в покупке которого люди не до конца уверены - скорее смешат, ну так широко улыбают :)
Ребята! Если мне это надо - я куплю! Правда-правда! Либо уже купил - но дешевле и/или ближе к дому, или с более выгодной доставкой. Не надо теребонькать и маячить :(
По странной иронии, в рассылку ставят что угодно, кроме того что тебе реально хочется купить и ты ждешь - допустим - снижения цены или акции. Также, когда решился и покупаешь - часто тупят с заказом или выясняется что нужного цвета / исполнения = нет, и при этом продолжает валиться рассылка и напоминания про корзину. Устал от этого всего. У Вас забыт в корзине красный насос, его нет на складе ... так вот Вам в письме 50 видов колес по акции!
В-целом, за 2017 год хорошо сработал
• Ситилинк - вежливо напомнил про забытый в корзине товар, однократно.
Я и не собирался забывать, просто купил чуть позже, на пару дней.
Но для ситуации _случайно_ закрытой вкладки - такая вежливость очень радует.
• безумно сработал Eset Nod 32 -
1. Засылая заранее кучу уведомлений "Ваша лицензия вот-вот закончится",
2. После оформления заказа, без оплаты - еще посыпалось - ой-ой-ой-ой, как же так.
3. Adwords стал многократно показывать "Вы кажется забыли завершить заказ Eset!".
4. В день окончания старой лицензии оплатил продление (были преценденты раньше, что оплата заранее уменьшала срок действия)
5. Adwords не унимался еще 5 дней, продолжая показывать "Незавершенный" заказ.
Да, уточню - Adwords стал преследовать на всех сайтах, как приставучий канючащий попрошайка - т.е. _весь Internet_ на эти 5 дней превратился в подмигивающий и зазывающий Eset Nod 32 с незаконченным заказом, я видел квадратные баннеры, текстовые, прямоугольные - какие угодно.
Конечно это лучше чистого нейромаркетинга. Но надо обозначать объем выборки писем которые использовались для анализа, были ли исключены сезонные факторы, ценовые, черные пятницы, выходные-будни, время дня, месяц, праздники, другие источники рекламы.
Станислав, A/B-тестирование проводится на всем объеме отправляемых писем, поэтому, все сезонные, ценовые и другие факторы одинаково влияют на оба сегмента. Тесты проводятся в течение определенного промежутка времени до достижения статистической значимости, в том числе чтобы нивелировать эффект новизны
Комментарий удален модератором
Комментарий удален модератором
Комментарий удален модератором
Комментарий удален модератором
Интересно, что некоторые комментарии "минусуют". Я считаю, что каждый по "своему прав" в своих высказываниях. Видимо не каждый может достаточно точно сформулировать свои мысли, при том, что понимание ситуации действительно имеется :)
Однако, самое важное, чтобы были не только красивые цифры. Важно, чтобы был в дальнейшем результат.
При этом, если ведем речь именно о тестировании, как в статье, то все цифры указаны верно. Если бы речь шла о подсчете реального результата, то следовало бы применять иные способы подсчетов.