Нейросети пока плохо пишут тексты, а что насчет заголовков? Экспериментируем с рассылкой Sendsay

В email-рассылке тема крайне важна и маркетологи много времени тратят на ее создание. Вот мы и подумали, а могут ли нейросети взять на себя эту задачу? Чтобы это выяснить, мы взяли 3 нейросети и провели эксперимент, результатами которого делимся в статье.

Привет! Это редакция Sendsay – сервиса автоматизации общения с клиентами в почте, мессенджерах, мобильных и Web Push-уведомлениях.

Сейчас настоящий бум нейросетей, поэтому мы не смогли пройти мимо и решили протестировать их возможности в email-рассылке. Для этого мы решили провести эксперимент:

• взяли 3 нейросети и попросили сгенерировать разные темы
• выбрали 2 наиболее подходящих и провели A/B-тест, чтобы понять, какая из них больше понравится аудитории
• письмо с лучшей темой отправили по оставшейся базе
• собрали статистику по рассылке и сравнили ее с предыдущими

Сразу оговоримся, что мы не спецы в работе с нейросетями, нам просто хотелось провести эксперимент 👀

Для теста мы взяли нашумевший ChatGPT версии 3.5, русскоязычный Gerwin и нейросеть TurboText – у них есть инструменты для создания заголовка.

Как получить доступ к этим нейронкам

• ChatGPT – использовать бесплатный бот в Discord. Чтобы его подключить, нужно зарегистрироваться в Discord, создать собственный сервис и добавить в него ChatGPT из списка авторизованных ботов.
• Gerwin – зарегистрироваться на сайте сервиса. Пользование платное, но при подписке на бот в Телеграме, можно получить промокод на бесплатную обработку 10 000 символов.
• TurboText – без регистрации доступно 5 генераций в день, если надо больше, то можно купить платную версию с 200 генерациями.

Текст рассылки, для которой нужен заголовок, выглядел так 👇 В письме еще были партнерские блоки, но мы не планировали рассказывать о них в теме. Поэтому нейронкам промо от партнеров не показывали, чтобы не сбивать их с толку.

Проще всего было воспользоваться TurboText, поэтому с него мы и начали эксперимент.

У сервиса есть отдельный инструмент «Генератор заголовков». Он работает просто: загружаете текст и получаете 3 варианта, других настроек нет.

Мы загрузили текст рассылки и получили следующие результаты:

Получилось что-то очень странное. Заголовки не соответствуют тексту, также появились какие-то новые сущности: «Почта России», Екатерина и сайт ladanovamama.ru. Всего этого не было в тексте.

Мы подумали, что нейросеть может сбивать с толку блок о кейсах с указанием почты редактора, поэтому убрали этот кусок и получили следующие варианты:

• Ангелина Андреева подготовила для e-mail рассылки.
• В новом выпуске VC мы подготовили для подписчиков новые статьи.
• Рассылка от имени партнеров.

В этот раз новая сущность всего одна – фамилия Андреева, уже хорошо 😄 Но все равно предложенные варианты нельзя назвать заголовками, они больше похожи на сложенные вместе слова из письма.

Поэтому мы сдались и перешли к следующему сервису.

Читать в блоге: Как подобрать тему письма для email-рассылки, чтобы его открыли: пошаговый алгоритм и 16 интересных приемов

Работа с ChatGPT происходит в режиме диалога с ботом: отправляешь запрос с нужной задачей и получаешь текстовый ответ.

Мы начали с простого запроса: проанализируй текст и придумай 5 заголовков. Но столкнулись с проблемой: у бесплатного бота в Discord всего 2000 символов в ответе. Наше письмо было больше этого объема, поэтому мы сократили текст до основных тезисов так, чтобы не потерялся смысл и осталось место для ответа ChatGPT 👇

Первый запрос сформулировали без подробностей, чтобы оценить возможности нейронки: «Придумай 5 заголовков на русском для этого email-письма». Ответ порадовал!

Уже больше похоже на заголовки, особенно по сравнению с TurboText. Но предложенные варианты скучноваты для рассылки, поэтому мы добавили в описание тональность: «Придумай 5 заголовков списком: 1 заголовок – интригующий, 2 заголовок – полезный, 3 заголовок – смешной, 4 заголовок с вопросом, 5 заголовок с выгодой».

В ответ получили такие варианты 👇

• Что мы пропустили? Свежие статьи и идеи для email-рассылок.
• Как получить максимум от 8 Марта: советы по эффективной email-рассылке.
• Не хотите умереть со скуки? Оживите свои email-рассылки!
• Как лучше общаться с клиентами: email или мессенджеры?
• Получайте больше клиентов с помощью Полезного Маркетинга в телеграм-канале.

Уже намного лучше. Большинство заголовков – емкие и интересные.

Но есть проблема: не все темы отвечают содержанию письма, некоторые из них используют лишь одну идею – 8 Марта или сравнение почты и мессенджеров. Чтобы усилить темы, мы решили добавить требование использовать слово дайджест.

Получилось еще лучше: заголовки стали более конкретными и лучше отражают суть письма.

Читать в блоге: Как писать заголовки для триггерных писем: генераторы тем, формулы и пошаговый алгоритм

Нам сразу понравился первый вариант темы «Тайны весеннего дайджеста: что скрывается в новой рассылке?». Но прежде чем перейти к следующей нейросети, мы решили поиграть немного с тональностью и получили еще несколько интересных заголовков:

• Вы знаете разницу между почтой и мессенджерами? Как это отражается на маркетинге?
• 📣📚👩‍💼 – что это значит? Новые статьи от нашей команды!
• Жизнь без дайджеста – как весна без цветов.

Gerwin – русскоязычный сервис AI-копирайтинга для бизнеса. С его помощью можно писать посты, статьи, тексты для видео, описания товаров и многое другое. У Gerwin есть два инструмента, которые нам подходят: создание обычного и кликбейтного заголовка для статьи.

У каждого из них есть 3 настройки:

• тема – в 100 символах нужно описать содержание статьи, для которой нужен заголовок
• тон заголовка – позитивный, шутливый, остроумный и прочее
• язык – русский, английский и другие

Искать наиболее понятный вариант формулировки темы пришлось методом перебора. Так, мы начали с самого простого: «Дайджест статей из блога про email-маркетинг» и сгенерировали несколько вариантов в разной тональности:

Заголовки получились не очень: длинные и без конкретики.

Мы решили уточнить содержание дайджеста, чтобы нейронке было за что зацепиться. Тему сформулировали так: «Дайджест. 3 статьи из блога: про рассылки на 8 Марта, авторассылки и мессенджеры». Стало хуже:

• Максимально используйте 8 Марта с помощью автоматических рассылок и мессенджеров!
• Празднование женского дня с помощью автоматических рассылок и мессенджеров – дайджест 8 Марта

Нейронка явно не понимала, что речь идет от трех разных статьях. Тогда мы поменяли запрос, сделав более полное описание. Однако уложить подробное описание в 100 символов очень непросто 😅

В итоге написали так: «Рассказ про 3 статьи из блога о email-маркетинге: про 8 Марта, про авторассылки, про мессенджеры». И стало намного лучше:

• Изучение стратегий маркетинга электронной почты: узнайте об автопотоках, мессенджерах и многом другом.

• Раскрываем секреты email-маркетинга: 3 увлекательные статьи для прочтения!

Учитывая, что инструмент создан для создания заголовков к статьям, мы поняли: вряд ли получим что-то стоящее для рассылки. Поэтому выбрали более или менее подходящую тему «Будьте в курсе тенденций email-маркетинга с дайджестом блога». И перешли к следующему шагу эксперимента.

Читать в блоге: Гайд по контенту для писем: пишем текст, правильно его оформляем и придумываем тему

Итак, дальше по плану нужно выбрать 2 лучшие темы из сгенерированных и запустить А/В-тест, чтобы узнать, какая из них больше нравится нашим подписчикам. С помощью нейросетей мы получили десятки тем, из которых выбрали 9 наиболее подходящих для нашей рассылки:

• из TurboText – 0,
• из Gerwin – 1,
• из ChatGPT – 8.

Из общего списка оставили две самые эффективные на наш взгляд темы 👇

Дальше мы перешли к А/В-тестированию – это маркетинговый метод, который помогает выбрать один из двух вариантов, опираясь на фактический опыт, а не на предположения.

В нашем случае мы не знаем, какая тема понравится читателям больше: интригующая или тематическая весенняя. Поэтому мы решили провести тест на небольшой части аудитории. Для этого делаем следующие шаги:

• берем 10% от всей базы подписчиков и отправляем им письмо с одной темой;
• берем следующие 10% и отправляем им письмо с другой темой;
• ждем несколько часов и смотрим, какое письмо пользователи открывали чаще;
• статистически лучшее письмо отправляем остальным подписчикам.

Таким образом, мы получаем фактические знания о том, какая тема сработает лучше, и именно ее отправляем основной массе подписчиков. Этот метод помогает избежать субъективной оценки email-маркетолога и понять реальные предпочтения аудитории.

Реализовать такое тестирование можно с помощью сервиса рассылки Sendsay. В нем есть встроенная функция А/В-тестирования, которая все сделает сама: выберет подписчиков для теста, отправит им письма, проанализирует результаты, выберет лучшее письмо и отправит его остальным подписчикам. Все, что нужно – создать письмо, указать нужный параметр теста и правила выигрыша.

Мы задали следующие настройки:

• 10% получат письмо с темой «Жизнь без дайджеста – как весна без цветов»;
• другие 10% – с темой «Тайны весеннего дайджеста: что скрывается в новой рассылке?»;
• проверить результаты через 4 часа и письмо с лучшей открываемостью отправить оставшейся базе.

В интерфейсе Sendsay настройки теста выглядят так 👇

В Sendsay можно в реальном времени следить за показателями тестовых рассылок, поэтому мы с интересом следили за борьбой заголовков 😄 Сначала уверенно лидировала тема про жизнь без дайджеста, но ближе к завершению теста вторая тема стремительно догнала первую по основным показателям.

Читать в блоге: Как провести тестирование писем для email-рассылки – сервисы и рекомендации

В результате с небольшим отрывом победил заголовок «Тайны весеннего дайджеста: что скрывается в новой рассылке?». Эту тему открывали примерно на 1% чаще, также люди больше кликали по ссылкам в письме и меньше отписывались.

Разница в показателях может показаться небольшой, но любой маркетолог знает, что важен каждый процент.

Дальше мы хотели проверить, насколько хорошо сработала сгенерированная тема. А также сравнить ее результаты с прошлыми рассылками, чтобы понять: стоит ли использовать нейросети для создания темы письма.

Для этого мы отправили письмо по оставшейся базе, подождали 4 дня, собрали статистику и сравнили ее с предыдущими письмами.

Видно, что нейросеть хорошо справилась с темой – открытий почти столько же, сколько и у письма, тему которого написал маркетолог. И это очень круто!

Первое время придется перебирать темы, прежде чем найдется подходящая. Но как только вы найдете оптимальный формат запроса, генерация темы будет занимать пару минут. А если вы хоть раз пытались самостоятельно придумать хороший заголовок, то знаете, что несколькими минутами эта задача редко обходится.

Наш эксперимент показал, что нейросеть может создать заголовок, который сработает не хуже придуманного человеком. Более того, ChatGPT может выдать несколько тем, которые сработают примерно с одной эффективностью, как это было в нашем A/B-тесте.

Читать в блоге: Как повысить Open Rate и CTR для email-рассылки

Остальные нейросети из нашей выборки сработали хуже.

У TurboText явно недостаточно разработан инструмент создания заголовков. Нейросеть плохо определяет суть текста, из-за чего заголовок не отражает текст.

В Gerwin неудобно, что для заголовка нужно описывать тему текста всего в 100 символах – это дополнительная трата времени. Кроме того, предложенные варианты не всегда подходят по длине, что критично для рассылок – слишком длинная тема скрывается за многоточием. К содержанию заголовка тоже есть вопросы.

***

Жмите стрелку вверх, если было интересно 🤗 Так мы поймем, что вам нравится такой формат, и будем проводить эксперименты чаще.

А если нужна удобная и современная платформа для рассылок – приходите в Sendsay. Мы поможем официально отправлять SMS, push-уведомления, email-рассылки, писать сообщения в Телеграме, ВКонтакте и Viber.

И кстати! Вы тоже можете подписаться на дайджест статей из нашего блога, на котором мы и проводили наш эксперимент → подписаться 👀