Искусственный интеллект VS «Белковый»: кто напишет лучший заголовок для рассылки?

Делимся результатами сплит-тестирования. Темы для рассылки писали человек и ИИ.

Искусственный интеллект VS «Белковый»: кто напишет лучший заголовок для рассылки?

Сплит-тестирование (A/B/N тестирование) — метод маркетингового исследования, который сравнивает несколько вариантов одного и того же элемента и определяет, какой из них работает лучше. Мы протестировали разные темы рассылки: написанную человеком и искусственным интеллектом в сервисе DashaMail. Задача — определить, какая из них привлекательнее для подписчиков, а, значит, приводит к большему проценту открытых писем.

Искусственный интеллект продолжает активно проникать в различные сферы жизни. Мы решили проверить можно ли ему доверить написание заголовков для email-рассылок и провели сплит-тестирование тем, написанных человеком и искусственным интеллектом в сервисе DashaMail. Рассказываем что из этого вышло.

Почему тема письма так важна?

Тема письма — это то, что подписчик видит первым при получении рассылки, поэтому она часто играет решающую роль в вопросе, открывать письмо или нет. Поэтому при тестировании заголовка победителя выбирают по наибольшему проценту открытий.

Итак, мы решили протестировать новый инструмент в сервисе DashaMail — искусственный интеллект, который генерирует тему для рассылки. Встает вопрос, сможет ли он превзойти человека, знакомого с контекстом и особенностями аудитории?

В конце каждого месяца мы делимся с подписчиками новостями сервиса. Создание темы для такой рассылки — регулярное испытание. Пусть же этим занимается искусственный интеллект, подумали мы и решили проверить не потеряет ли эффективность при этом email-кампания.

Для того, чтобы искусственный интеллект сгенерировал несколько заголовков, напишите ему о чем ваше письмо, и через пол минуты он не только предложит 5 новых вариантов темы, но еще и объяснит их сильные стороны. Мы предложили искусственному интеллекту зарерайтить следующую тему: «Два новых модуля интеграции и другие итоги июня». Вот, что из этого вышло:

Результат работы ИИ в сервисе DashaMail
Результат работы ИИ в сервисе DashaMail

Из пяти версий, предложенных искусственным интеллектом, был выбран вариант: «Вы готовы узнать о двух новых модулях интеграции и других новостях сервиса?».

Для статистической достоверности сплит-теста рассылка была отправлена сразу на всю базу: половина подписчиков получила письмо с первой темой, остальные — со второй. Кроме того, мы решили посмотреть, как меняются показатели открытий тестовых рассылок во времени. Предлагаем взглянуть на полученные результаты:

Статистика открытий в тестовых рассылках спустя разное время после отправки
Статистика открытий в тестовых рассылках спустя разное время после отправки

В ячейках таблицы указаны показатели открытий писем с разными темами спустя 3, 6, 12, 26 часов и 10 дней после отправки рассылки. Видно, что сразу после запуска сплит-теста тема, предложенная искусственным интеллектом, показывала более высокий результат. Однако со временем разница становилась все менее значительной. Кроме того, если обратиться к калькулятору сплит-тестов, то через 3 часа после запуска тема от ИИ выигрывала статистически достоверно (при мощности 95%):

Статистически достоверное различие в эффективности тем через 3 часа после отправки тестовых рассылок. 
Статистически достоверное различие в эффективности тем через 3 часа после отправки тестовых рассылок. 

Но через 10 дней они стали статистически неразличимы:

Через 10 дней после отправки сплит-теста разница в эффективности тем потеряла статистическую достоверность
Через 10 дней после отправки сплит-теста разница в эффективности тем потеряла статистическую достоверность

Какие выводы были сделаны на основании результатов проведенного эксперимента? Во-первых, не стоит спешить с подведением итогов при проведении сплит-тестов: вариант, который показывал высокий результат вначале, может сдать позиции со временем. Во-вторых, ключевую роль играют смыслы, а не форма. Ведь искусственный интеллект работает только с формулировками, но изначальное содержание всё равно задаёте вы. Поэтому искусственный интеллект не заменит человека, но уже сейчас он делает его работу проще, быстрее и эффективнее.

Главная цель нашего эксперимента была оценить работу искусственного интеллекта, и в эксперименте он показал себя на равных с человеком. Он создал привлекательную тему письма, которая вызвала активность у подписчиков не меньше, чем заголовок, придуманный человеком. При этом, если говорить о реактивном отклике, то он был даже выше именно у рассылки с темой, созданной ИИ. Поэтому на вопрос «кто же победит: человек или искусственный интеллект?» можно дать только один ответ — человек, который использует искусственный интеллект.

Этот опыт демонстрирует возможности и потенциал, который скрывается в использовании искусственного интеллекта в email-маркетинге. Уверены, что в будущем они будут только увеличиваться. Если хотите начать использовать силу искусственного интеллекта в ваших рассылках и повышать их эффективность, присоединяйтесь к DashaMail. Мы предлагаем интуитивно понятный интерфейс, готовые шаблоны, ИИ для создания тем рассылок и много другое. Регистрируйтесь уже сегодня и тестируйте сервис бесплатно!

2929
32 комментария

1 эксперимент ничего не показывает в данном случае.
Он покажет лишь какой заголовок был лучше - человеческий или ИИ-шный.
Экспериментом было бы разделить аудиторию на 2 части и провести серию рассылок. А дальше сравнить её в динамике - где больше открытий, где больше отписок, где больше кликов (заголовок это не только открытие письма), где больше действий.
А вообще, конечно, для таких целей ИИ подходит лучше - ресурсов на генерацию потратит меньше, да еще и можно играться с запросами, чтобы лучше соответствовало требованиям.

2
Ответить

С выводом полностью согласен, но с методологией не очень)

Сложно оценивать такие результаты просто потому, что из 5 заголовков вы выбрали один. Вы, то есть человеки, которые разбираются в контексте) и уже не совсем понятно, чья это заслуга.

То есть это был тест «человек» vs «AI + человек», а не чистое сражение человека с роботом, как указано в названии статьи)

2
Ответить

с заголовками ии справился (хотя машинный текст письма имеет место быть), не хватает "живости" руки человеческой

1
Ответить

"Живость" руки человеческой чаще всего проявляется в ошибках :)
Заметили как сейчас ИИ в автообзвонах хорошо "косят" под людей за счет "ээээ", искусственных оговорок и заминок в речи?
ИИ справляется со многими задачами уже лучше человека, поэтому смысл теста Тьюринга сильно изменился.
И не будем забывать, что ИИ учится на базе того, что создает человек. По сути он не придумывает ничего нового, а использует то, что было уже придумано ранее. Максимум переупаковывает, но всё равно является продолжением деятельности человека.

3
Ответить

"Имеет место быть" это и есть та самая человеческая рука.

1
Ответить

Определенно не хватает креативности, без нее пропадает живость текста что ли

1
Ответить

Базовая версия изначально была лишена даже намека на креатив.

Ответить