Искусственный интеллект VS «Белковый»: кто напишет лучший заголовок для рассылки?

Делимся результатами сплит-тестирования. Темы для рассылки писали человек и ИИ.

Сплит-тестирование (A/B/N тестирование) — метод маркетингового исследования, который сравнивает несколько вариантов одного и того же элемента и определяет, какой из них работает лучше. Мы протестировали разные темы рассылки: написанную человеком и искусственным интеллектом в сервисе DashaMail. Задача — определить, какая из них привлекательнее для подписчиков, а, значит, приводит к большему проценту открытых писем.

Искусственный интеллект продолжает активно проникать в различные сферы жизни. Мы решили проверить можно ли ему доверить написание заголовков для email-рассылок и провели сплит-тестирование тем, написанных человеком и искусственным интеллектом в сервисе DashaMail. Рассказываем что из этого вышло.

Тема письма — это то, что подписчик видит первым при получении рассылки, поэтому она часто играет решающую роль в вопросе, открывать письмо или нет. Поэтому при тестировании заголовка победителя выбирают по наибольшему проценту открытий.

Итак, мы решили протестировать новый инструмент в сервисе DashaMail — искусственный интеллект, который генерирует тему для рассылки. Встает вопрос, сможет ли он превзойти человека, знакомого с контекстом и особенностями аудитории?

В конце каждого месяца мы делимся с подписчиками новостями сервиса. Создание темы для такой рассылки — регулярное испытание. Пусть же этим занимается искусственный интеллект, подумали мы и решили проверить не потеряет ли эффективность при этом email-кампания.

Для того, чтобы искусственный интеллект сгенерировал несколько заголовков, напишите ему о чем ваше письмо, и через пол минуты он не только предложит 5 новых вариантов темы, но еще и объяснит их сильные стороны. Мы предложили искусственному интеллекту зарерайтить следующую тему: «Два новых модуля интеграции и другие итоги июня». Вот, что из этого вышло:

Из пяти версий, предложенных искусственным интеллектом, был выбран вариант: «Вы готовы узнать о двух новых модулях интеграции и других новостях сервиса?».

Для статистической достоверности сплит-теста рассылка была отправлена сразу на всю базу: половина подписчиков получила письмо с первой темой, остальные — со второй. Кроме того, мы решили посмотреть, как меняются показатели открытий тестовых рассылок во времени. Предлагаем взглянуть на полученные результаты:

В ячейках таблицы указаны показатели открытий писем с разными темами спустя 3, 6, 12, 26 часов и 10 дней после отправки рассылки. Видно, что сразу после запуска сплит-теста тема, предложенная искусственным интеллектом, показывала более высокий результат. Однако со временем разница становилась все менее значительной. Кроме того, если обратиться к калькулятору сплит-тестов, то через 3 часа после запуска тема от ИИ выигрывала статистически достоверно (при мощности 95%):

Но через 10 дней они стали статистически неразличимы:

Какие выводы были сделаны на основании результатов проведенного эксперимента? Во-первых, не стоит спешить с подведением итогов при проведении сплит-тестов: вариант, который показывал высокий результат вначале, может сдать позиции со временем. Во-вторых, ключевую роль играют смыслы, а не форма. Ведь искусственный интеллект работает только с формулировками, но изначальное содержание всё равно задаёте вы. Поэтому искусственный интеллект не заменит человека, но уже сейчас он делает его работу проще, быстрее и эффективнее.

Главная цель нашего эксперимента была оценить работу искусственного интеллекта, и в эксперименте он показал себя на равных с человеком. Он создал привлекательную тему письма, которая вызвала активность у подписчиков не меньше, чем заголовок, придуманный человеком. При этом, если говорить о реактивном отклике, то он был даже выше именно у рассылки с темой, созданной ИИ. Поэтому на вопрос «кто же победит: человек или искусственный интеллект?» можно дать только один ответ — человек, который использует искусственный интеллект.

Этот опыт демонстрирует возможности и потенциал, который скрывается в использовании искусственного интеллекта в email-маркетинге. Уверены, что в будущем они будут только увеличиваться. Если хотите начать использовать силу искусственного интеллекта в ваших рассылках и повышать их эффективность, присоединяйтесь к DashaMail. Мы предлагаем интуитивно понятный интерфейс, готовые шаблоны, ИИ для создания тем рассылок и много другое. Регистрируйтесь уже сегодня и тестируйте сервис бесплатно!