Как составить кликабельную тему письма с помощью компонентного анализа

Благодаря новым темам письма «Нетологии» стали открывать на 42 тысячи человек больше.

В «Нетологии» нашли способ писать кликабельные тем на основе данных. Методику протестировали на дайджесте с подборкой курсов, статей и партнерских коллабораций. Open rate удалось поднять на 6% — теперь письмо открывают на 42 тысячи людей больше.

Пётр Ермаков, руководитель CRM-маркетинга «Нетологии», рассказал:

Если вы строите весь маркетинг на данных, можете показать эту статью своему маркетологу и попробовать такой подход на рассылках.

Тема обычно называет объект, о котором говорится в письме, и связанное с ним полезное действие. Возьмем, к примеру, тему «Выберите свой карьерный путь в аналитике». Объект здесь — «карьерный путь в аналитике». Полезное действие — «выберите». Из такой темы понятно, о чем письмо и зачем его читать. Это важно, если в рассылках вы продаете практическую пользу, допустим, медицинские или маркетинговые услуги, онлайн-образование.

Темы без объекта и полезного действия тоже бывают эффективными. Обычно они срабатывают, если бизнес продает эмоции. Подписчиц fashion-бренда вполне может заинтересовать тема «Сезон летних вечеринок начинается! Понимаете, к чему мы?». Правда, эту гипотезу нужно тестировать.

Понять, что делает тему кликабельной, можно с помощью компонентного анализа. Для этого нужно:

Для начала разберемся с компонентным анализом.

Компонентный анализ — это метод лингвистики. Он позволяет находить у слов общий признак, группировать их и таким образом выявлять языковые закономерности. То же можно проделать с темами писем, чтобы повысить open rate рассылок.

Суть в том, чтобы выделить одинаковые по строению темы, объединить их и выбрать группы с наибольшей кликабельностью. Зная, из чего состоят эффективные темы, можно вывести образец для дальнейших рассылок.

Тема письма — это предложение, которое надо расщепить на минимальные смысловые единицы, или компоненты. Есть разные типы компонентов в зависимости от значения. Мы в «Нетологии» проанализировали массив писем и вывели четыре таких типа:

Можно вывести и другие, но эти — базовые, поскольку встречаются чаще всего. Их достаточно для компонентного анализа тем любой рассылки.

Компоненты и их значения:

1. how to

Указывает, что из письма читатель узнает, как что-то сделать. Признаки компонента:

Примеры:

2. слово-триггер

Должно цеплять взгляд.

Примеры:

3. perso

Персонализирует тему. Это динамический контент: имя или название курса, на который оставлена заявка.

Указывает на поведенческий паттерн, который мы можем вывести из повторяющихся действий пользователя.

Примеры:

4. no context

Не имеет конкретного содержания и носит общий характер.

Пример:

Эмодзи не относятся к компонентам. Этот UX-элемент не привносит новый смысл, но может влиять на кликабельность, поэтому при оценке результатов нужно рассматривать темы с эмодзи и без по отдельности.

Ниже — несколько примеров компонентного анализа.

Тема 1: от чего зависит успех руководителя?

Компоненты:

Эмодзи: нет.

Комбинация компонентов: how to, слово-триггер.

Тема 2: создайте сайт на JavaScript с нуля за 3 дня.

Компоненты:

Эмодзи: нет.

Комбинация компонентов: how to, слово-триггер.

Тема 3: как вкатиться в SMM.

Компоненты:

Эмодзи: нет.

Комбинация компонентов: how to.

Тема 4: вы посмотрели урок по JavaScript, перейдем к React?

Компоненты:

Эмодзи: нет.

Комбинация компонентов: perso.

Чтобы понять, как разные комбинации компонентов влияют на кликабельность темы, нужно проанализировать большую выборку писем. Лучше всего собрать данные за все время. Если это нереально, подойдут показатели за максимально возможный срок — желательно 6 месяцев или больше. Если в вашем бизнесе произошло значительное изменение, например ребрендинг, возьмите его за точку отсчета. Статистика, которая была до ребрендинга, неактуальна в новых условиях. Важно захватить кварталы, которые сильно отличаются по трафику, — такой массив данных будет достаточным для объективного исследования.

Следующий шаг — собрать статистику по каждому письму. Понадобятся:

После этого для каждого письма из выборки нужно провести компонентный анализ темы и внести результаты в таблицу:

Затем объедините в сводной таблице комбинации компонентов и статистику по рассылке.

В сводной таблице лучше всего группировать данные по типам (массовые, триггерные) или сегментам рассылок. К примеру, в «Нетологии» можно было бы сегментировать рассылки так:

После этого можно выделить наилучшие комбинации для каждой рассылки и получить более точные формулы кликабельности. Но, чтобы сегментировать данные, нужна система автоматизированного трекинга, которая соотносит отправленное письмо с сохраненным в базе сегментом. Создать и поддерживать ее трудозатратно, если у вас нет двух-трех программистов. Мы в «Нетологии» еще строим такую сегментацию.

Рабочие формулы можно получить и без сегментации рассылок в сводной таблице. Для этого выберите из общей массы 10 комбинаций компонентов с наилучшими показателями. Если используете эмодзи, возьмите пять комбинаций с ними и пять — без. Это и будут формулы кликабельных тем.

Гипотеза: у темы письма, составленной по формуле кликабельности, open rate и click rate будут выше обычных.

A-вариант: тема, которую составили бы при обычных условиях.

B-вариант: тема, которую составили по формуле кликабельности.

Ключевые показатели: open rate, click rate, процент отписок.

Количество тестов. Предположим, вы собираетесь проверить пять формул кликабельности. Чтобы результат эксперимента был релевантным, каждую формулу следует протестировать не менее трех раз. То есть в сумме надо провести 15 AB-тестов. Если вы сегментируете рассылки, для каждого сегмента придется тестировать свой набор формул. К примеру, проверить по пять формул на четырех сегментах — это 60 AB-тестов. Такой основательный подход хорош тем, что дает максимально достоверные результаты. А целесообразен ли он, зависит от ваших ресурсов и ожидаемой пользы.

Выборка. Каждая формула должна одинаково срабатывать как на малых выборках, так и на больших. Поэтому при тестировании варьируйте объем выборки — до первого квартиля, до третьего квартиля и посередине.

Дни для тестирования. По опыту «Нетологии», отправлять письма лучше в понедельник, вторник или среду, чтобы до конца рабочей недели у получателей было время их открыть. Пик открываемости приходится на первые три дня после отправки. Если отправить письмо в четверг или пятницу, вмешается фактор выходного дня, когда большинство людей не проверяет почту. Поэтому, чтобы получить чистые данные, делайте рассылку в начале недели.

Сбор и интерпретация результатов. Отслеживайте open rate, click rate и процент отписок в течение 3–5 дней после отправки писем. Результаты лучше всего агрегировать в таблице.

Вот так выглядела наша таблица по итогам семи AB-тестов:

Видно, что у тем, составленных по формуле, open rate выше в абсолютном большинстве случаев. Разница часто не превышает одного процентного пункта, но, если экстраполировать показатели на всю базу, эффект будет заметным. Результаты тестирования следует проверять на калькуляторе статистической значимости.

Дизайн эксперимента

Результаты эксперимента можно имплементировать как для отдельной рассылки, так и для всего email-канала.

К примеру, у «Нетологии» дважды в месяц выходит дайджест. Благодаря формуле кликабельности open rate удалось поднять на 6%. Для «Нетологии» это значит, что теперь письмо открывают на 42 тысячи людей больше. Если точно так же увеличить open rate в масштабах всего email-канала, это добавит без малого 1,3 миллиона читателей.