Как «Авито» общается с покупателями и продавцами через массовые рассылки

Рассказывает тимлид отдела аналитики.

В статье расскажу, как мы готовим рассылки, отправляем и оцениваем эффект — от каждой и в совокупности. Это обзорный материал, который будет интересен аналитикам, CRM-маркетологам и всем, кто работает с массовыми коммуникациями.

Какие бывают CRM-коммуникации в Авито

Как устроена отправка рассылок

Как мы контролируем количество рассылок на одного пользователя с помощью механизма кулдаунов

Как запускаем новые рассылки и проводим A/B-тесты

Как оцениваем эффективность рассылок после полноценного запуска

Как оцениваем совокупный эффект от CRM-коммуникаций

Ещё раз коротко: как устроены CRM-коммуникации в Авито

У нас есть две категории пользователей: продавцы и покупатели. Они по-разному пользуются площадкой, поэтому для каждой категории у нас свои типы коммуникаций. Например, покупатели получают подборки товаров на основе их интересов. А продавцам мы отправляем советы или акции, которые помогут им эффективнее работать на Авито.

Эти CRM-коммуникации приходят пользователям в разных каналах — внутренних и внешних.

Внутренние каналы — это мессенджер Авито и уведомления в Notification Center (NC). Чтобы прочитать сообщения в NC, нужно нажать на колокольчик:

В NC мы чаще всего отправляем подборки объявлений, а в мессенджер — другие виды коммуникаций. Например:

👉 Эволюция фичи за три года: рассылка спецпредложений Авито.

Внешние каналы — это пуши и письма на электронную почту. Туда мы отправляем, например, новости, подборки или уведомления о товарах, которые пользователи смотрели или добавляли в избранное.

Ниже статистика по пяти самым популярным типам рассылок, которые мы отправляем пользователям. Лидируют персональные подборки — в таких мы показываем человеку объявления, которые могут его заинтересовать.

Наши рассылки можно разделить на продуктовые и маркетинговые. Цель продуктовых — их ещё называют транзакционными — в том, чтобы объяснять человеку, что происходит в продукте, и уведомлять об изменениях. Цель маркетинговых — предложить пользователю взаимодействовать с продуктом.

Маркетинговых мы отправляем больше — 53,8% против 46,2%. Вот как выглядят разные типы коммуникаций:

У двух типов рассылок разный флоу отправки.

Продуктовые коммуникации отправляются по API. Коллеги из продуктовых команд отдают CRM-платформе все необходимые данные по API, и рассылка уходит сразу после запроса.

У маркетинговых рассылок более сложный процесс: отправитель должен указать не только параметры рассылки, но и расписание отправок. Ниже расскажу чуть подробнее.

Мы отправляем пользователям RealTime и Batch-кампании:

👉 Сообщения в реальном времени отправляются на основе данных из Clickstream в ответ на действия пользователя. Чаще всего такая коммуникация уходит через пуши.

👉 Batch-кампании отправляются на основе данных из DWH.

Когда CRM-маркетолог создаёт такую коммуникацию, он описывает сегмент получателей через SQL-скрипт и задаёт расписание рассылок. Когда наступает заданное время, скрипт собирает сегмент получателей на основе данных из DWH и инициирует на них отправку.

Batch-кампании мы отправляем гораздо чаще, чем сообщения в реальном времени. За ноябрь 2023 года их доля среди всех CRM-коммуникаций — почти ¾.

Мы заботимся о том, чтобы наши коммуникации были полезными и не вызывали негатив у пользователей. Для этого используем механизм кулдаунов.

🕧 Кулдаун запуска помогает не заваливать пользователя рассылками. Перед каждой отправкой мы проверяем, не получал ли человек другие рассылки за последние Х часов — по умолчанию за 2. Если за это время уже что-то приходило, отправка блокируется.

🕧 Кулдаун кампании помогает не заваливать пользователя одними и теми же рассылками. Перед отправкой мы проверяем, не получал ли человек эту же коммуникацию за последние Х дней — по умолчанию за сутки. Если за это время уже приходило сообщение такого типа, отправка блокируется.

Перед тем как идея коммуникации станет полноценной CRM-рассылкой, сообщение проходит A/B-тест. Они в Авито автоматизированы — тест можно настроить за несколько кликов в админке. В рамках эксперимента половина пользователей сегмента получит рассылку, а другая — нет.

Обычно тесты длятся не дольше 28 дней. Когда мы собрали достаточно данных, аналитик оценивает результаты, и в случае успеха рассылку получат все пользователи сегмента.

В A/B-тестах смотрим на изменения целевых метрик. У каждой рассылки есть своя целевая метрика, она зависит от цели рассылки. Такими метриками могут быть, например: просмотры объявлений, добавления в избранное или контакт с продавцом.

Мы научились атрибуцировать основные метрики к конкретным рассылкам. Это помогает заметить эффект, даже когда аудитория и ожидаемое изменение от коммуникации небольшие.

Например, когда отправляем подборку с объявлениями, технически лендинг с подборкой находится на отдельном экране. Если пользователь начнёт взаимодействовать с карточками, мы поймём, что он попал туда именно с рассылки.

Ещё мы можем настроить период, за который считаем действия пользователя связанными с получением рассылки. Это полезно, чтобы оценивать эффект от сообщений, которые отправляются редко.

Например, есть коммуникация, которую можно отправить одному и тому же человеку не чаще, чем раз в 30 дней. Допустим, у нас есть пользователь, который открыл её на первый день, а совершил целевое действие на двадцатый. Почти наверняка оно не будет связано с тем, что человек 20 дней назад увидел пуш. Поэтому для всех рассылок мы выставляем срок атрибуции в неделю, и меняем его, в зависимости от специфики коммуникации — для каких-то рассылок этот срок будет меньше, для каких-то — больше.

Учитываем контрметрики. Основная для нас — отписки. Когда человек отказывается получать CRM-коммуникации, мы теряем возможность отправлять ему сообщения.

Это критично, потому что многие сохраняют активность на Авито в течение 1–2 лет: если они отписываются от рассылок, то не получают вовремя коммуникации про изменения в продукте, полезные фичи или, например, спецпредложения от продавцов.

Бывают случаи, когда рассылка в A/B-тесте хорошо влияет на целевые метрики, но одновременно с этим вызывает негатив у пользователей и они отписываются. Чтобы понять, стоит ли её отправлять, мы научились сравнивать потери от отписок с выгодой, которую принесут целевые действия в будущем.

Подробнее об этом рассказала моя коллега Аня Москаленко:

👉 «Анализ пользовательского негатива от CRM-коммуникаций», YouTube.

Помимо данных из A/B-тестов, мы смотрим на воронку доставляемости рассылки. Если на каком-то из этапов результаты оказываются лучше средних, это тоже косвенно показывает, что коммуникация удачная.

Воронка состоит из 7 этапов, первые 3 технические, остальные 4 — это пользовательские события:

Раньше мы следили за динамикой кампании с помощью атрибуции к открытию с заданным окном Х часов. То есть, если человек открывал рассылку от Авито и в течение Х часов после этого совершал целевые действия, мы считали, что это происходит из-за CRM-коммуникации.

Но у такого подхода много минусов:

Чтобы точнее оценивать эффективность рассылок, мы разработали показатель CRM Score — аналог ROI для оценки эффективности CRM-кампаний. В маркетинге с помощью ROI оценивают рентабельность вложений в рекламу. В нашем случае метрика отражает «хорошесть» кампании. В отличие от ROI, у нас нет затрат на рекламную кампанию, но мы знаем положительный результат, который она приносит, и можем посчитать эффективность рассылок:

Всё, что я описал выше, касается каждой отдельной коммуникации. Но нам важно оценивать и их общий эффект. Для этого мы:

Используем глобальную контрольную группу. Чтобы оценивать эффективность маркетинговых рассылок, мы ведём бесконечный A/B-тест: вообще не отправляем их 10% пользователей.

Каждый месяц обновляем 2% участников контрольной группы. За 5 месяцев контрольная группа полностью обновляется. Это нужно, потому что люди, которые долго ничего не получают, привыкают к этому.

Замеряем долгосрочный эффект от коммуникаций на пользовательские действия. То есть оцениваем выручку, которую мы помогли получить.

Замеряем количество отписок за год. Мы следим за контрметриками на глобальном уровне так же, как и в локальных A/B-тестах. Поставили себе рыночные бенчмарки в качестве ориентиров: отличным считаем уровень отписок меньше или равный 1%. Сейчас находимся на уровне отписок, который определили как «нормальный» — есть куда расти.

👉 Мы отправляем CRM-коммуникации через мессенджер Авито, уведомления в Notification Center (колокольчик), пуши и письма.

👉 Мы можем отправлять маркетинговые рассылки в ответ на действия людей в реальном времени по данным из Clickstream или собирая сегмент пользователей через SQL-скрипт на основе данных из Vertiсa.

👉 Чтобы человек не получал слишком много рассылок в день, мы ввели кулдауны. То есть рассылка не уйдёт, если за последние X часов пользователь уже получал любую другую маркетинговую коммуникацию.

👉 Перед тем как отправить рассылку на всех, мы проводим A/B-тест. Смотрим на доставляемость, изменения целевых метрик и количество отписок. Это важно, потому что иногда после A/B-теста есть и положительный аплифт нужной метрики, и рост отписок.

👉 Придумали свой показатель CRM Score, чтобы следить за динамикой эффективности рассылки после раскатки A/B-теста. Для нас это аналог ROI.

👉 Чтобы оценить совокупный эффект всех маркетинговых CRM-коммуникаций, постоянно ведём глобальный A/B-тест: 10% пользователей не получают рассылок.