Как предиктивная оптимизация помогла нам заперформить в Яндексе и увеличить ROMI в 4 раза

Из-за длинного цикла сделки в рекламных кампаниях образовательных продуктов сложно прогнозировать выручку и непонятно, какие каналы масштабировать, а какие отключать и когда.

Мы попробовали оптимизироваться на синтетическое событие, формируемое на основе предсказанной ценности, вместо того чтобы смотреть на количество и стоимость лидов, и за последние полгода увеличили конверсию в лид в три раза, ROMI в Яндексе — в четыре, а еще вышли на платежеспособную аудиторию СНГ в Google Ads. Всё это с помощью предиктивной оптимизации от Tomi. ai.

На связи Сауле Бисенгалиева и команда лидогенерации Нетологии. Рассказываем о результатах пилота, который занял шесть месяцев.

В Нетологии мы использовали две модели атрибуции для оценки эффективности рекламных кампаний: стандартную last click и data-driven атрибуцию (top score). Последняя лучше учитывает влияние разных каналов на продажи, но работает с задержкой: рассчитывает вклад канала после того, как покупка произошла.

Мы искали инструмент, который поможет прогнозировать выручку по кампаниям, чтобы смотреть ее не только в моменте, когда большая часть продаж по когортам еще не вызрела, но и понимать потенциал кампаний. Цикл сделки в образовательной сфере длинный: с учетом бесплатных курсов и пробных уроков от первого касания до продажи проходит в среднем семь-восемь недель. Возможно, мы отключаем эффективные кампании, продажи по которым не успели проявиться.

В контекстной рекламе у нас выстроен процесс таким образом, что дважды в месяц мы устраиваем пересплиты бюджетов: в конце месяца — планирование следующего, в середине — корректировка РК, усиливаем бюджетом наиболее результативные. При работе с текущими моделями атрибуции (last click и top score) есть риск отключения «хороших» кампаний, потому что в моменте с них может не быть лидов/оплат. Оценка по предиктивному доходу помогает избежать таких ситуаций. Помимо этого Tomi. ai дал больше возможностей для оптимизации кампаний, за время тестов мы использовали различные вариации целей и сегментов для ретаргетинга.

Мы познакомились с Tomi.ai, и оказалось, что мы сможем еще и оптимизировать рекламные кампании. Изначально мы шли за аналитическим инструментом, но в Tomi.ai предложили решение, которое на основе поведения пользователей на сайте рассчитывает вероятность и сумму будущей покупки для каждой сессии. Это значит, что мы могли в реальном времени видеть прогноз по выручке по каждой кампании и использовать его как синтетическую конверсию в качестве цели для оптимизации.

Когда посетители заходят на сайт, они оставляют множество сигналов: время посещения, глубина просмотра, количество кликов, открываемые страницы и многое другое. У наиболее ценных пользователей похожие паттерны взаимодействия с сайтом — в зависимости от них ML-модель Tomi.ai присваивает каждому визиту ценность в деньгах. Затем эти предикты можно использовать как синтетические конверсии, отправив их по Marketing API в рекламные платформы, или собрать в аудитории для ретаргетинга или лук-элайка и запускать кампании на топ-1/3/10% аудитории по ценности.

Чтобы начать, нужно накопить данные для обучения ML-модели. Мы установили на свой сайт пиксель Tomi.ai, который собирал данные о поведении пользователей, и через некоторое время настроили передачу CRM-фидов с данными о продажах. Tomi.ai склеивает по ga_id (и еще нескольким идентификаторам) поведение с данными о продажах, чтобы проанализировать поведение пользователей, которые конвертируются в покупателей, и потом рассчитать вероятность покупки для всех новых посетителей сайта.

С данными работают не только роботы. После того как алгоритмы машинного обучения выделят сотни фич в поведении пользователя, подключается дата-сайентист. Он отметает самые безумные или малозначительные фичи, замечает закономерности и комбинации в поведении пользователей, которые конвертируются в покупку. Для Нетологии самыми ценными оказались те пользователи, которые дошли до калькулятора рассрочки и зашли в Центр карьеры.

Нам понравилась идея, но мы боялись, что интеграция затянется, потому что понадобится много часов BI-команды, а это всегда проблематично. И мы сомневались, окажется ли результат настолько значительным, как заявляет вендор.

Но и KPI перед ними стояли серьезные, поэтому мы доверились и решили дождаться данных. Целевая метрика для анализа эффективности — ROMI в платном привлечении. Целевой показатель для нас — более 100% (по top score — нашей data-driven атрибуции, без учета брендового контекста), мы рассчитывали на рост хотя бы на 20–30%, чтобы понять, что продукт реально эффективен.

Закоммитились на шестимесячный пилот и согласовали под него бюджет.

Подготовка заняла месяц. На первом этапе был установлен пиксель на сайт, подготовлены фиды для отправки данных о лидах и оплатах. Далее происходило обучение модели.

Команда контекстной рекламы подключилась к проекту, когда конверсии и аудитории стали доступны в рекламных кабинетах. Мы начали с определения кампаний, которые возьмем в тест. Первыми участниками стали те РК, в которых мы видели проблемы с качеством лидов, из-за чего конверсия в заявку была ниже средней по каналу. После команда Tomi.ai провела нам короткое обучение о том, что значат определенные цели и сегменты, какие стратегии и подходы лучше использовать, чтобы получить максимальные результаты. В первых A/B-тестах мы запустили пять-шесть РК и следили за их результатами на еженедельной основе.

Через три недели была готова ML-модель. Как только в Tomi.ai проверили, что она рабочая, мы начали совместные эксперименты. В основном они проходили в «Яндекс Директе». Работу над кампаниями можно разделить на несколько треков:

A/B-тесты кампаний в поиске на платные продукты. Это самый объемный трек с большими рекламными бюджетами. Тесты помогают увидеть, что лучше работает у нас, а что с оптимизацией, что масштабировать, а что отключать. За полгода пилотного режима мы запустили 20 пар кампаний: А (tomi_control) — кампании с оптимизацией на нашу цель, в данном случае это CPA; B (tomi_test) — кампании, оптимизированные на цели от Tomi.ai.

Мы оценивали эффективность всех кампаний по двум моделям атрибуции (сейчас — по трем): top score — наша data-driven атрибуция — и стандартная last click.

19 кампаний из 20 показали лучший результат по целям от Tomi.ai. Одна работала хуже, чем наша изначальная, — ее отключили. Итоги тестов в цифрах:

A/B-тесты в поиске на бесплатные продукты. У нас есть отдельная воронка бесплатных продуктов, задача которых — подогреть интерес к платным, и целевая метрика для нас, опять же, — оплаты, а не количество и цена регистраций на бесплатные курсы. В воронке бесплатных продуктов тестовые кампании Tomi.ai везде показывают меньшую конверсию в лид на бесплатные курсы, но конверсия в оплату по кампаниям с оптимизацией на цели Tomi.ai почти в два раза выше.

Показатели по бесплатной воронке:

Помимо контекстной рекламы, мы также использовали возможности Tomi.ai в медийных кампаниях. Для них нам сделали LAL на самых конверсионных пользователей, и на этот сегмент мы запускали наши медийные РК, затем собирали в пиксель всех, кто видел баннеры, чтобы догреть эту аудиторию через контекстную рекламу.

На этапе догрева было несколько типов кампаний: ретаргетинг в сетях, поисковый ретаргетинг на поиске по брендовым ключам и с автотаргетингом. Для оптимизации вновь использовали цели Tomi.ai.

Результаты медийной РК

ROMI по post-view ниже на 15%, чем РК без Tomi.ai.

Результаты догрева:

Всё это результаты совершенно одинаковых кампаний. Те же объявления и креативы, но показанные пользователям, которых Tomi.ai идентифицировал как потенциально прибыльных. Анализировать поведение посетителей сайтов могли бы и аналитики, дата-сайентисты, но в паре с искусственным интеллектом получается обработать в 50 раз больше показателей, чем даже отслеживает кабинет Google Analytics.

С тех пор как Google Ads не работает в России, мы решили протестировать продвижение на СНГ, ведь там тоже есть наша аудитория — много релокантов и русскоязычных пользователей, заинтересованных в обучении.

При первом запуске с оптимизацией по стандартным целям мы столкнулись с низкой конверсией в оплату. Люди оставляли заявки, но в итоге не покупали курсы. Поэтому мы решили протестировать цели Tomi.ai и в Google Ads. Первый запуск РК на Tomi.ai показал рост конверсии в оплату на 5%, но ROMI был крайне низким. На втором этапе теста мы провели масштабную оптимизацию, скорректировали нашу стратегию и запустили часть кампаний на наших целях, вторую — на целях Tomi.ai. Кампании с Tomi.ai вновь показали более высокие конверсии — как в заявку (на 6%), так и в оплату (на 42%). Сейчас практически все наши кампании в Google Ads оптимизируются на синтетические цели Tomi.ai.

Мы постоянно анализировали рекламные кампании, видели, что что-то отрабатывает хуже, что-то — лучше, но еще не понимали совокупного эффекта. Первое время было сложно оценить, насколько оптимизация и рост ROMI по некоторым кампаниям окупают весь проект в целом.

За полгода мы запустили 20 A/B-тестов и 28 кампаний вне A/B, протестировали кампании на поиске, в дисплее и таргете, открутили более 30 млн рублей и убедились, что предиктивные метрики достаточно точно отражают будущую выручку и выделяют перспективных пользователей, чтобы использовать их как главную цель для оптимизации.

Мы заранее выделили бюджет на Tomi.ai на этот год и планируем масштабировать использование инструмента: в уже проверенных каналах переводим большую часть кампаний на оптимизацию на предиктивное событие от Tomi.ai и выделяем существенный бюджет на тесты в таргете.

Есть кое-что ценнее цифр: оптимизация помогла не спешить с решениями. У нас человек может оплатить курс сразу, а может думать месяц. В такой ситуации бывает сложно принять решение о масштабировании рекламной кампании: видишь много заявок, но мало оплат — по ROMI кампания не сходится. Tomi.ai помогает нам в такие моменты решить, стоит ее отключать или подождать, пока она раскроется и принесет покупки. Мы опираемся на данные предиктивной аналитики, потому что за полгода сотрудничества убедились в точности прогноза.