Как работают нейросети в контекстной рекламе. Обучаем машину приводить качественные заявки

Сейчас из каждого утюга кричат про нейросети и каждый желает забрать ваши деньги за то, что научит вас писать запросы в чате. Здесь не про это. Будет много формул, непростой теории и кейсы. Мы сделаем лоботомию этому робомозгу и попытаемся разобраться с принципами его работы.

Ведь, как и хороший врач не может лечить, не разбираясь в особенностях функционирования внутренних органов, так и хороший ppc-специалист не может вести контекстную рекламу без понимания того, как функционируют алгоритмы рекламных систем Яндекса и Google.

Для понимания того, как работают автостратегии (они же искусственные нейронные сети – ИНС), придется погрузиться в базовую теорию машинного обучения. В ней нас интересует только классификация и принципы работы основных моделей. Рассмотрим их на примерах в т.ч. из контекстной рекламы.

В мире машинного обучения (ML) существуют три основных модели, каждая из которых обрабатывает информацию по-разному:

Эти модели позволяют решать разнообразные задачи и применять машинное обучение в разных областях. Давайте разберем каждую из них подробнее:

Здесь модель обучается на неразмеченных (сырых) данных, не имея явных ответов. Она ищет скрытые структуры, группирует данные или снижает размерность. UL чаще всего используют на больших массивах входных данных в двух сценариях:

Часто к подобным моделям относят популярный GPT, однако в его случае все сложнее и применялись все три модели обучения, как и в контекстной рекламе.

Примеры использования:

В этом методе модель обучается на размеченных учителем данных, где каждый пример имеет соответствующий ответ (целевую переменную). Модель стремится предсказать целевую переменную для новых данных.

Например, учитель размечает пул изображений на картинки с котиками и без. Модель обучается на этих размеченных данных. Далее мы даем модели новые картинки, и она уже пытается найти на них котиков.

SL модели решают задачи классификации и регрессии (предсказания).

Примеры использования:

В модели RL нейросеть обучается в среде и получает от нее обратную связь в виде состояния среды и вознаграждения/штрафа. Т.к. это ключевой для этой статьи вид обучения, введем несколько общепринятых терминов и на их основе разберем принцип работы модели.

Теперь, с оглядкой на картинку ниже, разберем принцип работы модели на примере игры в Марио.

1. Состояние:

На старте Марио (Агент) находится в начальной позиции на игровом уровне. Это состояние включает в себя информацию о его координатах, скорости, наличии врагов и препятствий.

2. Действие:

Марио может совершать различные действия, такие как движение влево, вправо, прыжок или использование способностей (например, сбор монет).

3. Вознаграждение:

Если Марио собирает монету, он получает положительную награду. Если он сталкивается с врагом или падает в пропасть, он получает отрицательную награду.

4. Обновление ситуации:

Когда Марио совершает действие (например, прыжок), среда реагирует. Если он прыгает на врага, враг уничтожается, и Марио получает награду. Если он падает в пропасть, он теряет жизнь и начинает уровень заново.

Таким образом, среда взаимодействует с Марио, обновляя состояние, предоставляя награды и реагируя на его действия. Это позволяет Марио учиться и адаптироваться к условиям уровня, стремясь максимизировать свою общую награду.

Примеры RL:

Блок-схема выше наглядно демонстрирует почему обучение автостратегий никогда не заканчивается – это цикличный постоянный процесс с обновлениями среды.

Теперь, когда мы понимаем, как работают нейросети, разберемся с тем, на что мы можем повлиять - вознаграждение при обучении ИНС. Предположим, из чего оно может состоять. Для этого разделим все автостратегии на три класса по моделям оплаты:

Такое деление не случайно, т.к. с высокой долей вероятности именно от него зависит уровень вознаграждения и подход к обучению автостратегии.

Логично предположить, что вознаграждения алгоритма обучения при CPA стратегиях заключается в том, на сколько ИНС смогла вложиться в стоимость цели, т.е. чем меньше трафика ей пришлось закупить, для получения одной конверсии, тем большее вознаграждение получит агент.

Попробуем вывести формулу для данной схемы вознаграждения. И, если часть с пряником очевидна (это tCPA), то с кнутом придется разобраться.

где

Теперь мы можем вывести формулу вознаграждения нейросети из имеющихся данных:

Здесь k – это количество кликов, которое потребовалось для достижения одной цели. Таким образом, вознаграждение ИНС при CPA стратегиях (Rk) составляет разницу между ценой достижения цели (tCPA) и стоимостью всех кликов, которые потребовались на достижение этой цели (∑CpaBid).

Т.к. задачей агента является максимизация прибыли, а на tCPA он повлиять никак не может, то он будет пытаться показывать рекламу таким образом, чтобы сократить число кликов или их стоимость.

С учетом того, что чем выше pCR, тем меньше потребуется кликов (k) – обратная пропорциональность – можно утверждать, что агент будет стараться искать клики с наиболее высоким pCR.

Не смотря на кажущуюся логичность оптимизации рекламных кампаний по этой стратегии, у нее есть один существенный недостаток – у ИНС нет задачи оптимизироваться по всем вашим целям. Её задача найти те цели или ту цель, по которой она сможет получать наибольшее вознаграждение. Поэтому, такие стратегии подходят тогда, когда у вас ТОЛЬКО ОДНА легко (не менее 10 раз в неделю) достигаемая Macro-цель или несколько равноценных Macro-целей и для вас нет никакой разницы, какая из них будет достигаться. Наиболее частые сценарии использования:

Что же делать, когда требуется оптимизация сразу по нескольким целям с разной ценностью? Работаем со стратегиями с оплатой за долю рекламных расходов.

Важным отличием ДРР стратегий от CPA является то, что они пытаются максимизировать вознаграждения с доли рекламных расходов, а следовательно, она будет пытаться найти наиболее эффективные КОМБИНАЦИИ целей, которые отдадут агенту максимальное вознаграждение и более комфортные условия среды для добычи новой порции наград. Выражаясь языком ppc-специалистов, именно эта стратегия подходит для оптимизации по нескольким целям.

Попробуем вывести формулу вознаграждения, чтобы математически подкрепить гипотезу. Для начала определимся с тем, чего в стратегии ДРР добивается агент. В случае с CPA-стратегиями все было просто – он хочет сохранить в качестве вознаграждения большую часть от указанной в настройке цены конверсии (tCPA). Для этого ему требуется найти за минимально возможное число кликов людей с максимальным уровнем прогнозного CR, т.е. сократить расходы.

В ДРР стратегиях все несколько сложнее. Начнем с того, что мы указываем несколько целей и их ценности. В таком случае агент должен максимизировать свой доход, опираясь на любую последовательность выполнения целевых действий из списка. Выведем формулу вознаграждения ИНС:

Агент получает вознаграждение, равное заданной доле рекламных расходов, умноженный на сумму ценностей всех достигнутых в рамках модели атрибуции целей.

Отсюда мы можем вывести расчётную ставку, с которой агент будет заходить на аукцион:

Ставка будет равна прогнозному вознаграждению агента, умноженному на прогнозный CR. Попробуем раскрыть эту формулу и подставим Profit из формулы выше:

Т.е. алгоритмы автостратегий должны спрогнозировать вероятность достижения каждой из занесенных в настройки рекламной кампании цели и умножить их на их ценность. Получится некоторая вероятностная сумма ценности посетителя.

Теперь посчитаем конечное вознаграждение (подкрепление) агента с учетом ставок:

Логика получается такая же, как и в CPA стратегиях, но при этом ИНС учитывает все занесенные цели.

В этом пункте я буду гадать, но на мой взгляд, более логично было бы оставить точно такую же схему, но в тех случаях, когда система штрафов будет превышать систему вознаграждений, можно вместо отрицательной награды давать агенту ноль. Ведь по факту рекламная система ничего не теряет, в отличии от моделей с оплатой за конверсию. Вы платите за клики и берете неудачи агента на себя. Это не плохо, когда специалист разбирается в своей работе и, к тому же это помогает предохранят рекламные кампании от затуханий, т.к. штрафы в большом количестве загоняют агента в ситуацию, когда он не знает, как поступить и просто останавливает обучение.

Итак, мы разобрались в каких случаях использовать различные модели оплаты за контекстную рекламу, но остается главный вопрос: «как выбирать цели и какую ценность им ставить?» Здесь придется изучить еще один термин из машинного обучения – вектор признаков.

В ppc это могут быть такие данные, как краткосрочные и долгосрочные интересы посетителя, соцдем характеристики, история покупок, вероятность клика по рекламе и многое другое, буквально все, что можно оцифровать, выделить в характеристику и присвоить вес.

Когда мы выставляем корректировки ставок на условных женщин от 21 до 45 с айфоном и работающих в Москве, мы создаем локальный вектор признаков, но по факту просто корректировками усиливаем веса некоторых признаков глобального вектора рекламной кампании.

ИНС принимает решение об участии в аукционе за потенциальный клик именно на основе вектора признаков и, если очень грубо, то он и есть та недостающая часть, которая в формулах выше отвечает за прогнозный CR.

Скорректируем блок-схему обучения с подкреплением с учетом вектора признаков и с адаптацией к специфике контекстной рекламы.

Новые данные (потенциальный посетитель сайта) преобразуются в вектор признаков, проходят через модель (агента) и последний даёт прогноз - в нашем случае предсказывает с какой вероятностью пользователь совершит конверсию, если кликнет по рекламе). Если клик происходит, то среда отдает агенту вознаграждение или штраф и модель (вместе с весами вектора признаков) корректируется - если было получено вознаграждение, то присущие посетителю признаки усиливаются и наоборот, ослабляются, при штрафе.

Отсюда мы можем сделать вывод, что цена/ценность конверсии, которую мы выставляем в настройках стратегии прямым образом влияет на то, какие признаки посетителей будут усиливаться в процессе обучения, а соответственно и сами цели нужно подбирать таким образом, чтобы усиливать определенные характеристики пользователей. Можно сказать, что через цену цели мы выставляем веса определенных характеристик пользователей:

Основной проблемой CPA стратегий, как мы выяснили выше, является отсутствие акцента на продвижение по нескольким целям, поэтому нам приходится выбирать: продвигаться по micro или по macro целям.

При продвижении по Macro целям все отлично, и мы будем усиливать самые важные признаки, но на входе у нас бульон из тех, кто хочет приобрести аналогичные услуги/товары конкурентов, почитать о них и т.п. (левый график – нижнее облако точек). Поэтому система и требует минимум десять конверсий в неделю, чтобы у нее хотя бы была возможность выделить из этого бульона наиболее важные характеристики.

Если же мы оптимизируемся на микроцели, то агент легко обучится, но соберет большой набор признаков (середина правого графика), на основе которых либо сразу, либо в процессе последующих циклов общения со средой найдет более легкий вектор признаков и максимизирует награду на тех, кто хочет посмотреть и купить офлайн или сделать сам. Да, в процессе циклов взаимодействия со средой агент будет возвращаться к правильному вектору признаков, но это будет рандом, а не стабильная работа рекламы.

В большинстве случаев лучше использовать стратегии с ДРР и вороночным подходом к построению цены конечного покупателя. Для этого мы используем каждый этап к покупке в качестве более нижнеуровневой цели с большей ценностью (Nano → Micro → Macro → Deal).

Идея заключается в том, что мы выбираем из большого числа признаков сначала общие признаки для активных посетителей сайта, из них выбираем и усиливаем тех, кто сделал полезное действие на сайте. На следующем уровне усиливаем еще больше признаки тех, кто оставил заявку и на последнем тех, кто уже купил/стал клиентом.

Мы как бы выстраиваем систему фильтров от крупного к мелкофракционному и даем агенту достаточно информации, чтобы он не тыкался в один набор признаков и занимался их перебором, а видел всю картину целиком и выстраивал путь к лучшему решению.

Проблемой обучения рекламных кампаний моего клиента ООО «Ви-Металл» зимой является резкое падения спроса на продукцию. При этом, остаются заказы преимущественно из b2b сектора (опт) и нужно оптимизировать рекламу на малых данных. Подробно, вся ситуация описана на рисунке ниже. Далее попробуем разобрать, что происходит на каждом этапе воронки целей.

Будем двигаться от нижнего левого края к верхнему правому по стрелке. Каждый последующий этап будет кружком на графике и цифрой в списке ниже. Стрелки с ответвлениями от основного маршрута будут маркированным списком:

1. Сырые данные – люди, которым потенциально может быть показана наша реклама, бульон из различных признаков без закономерностей.

2. Прохождение фильтра по текущему вектору признаков (у нас же уже обученные рекламные компании и они знают примерный набор характеристик входящего на сайт трафика). На этом этапе мы получаем признаки всех, кто зашел на сайт. Сюда можно повесить промежуточную цель с активными визитами.

Если мы станем оптимизироваться только по этой цели, то мы не сможем предсказать какой именно трафик обучится приносить модель:

На этом этапе мы готовы заплатить за усиление каждого признака потенциального клиента 5 руб.

3. Добавления в корзину. Для того, чтобы усилить признаки только тех пользователей, которые не просто активно вели себя на сайте, но и добавили товар в корзину, мы за признаки таких пользователей доплачиваем еще по 30 руб. (Цифры условны, дальше я покажу, как их считать правильно). Таким образом из 100 визитов с набором признаков по 5 рублей мы усилили 10 с признаками по 30 и получили признаки по 35 рублей. Но ведь в корзину добавляют не только те, кто хочет купить товар, а еще:

4. На следующем этапе мы платим за конверсию по ecommerce покупкам и звонкам, т.е. усиливаем признаки следующего уровня воронки. Пускай таких будет двое и за каждого из них мы заплатим по 300 рублей (в десять раз дороже, чем за корзину). При этом, те кто позвонит не обязательно пользовались корзиной, а соответственно их веса признаков будут усилены на 300 + 5 = 305 рублей, а не на 300 + 30 + 5 = 335 руб.

Но и на этом этапе на большой выборке будут попадаться признаки тех, на кого бы мы не хотели оптимизировать рекламу:

5. Качественный лид. Здесь из 3 заявок мы закрываем в сделку одну и усиливаем признаки качественного лида еще на 1000 рублей. Так, самые важные признаки в векторе будут усилены на 1335 или 1305 рублей, а в целом за одного клиента мы заплатим:

Возьмем набор целей, которые мы отслеживаем на сайте. Пусть это будут такие цели:

В примере, заказчик готов платить 8 000 рублей за сделку. Распределим эту сумму на всю воронку целей - назначим CPA для каждой цели в стратегии ДРР 100%. Получится такая таблица:

Проверим результат, умножив кол-во конверсий на CPA:

На 10 заявок мы получили расход в 80299 рублей или 8003 рубля на заявку (погрешность из-за округлений).

Это простейший метод распределения ценности заявки по воронке. Таблицу с примером можно скачать по ссылке. Вы можете изменять размеры бюджета на определенные этапы воронки в зависимости от их значимости и количества конверсий. Я, например, на верхний этап обычно оставляю такой бюджет, чтобы её CPA был в районе 5-6 рублей, т.к. на этом этапе достаточно много конверсий и есть небольшие риски переоценить вес незначительных признаков векторе не за счёт ценности цели, а за счет их количества.

Более сложные методы расчёта ценности целей я разберу в другой статье. Подписывайтесь на телеграм, чтобы не пропустить её выход. Статьи пишу редко, т.к. пытаюсь собрать качественный материал.

Такую ценность конверсий я выставил по воронке. Каждый этап воронки отмечен своей цифрой. К сожалению, один из этапов не отработал, т.к. была некорректно настроена цель (моя ошибка), но это не повлияло на конечный результат и даже помогло снизить CPO, т.к. не было списаний по не отработавшей цели.

Получили следующие промежуточные результаты:

Увеличили количество заявок на 86% при снижении CPO на 26%. Результат хороший, но не стоит сразу переделывать все свои рекламные кампании. Не забываем про правило – работает, не трогай. К тому же выборка небольшая и я продолжаю мониторить ситуацию.

Те, кто смогли дочитать до конца – большие молодцы. Это действительно сложная статья и для вас, и для меня. Задавайте вопросы, постараюсь на все ответить.