Как работают нейросети в контекстной рекламе. Обучаем машину приводить качественные заявки

Сейчас из каждого утюга кричат про нейросети и каждый желает забрать ваши деньги за то, что научит вас писать запросы в чате. Здесь не про это. Будет много формул, непростой теории и кейсы. Мы сделаем лоботомию этому робомозгу и попытаемся разобраться с принципами его работы.

Ведь, как и хороший врач не может лечить, не разбираясь в особенностях функционирования внутренних органов, так и хороший ppc-специалист не может вести контекстную рекламу без понимания того, как функционируют алгоритмы рекламных систем Яндекса и Google.

• Модели машинного обучения через призму контекстной рекламы
  

• -- UL - Обучение без учителя
• -- SL - Обучение с учителем
• -- RL - Обучение с подкреплением
• Вознаграждение (подкрепление) ИНС в обучении контекстной рекламы
• -- Вознаграждение в CPA стратегиях
• -- Проблема CPA стратегий
• -- Вознаграждение в ДРР стратегиях
• -- Как вознаграждение работает при оплате за клики
• Вектор признаков в обучении автостратегий
• -- Как работает вектор признаков в CPA и ДРР стратегиях
• -- Вектор признаков на кейсе металлобазы
• Вороночный подход к установке ценности конверсии
• Кейс по воронке целей
  

Для понимания того, как работают автостратегии (они же искусственные нейронные сети – ИНС), придется погрузиться в базовую теорию машинного обучения. В ней нас интересует только классификация и принципы работы основных моделей. Рассмотрим их на примерах в т.ч. из контекстной рекламы.

В мире машинного обучения (ML) существуют три основных модели, каждая из которых обрабатывает информацию по-разному:

• Обучение без учителя (unsupervised learning - UL);
• Обучение с учителем (supervised learning - SL);
• Обучение с подкреплением (reinforcement learning - RL).

Эти модели позволяют решать разнообразные задачи и применять машинное обучение в разных областях. Давайте разберем каждую из них подробнее:

Здесь модель обучается на неразмеченных (сырых) данных, не имея явных ответов. Она ищет скрытые структуры, группирует данные или снижает размерность. UL чаще всего используют на больших массивах входных данных в двух сценариях:

1. Когда нет понимания, как классифицировать данные и необходимо, чтобы ИНС нашла закономерности за вас.
2. Когда понимание есть, но ручной труд экономически или физически не целесообразен.

Часто к подобным моделям относят популярный GPT, однако в его случае все сложнее и применялись все три модели обучения, как и в контекстной рекламе.

Примеры использования:

• Рекомендательные системы маркетплейсов и социальных сетей;
• Сжатие видео/аудио без потерь;
• В контекстной рекламе может использоваться для кластеризации всех пользователей поисковой системы по интересам и платежеспособности и т.п.

В этом методе модель обучается на размеченных учителем данных, где каждый пример имеет соответствующий ответ (целевую переменную). Модель стремится предсказать целевую переменную для новых данных.

Например, учитель размечает пул изображений на картинки с котиками и без. Модель обучается на этих размеченных данных. Далее мы даем модели новые картинки, и она уже пытается найти на них котиков.

SL модели решают задачи классификации и регрессии (предсказания).

Примеры использования:

• Банковский скоринг. Мы размечаем клиентов банка на тех, кому одобрили кредит и кому нет, а модель на основе этих данных может разбить людей на классы (погасит, не погасит) – задача классификации. Так же схожая модель может предсказывать вероятность погашения кредита – задача регрессии.
• В контекстной рекламе на основе модели с учителем может работать автотаргетинг, который предварительно размечали асессоры. Так же регрессионная модель может использоваться в предсказании вероятности клика (CTR).

В модели RL нейросеть обучается в среде и получает от нее обратную связь в виде состояния среды и вознаграждения/штрафа. Т.к. это ключевой для этой статьи вид обучения, введем несколько общепринятых терминов и на их основе разберем принцип работы модели.

• Агент – сущность, которая принимает решения и выполняет действия.

• Окружение (среда) – «внешний мир», с которым взаимодействует агент.

• Состояние – описание текущего состояния среды.

• Действие – действие, которое агент может предпринять.
  

• Подкрепление (вознаграждение) – число, которое агент получает после выполнения действия. Оно может быть положительным, отрицательным или нулем.
  

• Стратегия – определяет, какие действия агент должен предпринимать в зависимости от состояния.

• Цель агента – научиться выбирать действия так, чтобы максимизировать суммарное подкрепление.

Теперь, с оглядкой на картинку ниже, разберем принцип работы модели на примере игры в Марио.

1. Состояние:

На старте Марио (Агент) находится в начальной позиции на игровом уровне. Это состояние включает в себя информацию о его координатах, скорости, наличии врагов и препятствий.

2. Действие:

Марио может совершать различные действия, такие как движение влево, вправо, прыжок или использование способностей (например, сбор монет).

3. Вознаграждение:

Если Марио собирает монету, он получает положительную награду. Если он сталкивается с врагом или падает в пропасть, он получает отрицательную награду.

4. Обновление ситуации:

Когда Марио совершает действие (например, прыжок), среда реагирует. Если он прыгает на врага, враг уничтожается, и Марио получает награду. Если он падает в пропасть, он теряет жизнь и начинает уровень заново.

Таким образом, среда взаимодействует с Марио, обновляя состояние, предоставляя награды и реагируя на его действия. Это позволяет Марио учиться и адаптироваться к условиям уровня, стремясь максимизировать свою общую награду.

Примеры RL:

• Беспилотное такси;
• AlphaZero от DeepMind (чемпион мира по Го и Шахматам). Здесь в качестве среды (Учителя) выступает вторая точно такая же нейронная сеть, а не человек;
• В контекстной рекламе ppc-специалисты являются частью среды, которая не полностью, но в большей степени отвечает за вознаграждение, а соответственно и за дообучение рекламных стратегий.

Блок-схема выше наглядно демонстрирует почему обучение автостратегий никогда не заканчивается – это цикличный постоянный процесс с обновлениями среды.

Теперь, когда мы понимаем, как работают нейросети, разберемся с тем, на что мы можем повлиять - вознаграждение при обучении ИНС. Предположим, из чего оно может состоять. Для этого разделим все автостратегии на три класса по моделям оплаты:

• CPA стратегии (с оплатой за конверсию);
• ДРР стратегии (с оплатой доли рекламных расходов);
• CPC стратегии (с оплатой за клик).

Такое деление не случайно, т.к. с высокой долей вероятности именно от него зависит уровень вознаграждения и подход к обучению автостратегии.

Логично предположить, что вознаграждения алгоритма обучения при CPA стратегиях заключается в том, на сколько ИНС смогла вложиться в стоимость цели, т.е. чем меньше трафика ей пришлось закупить, для получения одной конверсии, тем большее вознаграждение получит агент.

Попробуем вывести формулу для данной схемы вознаграждения. И, если часть с пряником очевидна (это tCPA), то с кнутом придется разобраться.

где

• tCPA – это цена, которую мы готовы платить за достижение цели;
• pCR – прогнозный CR или, проще говоря, вероятность того, что данный клик приведет к конверсии.
  

Теперь мы можем вывести формулу вознаграждения нейросети из имеющихся данных:

Здесь k – это количество кликов, которое потребовалось для достижения одной цели. Таким образом, вознаграждение ИНС при CPA стратегиях (Rk) составляет разницу между ценой достижения цели (tCPA) и стоимостью всех кликов, которые потребовались на достижение этой цели (∑CpaBid).

Т.к. задачей агента является максимизация прибыли, а на tCPA он повлиять никак не может, то он будет пытаться показывать рекламу таким образом, чтобы сократить число кликов или их стоимость.

С учетом того, что чем выше pCR, тем меньше потребуется кликов (k) – обратная пропорциональность – можно утверждать, что агент будет стараться искать клики с наиболее высоким pCR.

Не смотря на кажущуюся логичность оптимизации рекламных кампаний по этой стратегии, у нее есть один существенный недостаток – у ИНС нет задачи оптимизироваться по всем вашим целям. Её задача найти те цели или ту цель, по которой она сможет получать наибольшее вознаграждение. Поэтому, такие стратегии подходят тогда, когда у вас ТОЛЬКО ОДНА легко (не менее 10 раз в неделю) достигаемая Macro-цель или несколько равноценных Macro-целей и для вас нет никакой разницы, какая из них будет достигаться. Наиболее частые сценарии использования:

• на странице только форма заявки/регистрации (обучения, конференции, онлайн-запись на услуги), при этом нет возможности позвонить или скопировать email;
• имеется достаточно данных и стоят четкая задача по оптимизации конкретной цели (продажи через чекаут в крупном ecommerce, продажи на маркетплейсах, дочитывания инфо материалов);
• на сайтах, где звонок, форма, отправка email и любой иной способ коммуникации несут для клиента одинаковую ценность и достигаются не менее 10 раз в неделю.

Что же делать, когда требуется оптимизация сразу по нескольким целям с разной ценностью? Работаем со стратегиями с оплатой за долю рекламных расходов.

Важным отличием ДРР стратегий от CPA является то, что они пытаются максимизировать вознаграждения с доли рекламных расходов, а следовательно, она будет пытаться найти наиболее эффективные КОМБИНАЦИИ целей, которые отдадут агенту максимальное вознаграждение и более комфортные условия среды для добычи новой порции наград. Выражаясь языком ppc-специалистов, именно эта стратегия подходит для оптимизации по нескольким целям.

Попробуем вывести формулу вознаграждения, чтобы математически подкрепить гипотезу. Для начала определимся с тем, чего в стратегии ДРР добивается агент. В случае с CPA-стратегиями все было просто – он хочет сохранить в качестве вознаграждения большую часть от указанной в настройке цены конверсии (tCPA). Для этого ему требуется найти за минимально возможное число кликов людей с максимальным уровнем прогнозного CR, т.е. сократить расходы.

В ДРР стратегиях все несколько сложнее. Начнем с того, что мы указываем несколько целей и их ценности. В таком случае агент должен максимизировать свой доход, опираясь на любую последовательность выполнения целевых действий из списка. Выведем формулу вознаграждения ИНС:

Агент получает вознаграждение, равное заданной доле рекламных расходов, умноженный на сумму ценностей всех достигнутых в рамках модели атрибуции целей.

Отсюда мы можем вывести расчётную ставку, с которой агент будет заходить на аукцион:

Ставка будет равна прогнозному вознаграждению агента, умноженному на прогнозный CR. Попробуем раскрыть эту формулу и подставим Profit из формулы выше:

Т.е. алгоритмы автостратегий должны спрогнозировать вероятность достижения каждой из занесенных в настройки рекламной кампании цели и умножить их на их ценность. Получится некоторая вероятностная сумма ценности посетителя.

Теперь посчитаем конечное вознаграждение (подкрепление) агента с учетом ставок:

Логика получается такая же, как и в CPA стратегиях, но при этом ИНС учитывает все занесенные цели.

В этом пункте я буду гадать, но на мой взгляд, более логично было бы оставить точно такую же схему, но в тех случаях, когда система штрафов будет превышать систему вознаграждений, можно вместо отрицательной награды давать агенту ноль. Ведь по факту рекламная система ничего не теряет, в отличии от моделей с оплатой за конверсию. Вы платите за клики и берете неудачи агента на себя. Это не плохо, когда специалист разбирается в своей работе и, к тому же это помогает предохранят рекламные кампании от затуханий, т.к. штрафы в большом количестве загоняют агента в ситуацию, когда он не знает, как поступить и просто останавливает обучение.

Итак, мы разобрались в каких случаях использовать различные модели оплаты за контекстную рекламу, но остается главный вопрос: «как выбирать цели и какую ценность им ставить?» Здесь придется изучить еще один термин из машинного обучения – вектор признаков.

В ppc это могут быть такие данные, как краткосрочные и долгосрочные интересы посетителя, соцдем характеристики, история покупок, вероятность клика по рекламе и многое другое, буквально все, что можно оцифровать, выделить в характеристику и присвоить вес.

Когда мы выставляем корректировки ставок на условных женщин от 21 до 45 с айфоном и работающих в Москве, мы создаем локальный вектор признаков, но по факту просто корректировками усиливаем веса некоторых признаков глобального вектора рекламной кампании.

ИНС принимает решение об участии в аукционе за потенциальный клик именно на основе вектора признаков и, если очень грубо, то он и есть та недостающая часть, которая в формулах выше отвечает за прогнозный CR.

Скорректируем блок-схему обучения с подкреплением с учетом вектора признаков и с адаптацией к специфике контекстной рекламы.

Новые данные (потенциальный посетитель сайта) преобразуются в вектор признаков, проходят через модель (агента) и последний даёт прогноз - в нашем случае предсказывает с какой вероятностью пользователь совершит конверсию, если кликнет по рекламе). Если клик происходит, то среда отдает агенту вознаграждение или штраф и модель (вместе с весами вектора признаков) корректируется - если было получено вознаграждение, то присущие посетителю признаки усиливаются и наоборот, ослабляются, при штрафе.

Отсюда мы можем сделать вывод, что цена/ценность конверсии, которую мы выставляем в настройках стратегии прямым образом влияет на то, какие признаки посетителей будут усиливаться в процессе обучения, а соответственно и сами цели нужно подбирать таким образом, чтобы усиливать определенные характеристики пользователей. Можно сказать, что через цену цели мы выставляем веса определенных характеристик пользователей:

• поставили более высокую CPA по цели «Звонок» → усилили признаки b2c посетителей сайта;
• задали выше CPA для клика по email → усилили вектор признаков b2b.
  

Основной проблемой CPA стратегий, как мы выяснили выше, является отсутствие акцента на продвижение по нескольким целям, поэтому нам приходится выбирать: продвигаться по micro или по macro целям.

При продвижении по Macro целям все отлично, и мы будем усиливать самые важные признаки, но на входе у нас бульон из тех, кто хочет приобрести аналогичные услуги/товары конкурентов, почитать о них и т.п. (левый график – нижнее облако точек). Поэтому система и требует минимум десять конверсий в неделю, чтобы у нее хотя бы была возможность выделить из этого бульона наиболее важные характеристики.

Если же мы оптимизируемся на микроцели, то агент легко обучится, но соберет большой набор признаков (середина правого графика), на основе которых либо сразу, либо в процессе последующих циклов общения со средой найдет более легкий вектор признаков и максимизирует награду на тех, кто хочет посмотреть и купить офлайн или сделать сам. Да, в процессе циклов взаимодействия со средой агент будет возвращаться к правильному вектору признаков, но это будет рандом, а не стабильная работа рекламы.

В большинстве случаев лучше использовать стратегии с ДРР и вороночным подходом к построению цены конечного покупателя. Для этого мы используем каждый этап к покупке в качестве более нижнеуровневой цели с большей ценностью (Nano → Micro → Macro → Deal).

Идея заключается в том, что мы выбираем из большого числа признаков сначала общие признаки для активных посетителей сайта, из них выбираем и усиливаем тех, кто сделал полезное действие на сайте. На следующем уровне усиливаем еще больше признаки тех, кто оставил заявку и на последнем тех, кто уже купил/стал клиентом.

Мы как бы выстраиваем систему фильтров от крупного к мелкофракционному и даем агенту достаточно информации, чтобы он не тыкался в один набор признаков и занимался их перебором, а видел всю картину целиком и выстраивал путь к лучшему решению.

Проблемой обучения рекламных кампаний моего клиента ООО «Ви-Металл» зимой является резкое падения спроса на продукцию. При этом, остаются заказы преимущественно из b2b сектора (опт) и нужно оптимизировать рекламу на малых данных. Подробно, вся ситуация описана на рисунке ниже. Далее попробуем разобрать, что происходит на каждом этапе воронки целей.

Будем двигаться от нижнего левого края к верхнему правому по стрелке. Каждый последующий этап будет кружком на графике и цифрой в списке ниже. Стрелки с ответвлениями от основного маршрута будут маркированным списком:

1. Сырые данные – люди, которым потенциально может быть показана наша реклама, бульон из различных признаков без закономерностей.

2. Прохождение фильтра по текущему вектору признаков (у нас же уже обученные рекламные компании и они знают примерный набор характеристик входящего на сайт трафика). На этом этапе мы получаем признаки всех, кто зашел на сайт. Сюда можно повесить промежуточную цель с активными визитами.

Если мы станем оптимизироваться только по этой цели, то мы не сможем предсказать какой именно трафик обучится приносить модель:

• тех, кто станет добавлять товары в корзину;
• тех, кто в обход корзины сразу позвонит, напишет на email, отправит форму;
  
• пустые заходы на сайт по тем или иным причинам.
  

На этом этапе мы готовы заплатить за усиление каждого признака потенциального клиента 5 руб.

3. Добавления в корзину. Для того, чтобы усилить признаки только тех пользователей, которые не просто активно вели себя на сайте, но и добавили товар в корзину, мы за признаки таких пользователей доплачиваем еще по 30 руб. (Цифры условны, дальше я покажу, как их считать правильно). Таким образом из 100 визитов с набором признаков по 5 рублей мы усилили 10 с признаками по 30 и получили признаки по 35 рублей. Но ведь в корзину добавляют не только те, кто хочет купить товар, а еще:

• Те, кто собирает комплект металла для забора и хочет прикинуть стоимость, а покупать он планирует на рынке, в Леруа и т.п.
• Мастера, которые используют корзину вместо вкладки «избранное», чтобы быстро производить расчёт нагрузок на металлопрокат по характеристикам товаров на сайте и т.д.
  

4. На следующем этапе мы платим за конверсию по ecommerce покупкам и звонкам, т.е. усиливаем признаки следующего уровня воронки. Пускай таких будет двое и за каждого из них мы заплатим по 300 рублей (в десять раз дороже, чем за корзину). При этом, те кто позвонит не обязательно пользовались корзиной, а соответственно их веса признаков будут усилены на 300 + 5 = 305 рублей, а не на 300 + 30 + 5 = 335 руб.

Но и на этом этапе на большой выборке будут попадаться признаки тех, на кого бы мы не хотели оптимизировать рекламу:

• Холодные звонки от seo, ppc, подрядных и прочих кампаний, которые не собираются покупать наш товар, а кликают по рекламе с целью продажи своих.
• Роботы и низкоквалифицированная наёмная сила конкурентов, умышленно совершающие конверсию с целью склика рекламного бюджета.
  

5. Качественный лид. Здесь из 3 заявок мы закрываем в сделку одну и усиливаем признаки качественного лида еще на 1000 рублей. Так, самые важные признаки в векторе будут усилены на 1335 или 1305 рублей, а в целом за одного клиента мы заплатим:

Возьмем набор целей, которые мы отслеживаем на сайте. Пусть это будут такие цели:

В примере, заказчик готов платить 8 000 рублей за сделку. Распределим эту сумму на всю воронку целей - назначим CPA для каждой цели в стратегии ДРР 100%. Получится такая таблица:

1. В первом столбце названия целей.
2. 2. Бюджет в ней мы распределили поровну на каждую стадию воронки 2000 + 2000 + 2000 + 2000 = 8000 руб.
   
3. Третий столбец – количество конверсий по цели.
   
4. В четвертом столбце указано, сколько конверсий данного уровня необходимо достичь, на одну сделку, ведь в нашем примере 10 сделок, а мы распределяем бюджет на одну. Т.е. мы делим количество конверсий текущего уровня на кол-во сделок.
   
5. Получаем CPA делением предыдущего столбца на выделенный бюджет.

Проверим результат, умножив кол-во конверсий на CPA:

На 10 заявок мы получили расход в 80299 рублей или 8003 рубля на заявку (погрешность из-за округлений).

Это простейший метод распределения ценности заявки по воронке. Таблицу с примером можно скачать по ссылке. Вы можете изменять размеры бюджета на определенные этапы воронки в зависимости от их значимости и количества конверсий. Я, например, на верхний этап обычно оставляю такой бюджет, чтобы её CPA был в районе 5-6 рублей, т.к. на этом этапе достаточно много конверсий и есть небольшие риски переоценить вес незначительных признаков векторе не за счёт ценности цели, а за счет их количества.

Более сложные методы расчёта ценности целей я разберу в другой статье. Подписывайтесь на телеграм, чтобы не пропустить её выход. Статьи пишу редко, т.к. пытаюсь собрать качественный материал.

Такую ценность конверсий я выставил по воронке. Каждый этап воронки отмечен своей цифрой. К сожалению, один из этапов не отработал, т.к. была некорректно настроена цель (моя ошибка), но это не повлияло на конечный результат и даже помогло снизить CPO, т.к. не было списаний по не отработавшей цели.

Получили следующие промежуточные результаты:

Увеличили количество заявок на 86% при снижении CPO на 26%. Результат хороший, но не стоит сразу переделывать все свои рекламные кампании. Не забываем про правило – работает, не трогай. К тому же выборка небольшая и я продолжаю мониторить ситуацию.

Те, кто смогли дочитать до конца – большие молодцы. Это действительно сложная статья и для вас, и для меня. Задавайте вопросы, постараюсь на все ответить.