Лого vc.ru

Programmatic buying: как происходит автоматизированная закупка рекламы по аукционной модели

Programmatic buying: как происходит автоматизированная закупка рекламы по аукционной модели

Представители компании GetIntent — технический директор Владимир Климонтович и специалист по анализу данных Юрий Логачев — написали для vc.ru колонку о том, как реализуется аукционная закупка рекламы с помощью DSP, какие таргетинги применяются и с помощью каких алгоритмов определяется размер ставки.

Поделиться

Структура programmatic

Programmatic buying — автоматизированная покупка таргетированной рекламы в формате аукциона для конкретных пользователей с учетом их интересов и потребностей. Для этого существует ряд сервисов и платформ.

Data Suppliers — поставщики данных. Они делятся на две группы: на тех, кто предлагает собранные аудиторные сегменты из обработанных данных (Processed Data Suppliers), и тех, кто предоставляет необработанные (сырые) данные (Raw Data Suppliers).

SSP (Supply Side platform) — платформы для издателей, позволяющие рекламным сетям и сайтам продавать рекламные площади.

Ad Exchange — рекламная биржа. Выставляет показы на продажу для посетителей сайтов рекламных сетей и издателей, отвечает за принятие ставки от DSP и объявление победителя.

Ad Network — рекламная банкетная сеть. Она содержит баннеры и управляет их показами с помощью рекламного сервера (Ad Server), который передает рекламу на сайт издателя, считает число показов, кликов, управляет оптимизацией кампаний.

DSP (Demand Side Platform) — компании, покупающие данные у поставщиков и применяющие их в рекламе. В материале речь пойдет прежде всего о работе этих платформ.

Технический директор компании GetIntent Владимир Климонтович
Специалист по анализу данных компании GetIntent Юрий Логачев

DSP (Demand Side Platform) — инструмент для автоматической закупки интернет-рекламы, напрямую взаимодействующий с SSP (Supply Side Platform), рекламными сетями (Ad Network), рекламными биржами (Ad Exchange) и сайтами (в терминологии интернет-рекламы они называются паблишерами).

Главная цель DSP — купить по оптимальной цене рекламные показы и продемонстрировать объявления пользователям, максимально точно соответствующим запросам рекламодателей.

DSP работает с различными форматами рекламы: баннеры, видеоролики, реклама в мобильных приложениях и так называемая нативная реклама, которая маскируется под контент сайта или приложения.

Мы будем говорить о DSP в контексте RTB-экосистемы (RTB расшифровывается как Real-time bidding), то есть когда реклама покупается формате аукциона в режиме реального времени.

Аукцион совершается за то время, пока загружается страница сайта. В момент, пока пользователь заходит на сайт, информация о нем поступает к SSP, которая, в свою очередь, посылает аукционные запросы (на английском bid request) ко всем подключенным к ней DSP.

Подключенные DSP проводят аукцион за рекламный показ. Каждая DSP делает ставку (bid) или отказывается от аукциона (в этом случае ставка будет нулевой). В итоге пользователь видит тот баннер, за который поставлена самая высокая ставка. При этом аукцион проходит по принципу второй цены. Это значит, что участник, выигравший аукцион, платит за показ сумму, равную второй по величине ставки.

На первый взгляд, подход кажется неочевидным, а смысл его непонятным. Однако экономист-математик Уильям Викри доказал, что именно такой тип акциона является самым справедливым и вынуждает участников делать «честную» ставку, не ориентируясь на возможное поведение других участников аукциона. За это доказательство и другие работы в области теории игр Викри получил нобелевскую премию по экономике в 1996 году.

Первоочередная сложность в работе DSP — отказоустойчивость. Процесс покупки (ответов на аукционные запросы от SSP) должен происходить надежно и очень быстро. DSP может обрабатывать до одного миллиона запросов в секунду.

Кроме отказоустойчивости DSP нужны «мозги» — алгоритмы таргетирования и предиктивной оптимизации. Об этом — ниже.

Стратегия работы DSP (таргетинги)

DSP работает с рядом рекламодателей, каждый из которых запускает несколько кампаний (иногда их количество доходит до тысячи). Каждая кампания имеет обособленную стратегию закупки рекламных показов, состоящую из совокупности таргетингов. Рассмотрим самые распостранненые из них.

Таргетинг пo списку доменов (сайтов)

DSP делает ставку только в том случае, если запрос от SSP пришел с определенного сайта. Обычно этот способ используют рекламодатели, которым важно, чтобы их объявление находилось в определенном контексте.

Географический таргетинг

DSP делает ставку, если запрос пришел от пользователя, находящегося в определенном городе или даже в определенном почтовом коде (актуально для стран вроде США или Великобритании). Местонахождение определяется платформой DSP по IP-адресу, который приходит вместе с запросом SSP.

Таргетирование по частотности показов

Частотность показов (frequency capping) подразумевает возможность не демонстрировать пользователю один и тот же баннер слишком часто. Суть ограничения состоит в том, что если, к примеру, после 20 показов пользователь так и не совершил целевое действие (клик, заказ или что-то еще), то дальше бессмысленно тратить деньги на покупку показов этому пользователю.

Кроме ограничения количества показов за всё время, DSP обычно дают возможность выставить ограничение за минуту, час, день и неделю. Потому что не очень разумно «бомбардировать» пользователя всеми 20 отведенными ему показами в первую же минуту.

Ретаргетинг

Данный подход позволяет показывать рекламу пользователям, которые посетили сайт рекламодателя, но ушли, не совершив целевого действия (например, покупки, заполнения формы заявки или звонка). Как показывает статистика, таких пользователей еще можно переубедить, напомнив о своем существовании.

RTB дало толчок к развитию ретаргетинга. Будучи подключенной к огромному количество SSP и имея доступ к миллиардам рекламных показов, DSP имеет возможность «дотянуться» практически до любого посетителя сайта рекламодателя.

Стоит упомянуть одно из расширений ретаргетинга — динамические ретаргетинг (DCO — dynamic creative optimization). В этом случае пользователю показывается персонализированный баннер, основанный на его истории посещений сайта рекламодателя. Например, пользователю, просмотревшему десять пар ботинок, в баннере отобразятся ботинки с ценами.

Таргетирование по аудиторным сегментам

Данный вид таргетинга позволяет показывать релевантное сообщение пользователям, которые заинтересованы какой-то определенной темой (например, автомобилями или спортом), а также людям из определенной демографической категории (например, мужчины 25-40 лет).

Как правило, DSP покупает данные о пользователях DMP (Data Management Platform — платформа управления данными). DMP регулярно (например, раз в день) выгружает для DSP базу данных пользователей, которая используется при обработке аукционного запроса и принятия решения о том, какую рекламу предлагать данному пользователю.

Также возможен и более продвинутый вариант, когда DSP узнает у DMP информацию о пользователе в режиме реального времени, то есть посылает запрос к DMP после каждого запроса от SSP.

Предиктивная оптимизация

Все вышеперечисленные таргенинги только определеляли логику выбора пользователя для показа рекламного объявляения. Однако они не затрагивают определения размеры ставки.

Работа с DSP, обладающей исключительно теми таргетингами, которые мы описали выше, предполагает ручной труд — маркетолог или трафик-менеджер должен сам подбирать ставку и менять таргетинги в зависимости от результатов работы рекламной кампании (эффективной цены клика или конверсии). Но в постиндустриальном обществе труд дорог, и велика вероятность ошибки из-за человеческого фактора.

Для этого в некоторых DSP реализованы алгоритмы предиктивной оптимизации (иногда такой алгоритм называют «предикт» или «предиктор»). Рассмотрим их работу на примере:

Представим себе, что менеджер по маркетингу банка решил запустить рекламную кампанию нового продукта. Для этого он подобрал несколько десятков сайтов с обеспеченной аудиторией (таргетинг по доменам), и выбрал крупные города, где представлены отделения банка (географический таргетинг).

Также менеджер установил ставку в 100 рублей CPM (Сost Per Mille — цена за тысячу показов) или 10 копеек за один показ. Но выясняется, что средный CTR (Click-Through Rate или процент кликов относительно показов) — 0,1%. Это значит, что каждый посетитель сайта обходится в 100 рублей (эта сумма называется CPC — цена за клик):

Цена в 100 рублей слишком высока для менеджера. Он согласен платить за визит не более 20 рублей, поэтому понижает цену CPM до этой суммы. Цена клика становится приемлемой, но из-за низкой ставки DSP выигрывает аукцион крайне редко, и совокупный объем трафика недостаточен. Что же делать?

Величина CTR не является постоянной. Более того, она не является постоянной для разных сайтов. Например, на одном и том же сайте аудитория из разных городов будет кликать с разной частотой. Московские и петербургские пользователи гораздо охотнее кликают на рекламу интернет-магазина, потому что они знают, что курьер привезет товар на следующий день. При этом житель Магадана, для которого доставка может занять до трех недель, с гораздо меньшей охотой отреагирует на рекламное объявление о новогодних скидках.

Но всё ещё сложнее. Аудитория разных сайтов по-разному реагирует на различные рекламные объявления. Очевидно, что посетитель автомобильного сайта с большой вероятностью кликнет на рекламу нового внедорожника, чем посетительница онлайн-ресурса с рецептами.

Предположим, у нас есть способ узнать ожидаемый CTR объявления на конкретном сайте для определенного пользователя. В этом случае размер ставки CPM можно вычислить динамически по формуле: CPM = (ожидаемый CTR) x CPC x 100.

То есть DSP будет одновременно покупать дешевые показы с ожидаемым низким CTR (например, показы по 20 рублей CPM с ожидаемым CTR 0,1%), так и дорогие показы с высоким CTR (например, по 60 рублей с CTR 0,3%). DSP одновременно выполнит цели кампании как по цене визита, так и по максимальному количеству привлеченных пользователей.

За вычисления ожидаемного CTR отвечает алгоритм предиктивной оптимизации. Его задача — на каждую пару (запрос от SSP, плюс рекламная кампания, подходящая по таргетингу) посчитать ожидаемый CTR, который равен вероятности клика. Такая, на первый взгляд, простая цель решается довольно непростыми алгоритмами машинного обучения.

Обычно алгоритмы предиктивной оптимизации универсальны и также могут предсказывать вероятность иного целевого действия: например покупки (конверсии).

***

Многие до сих пор считают RTB и programmatic таинственными технологиями, суть работы которых понятна только узкому кругу технических специалистов. Надеемся, что этот материал ответит на многие вопросы о работе DSP, которые возникали у маркетологов. И если вы только планируете начать работать с DSP-платформой, теперь обязательно спросите у представителей платформы: «А как работает ваш предикт?».

Статьи по теме
Рынок данных в России: Стоимость, поставщики, аудиторные сегменты14 октября 2015, 15:37
Участники российского рынка programmatic buying — о своих проектах, конкуренции и технологии29 апреля 2015, 20:19
Рубрика «Digital» выходит при поддержке проекта «Одноклассники»
Популярные статьи
Показать еще
Комментарии отсортированы
как обычно по времени по популярности

- участник, выигравший аукцион, платит за показ сумму, равную второй по величине ставки.

+1 цент забыли добавить

Бывает по-разному. +1 цент, +1 копейка, просто вторая цена. Так же нечестные SSP иногда берут среднее арифметическое между первой и второй ценой (некоторые — открыто, а некоторые — мухлюют). Так же последнее время есть тенденция перехода на аукцион первой цены в некоторых случаях.

Для упрощения мы просто оставили просто вторую цену.

Кейс:

1. На сайте вебмастера стоит код SSP. Код в iframe выдает вашу рекламу. Iframe не позволяет вам видеть по сайту собственно ничего.

2. Вебмастер фродит и накручивает показы "добровольным ботнетом" (автосерферские программы). Ну то есть вы видите реальных юзеров с перемещениями, с данными, все легитимно, но это накрутка. Показы на сайте прут, но кликов нет.

3. Вы понимаете, что вас обманывают, но активность на сайте вам фактически недоступна, поэтому вы мониторите CTR или иными способами смотрите убыток по сайтам. Таким образом вы через некоторое время баните 80% сайтов.

4. На сайтах которые входят в вашу сеть и где стоят ваши коды вы можете видеть буквально все. Соответственно накрученные показы вы просто не принимаете. Но такой фокус не пройдет в РТБ. Так как за iframe выйти вы не можете и информация по текущему поведению юзера вам доступна лишь из бидов.

Ваши действия по спасению репутации РТБ?

То, что вы описываете это и есть предиктивная оптимизация цены клика, только очень примитивная, когда в расчет берется только имя сайта.

В реальной же жизни, кроме сайта есть еще такие параметры как geo, размеры, id места и многое другое. Как показывает практика, один и тот же сайт может

а) быть доступным через разные SSP, причем через одни честно, а через другие через прозрачные iframe'ы и т.д.
б) продавать одни места честно, а другие через "трюки". Причем это не всегда вина сайта, очень часто сайт перепродает какую-ту часть инвентаря нечистоплотным сетям, которые, в свою очередь, отдают его SSP
в) накрутка показов можно происходить только из определенных регионов (например, из Москвы), а трафик из Питера может быть вполне чистый
+ куча других кейсов

Итого: необязательно "банить" сайты. Нужно банить более сложные сегменты, и не "банить", а пессимизировать оценку вероятности клика. И конечно это делается не вручную, а ML-алгоритмами.

Impression fraud — уже давно решенная проблема в RTB, спасать тут ничего не надо. Сlick fraud — более сложная штука, хотя в целом тоже решаемая. Мы хотели в этой статье написать про click fraud раздел, но он получился настолько большим, что мы решили выделить в отдельный текст. Вероятно, мы его опубликуем скоро.

Поясните пожалуйста, как вы можете выделить предиктивно реального юзера от этого же юзера с программой через ифрейм? И не могли бы дать ссылки на кейсы где "impression fraud" давно решенная проблема, потому что я раз в полгода точно натыкаюсь на статьи вроде "Фрод достиг 100500 миллиардов в год и с этим рекламодатели ничего не могут поделать".

Иван, я в своем комментарии написал аж три примера. Если они непонятны, я сдаюсь :) В конце-концов, как-то странно объяснять конкурентам азы работы экосистемы.

1. Мы с вами не конкуренты. У нас разные клиенты. Мы с брендами не работаем. Наш клиент - малый бизнес с ценой клика 5-10р.

Вами приведенные примеры понятны. Но не понятно все же как вы за ифрейм ssp научились глядеть за активностью юзера на сайте вебмастера. Я вот не понимаю как можно сказать что показ не фродовый потому что он из Питера и в прямой ротации SSP, а не через мусор, вроде Clickganic.

P.s. Эка у кого-то из пиарщиков отрасли пердаки то рвет от моих комментариев раз так яростно минусуют.

0

Владимир, я лично не увидел каких либо особенных решений в отношении фрода у Вас в системе. Расхождение со статистикой на стороне клиента ("потерянные переходы") зашкаливает (50 - 100%). DMP со своими сегментами постоянно отваливаются, в результате чего bid_request падает до нуля при этом поддержка молчит. То что данные значительно улучшают постклик - это факт, но вот трафика для региональных РК на данных попросту нет, толи с матчингом проблемы у Вас толи еще с чем.

0

Александр, особенность нашего антифрода состоит в том, что он работает только для тех рекламодателей, кто установил пиксель на своей странице.

Что касается регионов, в них действительно мало трафика по причинам малого количества людей и низкого процента проникновения интернета, что сказывается как на данных, так и на доступном инвентаре. Тут, увы, сложно повлиять на ситуацию

0

вступлюсь немного за Ивана)))

в своем комментарии вы лишь разбили ситуацию на более мелкие частности... думаю, многим понятно, что рекламные кампании тем или иным образом таргетированы... так вот замените слово "сайт" в комментарии Ивана на слово "space ID" и примите во внимание то, что эта рекламная кампания уже таргетирована не во все деревни всем дедушкам, а в конкретную и дедушкам в возрасте от 55 до 67, например)))

в итоге, благодаря нечистым методам, можно иметь схожую статистику с той, о которой писал Иван... в таком случае вы не будете просто "банить сайты", а банить конкретные места размещений с нужным вам таргетингом... поэтому все то, о чем вы написали - это не конкретные примеры/решения, а лишь смена масштаба ;)

ну и в итоге напрасно заминусовали Ивана)))

разговоры насчет "решенных проблем" impression fraud, как и более изощренных методов фрода, всерьез воспринимать не могу... даже такие сравнительно дорогие решения, как упомянутый где-то в этой теме forensiq, не идеален, что уж говорить о тех, которые просто фильтруют алгоритмы изместных ботов... всегда можно что-то обойти и что-то имитировать... это - борьба, конца и края которой не видать

здорово, что вы верите в то, что с помощью вашей DSP вы решаете все проблемы рекламодателей.. значит, кого-то получится в этом убедить)))

я же останусь при своем мнении и имея дело с интернет-рекламой буду понимать, что я не получаю в свои руки "серебряную пулю", а, как практически везде, иду на компромисс ;)

0

Продвинутые RTB подключают к себе системы анализа фрода вроде forensiq.com/ и радуются.

0

Работаем с forensiq и должен Вам сказать, что они тоже не всегда дают гарантию, но в большинстве случаев фродовый трафик детектится...Особенно хочу отметить их детальные и очень информативные отчеты, это сказка просто, но и цена соответствующая.

0

Владимир, огромное спасибо за статью. С удовольствием прочитал бы и "большой" текст по click fraud, так как проблема актуальная.

0

Иван, я в своем комментарии написал аж три примера. Если они непонятны, я сдаюсь :) В конце-концов, как-то странно объяснять конкурентам азы работы экосистемы.

Аббревиатура CPM расшифрована ошибочно, стоит поправить.

столько разных методологий и техник, целые бизнесы, построенные вокруг рекламных тактик, и всё только ради того, чтобы вася пупкин ставил везде адблок и менял тип инстаграм-аккаунта на приватный

0

структура ясна, но основной вопрос, которым задаются многие рекламодатели, кто понял принцип РТБ, куда обращаться - агентство, сервисы, в Ad exchange или Ad network?

0

В DSP напрямую, если есть хорошая компетенция. В агентство — в противном случае

Не эксперт в этом, но мне кажется, что если выполнять вычисление CTR на стороне SSP (для всех DSP которые хотят участвовать в аукционе) и репортить эти значения соответствующим DSP, то проблема становится существенно проще - у SSP уже может быть накопленная статистика о CTR для различных категорий DSP и это просто задача классификации. Хотя из текста следует, что CTR вычисляет каждый DSP независимо. Почему так?

0

Вероятность клика сильно зависит от того, что рекламируется. Одна и та же DSP может рекламировать как iPhone c 30% скидкой, так и Бентли. Из общих соображений ясно, что на iPhone будут кликать охотнее.

SSP заранее не знает, рекламой чего именно ответить DSP, поэтому нормально оценить матожидание CTR'а не может.

Не говоря уже о том, что коммерчески это бессмысленно. Зачем SSP делать чужую работу?

Понял, спасибо. Видимо из-за примера с банковским менеджером я решил, что DSP всегда относится к определенной категории (E.g. бакнковксие продукты в этом примере). В этом случае если SSP может более точно оценить CTR, то это не бессмысленно, а, наоборот, повышает эффективность рынка. Но ваш ответ меня тоже устраивает :)

0

Понял, спасибо. Видимо из-за примера с банковским менеджером я решил, что DSP всегда относится к определенной категории (E.g. бакнковксие продукты в этом примере). В этом случае если SSP может более точно оценить CTR, то это не бессмысленно, а, наоборот, повышает эффективность рынка. Но ваш ответ меня тоже устраивает :)

0

Фактически это же просто посредники? Зачем нужны эти сервисы, если любой пользователь может сам купить рекламу напрямую у социальной сети?
А чтобы сделать ее узко направленной можно использовать церебро и подобные сервисы.

Тимур, речь идет про рекламу на обычных сайтах, а не в социальной сети.

О социальных сетях подумал из-за слов "таргетированная реклама".
Как понимаю на обычных сайтах рекламу можно купить через РСЯ от Яндекса, КМС от Google и другие рекламные сети.
Что нового дают эти сервисы?

0

что такое "Ad Network — рекламная банкетная сеть?".

0

Вот тут хорошо про все роли рекламного рынка рассказано:
www.displayadtech.com/the_display_advertising_technology_landscape

0

В этой же терминологии можно считать работу с рекламными сетями директа и адвордса - покупкой через ртб?

0

Возможность комментирования статьи доступна только в первые две недели после публикации.

Сейчас обсуждают
Maxim Ro
TSUM Moscow

Идти к профессионалу - хороший совет. Я раз в пару лет встречаюсь с профессиональным консультантом обсудить прогресс инвестиций. Очень интересное общение, хотя и недешевое.

«Никому не выгодно, чтобы у вас скапливались деньги»
0
Антон Иванов

Кому нужен ВК, когда есть Spotify?

«ВКонтакте» закроет публичный доступ к аудиозаписям для сторонних приложений
0
Антон Иванов

из мемов

«ВКонтакте» закроет публичный доступ к аудиозаписям для сторонних приложений
0
Влад Борщ

А как ООО (общества с ОГРАНИЧЕННОЙ ответственностью) быть? Даже сама формулировка говорит о том, что ответственность ОГРАНИЧЕНА уствным капиталом. Причем тут учредители? Очередная хуйня какая то. То интернет всячески ограничивают, то налогами всех ебут. Мне интересно одно, когда уже российский народ это все заебет и они выйдут на митинги? То гавно, что в РФ произошло за последние 2-3 года это же полная жопа, тоталитаризм наступает?

Путин разрешил налоговикам требовать долги компаний с их владельцев и учредителей
0
Izobretatel

Надеюсь не закроется, мебель то больше негде покупать...

IKEA оспорит арест 9 млрд рублей на счетах российской «дочки»
0
Показать еще