Что выгоднее: самим разрабатывать алгоритм для интернет-рекламы или передавать специалистам
Компании впустую тратят сотни и даже миллионы рублей только потому, что берутся за собственную разработку. Все дело в особенности рекламного бизнеса.
Управление интернет-рекламой — ресурсоемкий процесс: нужно найти релевантную аудиторию и площадку, разобраться с трафиком и настройкой показа контента.
Сразу составить профиль аудитории формулировать другие элементы невозможно — это всегда перебор гипотез, моделей, алгоритмов. Процесс занимает время и требует денег. А если нет команды, которая уже работала с математическими системами, он затягивается или даже не приводит к нужным результатам.
В статье мы рассказываем, как компании справляются с проблемой разработки и анализа гипотез и почему решают передать разработку внешним командам.
Коротко о проектах
Клиенты:
— рекламное агентство;— контент-провайдер;
— оператор рекламы на рынке криптовалюты.
Бизнес-задачи
—проверить гипотезы и алгоритмы прежде, чем инвестировать в них деньги;
— автоматизировать анализ рекламы по заданным критериям, чтобы закупать ее на более выгодных условиях;
— получить алгоритм для поиска релевантной аудитории.
Решение — за счет своих ресурсов протестировать и настроить работу алгоритмов
Результаты:— Экономия бюджета. Рекламное агентство отказалось от инвестиций в неработающий алгоритм
— Автоматизация процесса. Контент-провайдер автоматизировал анализ данных для закупки рекламы
— Готовый алгоритм. Компания получила алгоритм для поиска релевантной аудитории
Рекламное агентство отказалось от инвестиций в неработающий алгоритм
Агентство из Испании зарабатывает на продаже рекламы. Компания закупает рекламу у площадок с платой за показы (CPM) и продает за действия (CPA) — когда оплачиваются только целевые действия пользователей, например скачивание, подписка или регистрация.
Проблема: нет ресурсов на проверку гипотез — команды с нужным опытом и готового программного решения. Один из способов увеличить доход — научиться показывать рекламу именно той аудитории, которая скорее выполнит целевое действие. В этом помогают алгоритмы, которые как раз задают критерии для показа контента.
Математики агентства выдвинули гипотезу для нового алгоритма. По задумке он должен оптимизировать трафик для смартфонов и планшетов так, чтобы пользователи совершали больше целевых действий.
Одной гипотезы мало, чтобы с уверенностью сказать, сработает алгоритм или нет. Все нужно тестировать, иначе есть риск вложиться в решение, которое ничего не меняет. Компании могут тестировать гипотезы за счет своих ресурсов — для этого нужны программисты, тестировщики, аналитики. Еще один вариант — подключить внешнюю команду, которая специализируется на проверке алгоритмов.
У агентства нет в штате команды для обкатки гипотез, и ее пришлось бы нанимать. В этом случае тестирование заняло бы около двух лет: сначала ищешь специалистов, погружаешь в процесс и особенности алгоритмов, разрабатываешь программу для тестирования — и только потом тестируешь. На бюджет такое решение тоже влияет: по оценке агентства, пришлось бы только на зарплату потратить 200 тысяч долларов.
200 000 $ стоила бы своя разработка технологии для тестирования гипотезы
Решение: делегировать проверку гипотезы. Агентство обратилось в OrbitSoft для тестирования гипотезы под новый алгоритм. У нас уже есть решение для таких задач, поэтому мы сразу приступили к работе.
На основе нашего Demand-Side-Platform-продукта (DSP) мы разработали технологию, которая может тестировать математическую модель. На разработку ушло 1,5 месяца и 20 тысяч долларов от заказчика.
Результат. С помощью готовой технологии заказчик протестировал модель — на реальных пользователях, в режиме реального времени. На проверку ушло 4 месяца, и за это время компания поняла, что алгоритм экономически невыгоден — с его помощью нельзя добиться запланированной конверсии.
Несмотря на то что алгоритм не подошел, компания все равно получила результат. Она выяснила, что гипотеза не помогает точнее таргетировать, поэтому нет смысла вкладывать деньги в этот алгоритм, лучше разработать другой.
Еще компания сэкономила. Если бы она тестировала гипотезу за счет своих ресурсов, потратила бы до двух лет и до 200 тысяч долларов. А так проект занял меньше полугода и потребовал сумму в десять раз меньше.
Технические особенности проекта: закупка трафика
Методика расчета CPM. Для нее использовали исторические данные по CPM (оплата за показы):
— CPMA — среднее значение от начала запуска рекламной кампании и до текущего момента с коэффициентом k1;
— CPMB — среднее значение CPM за последний час с коэффициентом k2;
— CPMC — среднее значение CPM за последний час с коэффициентом k3.
Итоговая формула: Dynamic CPM = (k1 × CPMA + k2 × CPMB + k3 × CPMC) × ((100 − MARGIN) / 100)
Пределы значений коэффициентов:
— k1 = 0,1…0,25;
— k2 = 0,3…0,45;
— k3 = 0,5…0,75.
Расчет цены для определенного процента закупки трафикаОбучение:
— 90% — по фиксированной цене CPM;
— 10% по каждой рекламной площадке — по динамически определяемой цене CPM.
Оптимизация:— 60% — по фиксированной цене CPM;
— 40% трафика по каждой рекламной площадке — по динамически определяемой цене CPM.
Если на определенной площадке не удавалось выкупать по динамической цене CPM, то каждые 10 минут цена увеличивалась до порогового значения. При превышении порогового значения CPM площадка исключалась из закупки.
Динамическая закупка:
— 80% закупки — по динамически определяемой цене CPM;
— 20% — по фиксированной цене CPM.
Динамическая цена CPM считается отдельно для каждой площадки. В процессе закупки контролируется превышение порогового значения CPM: если цена вышла за лимит, площадка исключается из закупки.
Контент-провайдер автоматизировал анализ данных для закупки рекламы
Компания создает контент для сотовых операторов, например видео, гифки, игры и так далее. Такие партнеры называются контент-провайдерами. Их контент конечные пользователи покупают через сотовых операторов.
Основной способ привлечения клиентов — показывать рекламу, которая конвертирует пользователей в клиентов. С каждого целевого действия провайдер получает комиссию.
Платный контент — это игры, ролики, мемы и все что угодно, что может привлечь внимание. Чем контент интереснее и больше отвечает интересам пользователей, тем охотнее они платят за него
Проблема: реклама анализируется вручную. Доход провайдера зависит от соотношения: стоимость рекламы и количество подписок после нее. Условно, чем ниже цена и чем больше количество целевых действий, тем выше заработок.
Сначала заказчик обращался в CPA-сети, которые покупают трафик за показы и продают за действия. Проблема в том, что они оптимизировали рекламу механически: купили трафик, вручную проанализировали статистику, вручную купили то, что эффективнее зашло. На это тратилось много времени, при этом не получалось избегать ошибок.
Решение: автоматизировать оценку рекламы. Заказчик хотел получить инструмент для анализа данных, который поможет зарабатывать больше. Такой инструмент называется моделью.
Общая идея: модель исследует данные и на их основе определяет, какую рекламу выгоднее покупать, с учетом цены и конверсии. Причем, работает автоматически, без участия человека.
Для разработки модели компания обратилась в OrbitSoft. Мы использовали свой продукт и написали к нему предиктор. С его помощью программа понимает, что и когда закупать для релевантного трафика.
Предиктор — это предсказатель: он изучает поведение и реакции пользователей на увиденную рекламу. Например, на какие сайты пользователь заходит, в какое время, что смотрит чаще, как долго, на что реагирует, когда закрывает. Для более точного анализа предиктор обрабатывает информацию из 54 источников трафика — SSP и Ad Exchange.
Результаты. Провайдер автоматизировал анализ рекламы и ускорил процесс закупки, это повлияло на показатели эффективности всей работы с контентом клиентов — сотовых операторов.
Предиктор ОrbitSoft помог увеличить конверсию рекламы и другие показатели работы с контентом.
Результаты на примере одного сотового оператора за три года:
- 236 тыс. абонентов подключились к платному контенту;
- 10,6 млн ребиллов — количество ежедневных платежей за платный контент;
- 182 млн рублей — оборот с показа рекламного контента;
- 20 тысяч долларов — оператор потратил на сервера и закупку трафика.
Технические особенности проекта: этапы работы
1. Выбрать платформу для анализа и построения предиктивной модели. Сфокусировались на выборе между Vowpal Wabbit и TensorFlow. Чтобы определиться, мы прошли такие шаги:
— провели эксперименты на исторических данных, которые обрабатывают информацию о совершенных показах и кликах;
— сравнили, какой из инструментов лучше предсказывает события.
По итогам экспериментов выбрали TensorFlow. Платформа позволяет строить более сложные модели, при этом они показывают лучшие результаты на наших данных.
2. Выбрать данные для анализа. Наше решение — использовать следующее:
— накопленные исторические данные по показам и кликам пользователя;
— параметры, которые можно получить из запроса на рекламу;
— накопленные данные о пользователе.
Среди таких данных:— Remote IP Address;
— Exchange ID;
— Publisher ID;
— Creative Size;
— Placement ID;
— Advertiser ID;
— Campaign ID;
— Creative ID;
— Publisher Domain / Mobile Application Bandle;
— Vertical Category ID (IAB Category);
— Ad Position;
— Visitor Language;
— Visitor Country;
— Visitor Region;
— Visitor City;
— Visitor ZIP / Postal Code;
— Visitor Lat / Lon;
— Visitor ISP;
— Visitor Gender;
— Visitor Age;
— Visitor Device Type;
— Visitor Device Maker;
— Visitor Device Model;
— Visitor Browser;
— Visitor Browser Version;
— Visitor OS;
— Visitor OS Version;
— Visitor Connection Type;
— Day of Week;
— Hour;
— Time Zone.
3. Выбрать алгоритм. Мы рассматривали несколько методов для построения модели:— простая логистическая регрессия;
— FiBiNET — Feature Importance and Bilinear Feature Interaction NETwork;
— FLEN — Field-Leveraged Embedding Network.
Выбор остановили на FLEN, потому что модель показала лучшие результаты на наших данных.
4. Выбрать критерии качества работы модели. Данные, которые мы используем, не сбалансированы, поэтому для оценки модели мы использовали два критерия, которые показывают:
— precision (точность) — доля объектов, которые классификатор определил как положительные и которые такими являются;
— recall (полнота) — доля объектов положительного класса из всех объектов положительного класса нашего алгоритма.
5. Интегрировать решения в нашу рекламную платформу. С помощью языка Go мы разработали сервис под задачу клиента. Вот что он делает:
— загружает модель, обученную на базе нашей рекламной платформы;
— выдает прогнозы;
— интегрируется с другими компонентами платформы, которые участвуют в решении о покупке трафика и показе рекламы.
Показатели работы модели. При испытании модели используются данные за несколько недель — порядка 1,2 млрд событий. Ежедневно модель принимает решение по 60 миллионам событий.
Компания получила алгоритм для поиска релевантной аудитории
Компания работала с криптовалютой и инвестициями, и направление приносило доход. В качестве еще одного источника денег владельцы выбрали продвижение — размещать рекламу клиентов на площадках о криптовалюте.
Проблема: непонятно, как найти релевантную аудиторию. Клиенты готовы платить за рекламу, но компания не понимала, как построить процесс: где ее размещать, на каких условиях, как часто показывать и так далее.
Решение: создать алгоритм по поиску аудитории. Компания не стала тратить ресурсы, чтобы самой разработать технологию для анализа и подбора аудитории, и сразу обратилась за профессиональной помощью.
Для решения задачи мы использовали свой продукт — OrbitSoft DSP, и разработали алгоритм специально под условия клиента. Благодаря этому компания получила его в сжатые сроки — 4 месяца.
Результат. Благодаря алгоритму компания получила релевантную базу аудитории и увеличила свой доход. Она стала закупать трафик на 10 тысяч долларов — это ежедневные траты рекламодателей. Чем больше сумма, тем большую комиссию получает компания.
Топ-10 — в такой рейтинг рекламных агентств в сфере криптовалют и финтеха вошел наш клиент
По итогам запуска нового алгоритма компании за полгода смогла войти в топ-10 рекламных агентств в сфере криптовалют и финтеха в странах бывшего СНГ.
Технические особенности проекта: этапы работы
1. Собрать аудиторию. Для этого мы составили базу площадок, которые пишут о криптовалюте. В нее вошли, например:
— блоги о криптовалюте;
— новостные порталы;
— журналы;
— системы рейтингов;
— приложения для анализа;
— криптокошельки
Все площадки мы проанализировали на предмет:— покупки сегментов аудитории, которые интересуются финансами и новыми технологиями;
— оценки матчинга для сайтов с помощью пикселей синхронизации (Cookie Matching).
2. Запустить рекламу. Собранные данные использовали для широковещательных рекламных кампаний. Работу разбили на два этапа:— A/B-тесты рекламных объявлений, которые помогали собрать целевую аудиторию. Чем выше интерес к криптовалюте, тема выше рейтинг в сегменте;
— узконаправленные рекламные кампании с прицелом на пользователей с высоким рейтингом: именно им больше всего интересна тема криптовалют. Если интерес сохранялся, рейтинг еще увеличивался.
3. Найти похожую аудиторию. Для поиска использовали готовые закупленные сегменты. Наша задача — в этих сегментах поймать группу пользователей, которые схожи по целевым критериям. Для этого мы:
— сравнивали пользователей по определенным параметрам;
— отслеживали пороговые значения — насколько аудитория соответствует критериям.
Для оценки использовали:— пол и возраст;
— уровень дохода;
— интересы пользователей;
— краткосрочные намерения пользователей;
— географическое местоположение.
Пороговые значения, в рамках которых пользователи считались похожими, — от 0,68 до 0,85.
Поделитесь опытом: как вы тестируете гипотезы и новые алгоритмы — сами или подключаете внешнюю команду?
Нам неоднократно предлагали ведения кампаний, компании работающие или работавшие с нашими конкурентами. То есть на их деньги они оттестировали гипотезы и теперь продают это как свой отлаженный механизм. Самим тянуть это не всегда легко и дёшево, но уж лучше так чем плодить за свой же счёт сильных конкурентов в рекламе
Лучше самому, просто иногда не хочется делиться своими идеями. Но с другой стороны, специалист всегда знает, как лучше поступить и может использовать разные фишки, о которых вы не знаете.