Что такое фрод в рекламе и каким он бывает

Объясняет представитель «Яндекс Рекламы».

Реклама в сети — это огромный рынок, который постоянно растет. Каждый день реклама помогает миллионам пользователей узнавать о подходящих для них товарах, бизнесу — находить потенциальных клиентов и растить продажи, а медиа — монетизировать контент. Но в каждой бочке меда есть ложка дегтя — на рекламном рынке в том числе. И эта ложка дегтя — фрод. О том, что такое фрод в рекламе, каким он бывает и как в Яндексе с ним борются, рассказывает Алексей Гончаров, заместитель коммерческого директора Яндекса по качеству.

Фрод (от английского fraud, мошенничество) — неизбежный спутник любых систем, где в том или ином виде присутствуют деньги. Поэтому можно смело сказать, что как только на одном из первых сайтов появился рекламный баннер, который подгружался по ADSL полминуты, фрод был уже где-то поблизости. Некоторые вебмастера не могли устоять перед искушением увеличить себе заработок нечестным способом.

С тех времен прошло много лет, но мошенники по-прежнему пытаются изобрести новые способы, чтобы заработать. Среди них так называемое «продергивание ссылок», различные вирусы, браузерные расширения, приложения для заработка, фермы устройств и, конечно, большие программные комплексы, развернутые в датацентрах по всему миру.

Доля фрода в глобальном трафике сильно растет, это подтверждается и нашими цифрами, и глобальной статистикой. Так, согласно исследованию Weborama, количество фрода в интернете за последние 3 года увеличилось на 65%.

Начнем с того, что не всегда фрод — это мошенники в чистом виде. На рекламном рынке существует такое понятие как invalid traffic. В общем и целом это невалидный трафик, который не несет какой-либо пользы. Например, повторный клик пользователя по объявлению. В этом случае человек не планировал ничего умышленно — он мог случайно кликнуть на рекламу второй раз. Для рекламодателя такая активность не несет никакой пользы, но и такого пользователя никак нельзя назвать фродером.

Но бывает так, что кто-то намеренно скликивает ссылки и баннеры. Такой трафик тоже считается невалидным, но его отличие от случайного клика в том, что он генерируется кем-то исключительно с намерением нечестного заработка на рекламной сети либо потратить бюджет рекламодателя (чаще всего — конкурента того, кто этот фрод заказывает). Можно ещё назвать его «злонамеренным трафиком».

Есть два вида подобного злонамеренного трафика.

Ручной — когда скликиванием заняты люди. Как правило, этим занимаются либо сами владельцы сайтов, либо люди, совершающие какие-то действия в сети за оплату. Зачастую это разного рода биржи интернет-заданий, которые могут выглядеть как «зайдите на сайт и перейдите по первому баннеру под заголовком».

Ручной фрод не претерпел каких-то особых изменений со временем. Что в этой схеме может меняться — так это схема взаимодействия между исполнителем и заказчиком фрода (через площадку, напрямую, через какие-то бонусы или процент). Несмотря на притягательность такого механизма накрутки для некоторых злоумышленников, исполнители пытаются всячески экономить свое время и работают со многими заказчиками сразу. И даже если задание одного заказчика было выполнено качественно, неуспех второго может обнулять результаты всех. Вместе с очевидными проблемами масштабирования ручной фрод остается довольно дорогой и нишевой системой.

Роботный — когда используется программа, активно скликивающая или смотрящая рекламу. Роботы постоянно эволюционируют. За последние 15 лет, что мы боремся с автоматизированным фродом, эти системы прошли огромный путь.

Это может быть набор определенных скриптов, написанных специально для осуществления фрода и размещённый на каких-то удаленных серверах. Скрипты также могут исполняться на зараженных устройствах ничего не подозревающих пользователей.

Поэтому зараженные роутеры или ботнеты, которые дистрибуцируются по ноутбукам и ПК, могут использоваться не только для DDoS или скрытого майнинга, но в том числе и для рекламного фрода. Это более лакомый кусок для злоумышленника, ведь в таком случае фродить получается с проверенного и изначально «чистого» для антифрод-систем IP-адреса, а также использовать идентификаторы пользователя, которые у него есть на зараженном устройстве.

Все эти сложности преследуют одну главную цель — максимально скрыть от рекламной сети и от конечного рекламодателя источник трафика и как можно дольше выдавать его за валидный. Но Яндекс, как и большинство крупных рекламных систем, наравне с развитием своих алгоритмов улучшает и работу систем защиты от фрода. Поэтому борьба не останавливается ни на минуту — мошенники ищут новые способы обойти антифрод, а рекламные системы, в свою очередь, все лучше учатся обнаруживать такой трафик.

Так или иначе, рынок фрода существует только за счет добросовестных игроков рекламного рынка, которые страдают от него.

Вот самые популярные способы «заработка» на фроде.

Попытки прямого заработка. В этом случае вебмастер заказывает склики рекламы, размещенной на его ресурсе. Рекламная сеть платит своим партнерам за клики по каждому баннеру. Недобросовестные владельцы сайтов, с небольшим объемом органического трафика и, как следствие, маленьким количеством переходов по рекламе, могут пытаться нагнать ботов и скликать рекламу. Но как правило, рекламные системы достаточно быстро обнаруживают такой способ мошенничества.

Склик конкурента. Ситуация, когда одна компания пытается потратить бюджет конкурента, чтобы и по запросам конкурента приходили именно к ней. Такое мы тоже пресекаем.

Существует миф, что фрод одинаково выгоден и заказчикам, и рекламной системе, которая берет с рекламодателей оплату за любые клики — в том числе и мошеннические.

Но это совсем не так. Более того, на самом деле, борьба с фродом — это один из приоритетов рекламных сетей и Яндекса в том числе. Если с фродом не бороться, рекламная сеть перестанет быть эффективной и привлекательной для рекламодателей. Поэтому противодействие фродерам всегда совершенствуется, ведь каждая рекламная система стремится повысить эффективность, и для нас выгодны именно честные клики по рекламе, которые принесут доход рекламодателю.

Сейчас на рынке есть несколько стратегий борьбы с фродом. Некоторые реселлеры предоставляют базовый набор защиты от фрода — списки плохих сетей и устройств. Де-факто это работа по черным спискам и отключение поставщиков трафика, если доля фрода в таком трафике превышает разумные пределы.

Крупные рекламные сети, Яндекс Реклама в том числе, идут дальше и детально вычищают трафик, отделяя зерна от плевел.

Для решения этой задачи есть два основных способа:

1. Дорабатывать собственный рекламный код, встроенный в рекламу, и собирать со страницы необходимую информацию, которая помогает на самой ранней стадии обнаружить фрод. К сожалению, злоумышленники могут обойти такое — современные решения хорошо справляются с деобсфукацией кода, и JS-специалисты могут перешагнуть через такой антифрод.

2. Использовать статистический подход, основанный на работе с большими данными. Мы делаем упор на обнаружение фродового трафика именно на своей стороне, а не на стороне клиента (как в случае с JS-кодом). При таком подходе приоритетом становится выявление аномалий в трафике, которые в общем случае могут быть неочевидны фродерам, но цель большинства фрода и есть создание аномалии в том или ином виде. Мы почти в реальном времени считаем имеющиеся у нас данные и характеристики трафика сразу для множества различных срезов. А затем при помощи алгоритмов машинного обучения определяем, хороший это трафик или плохой.

Надо сказать, что любые крупные реализации антифрода используют оба метода в той или иной пропорции, но мы отдаем предпочтение второму, так как считаем его более устойчивым к атакам — даже успешный обход алгоритмов не оставляет рекламодателя беззащитным, как это было бы в случае со средствами защиты на стороне клиента.

Первым слоем выступает защита в движке от так называемого GIVT, General Invalid Traffic. Рекламный алгоритм в реальном времени фильтрует трафик по всем известным спискам и плохим сигнатурам. Тут и фильтрация известных фродовых датацентров (есть и такие, да), невалидных ID пользователей, невалидных user-agent, и множество других параметров. Здесь же — базовые эвристики, помогающие быстро отсекать примитивные попытки организовать DDoS.

Это помогает срезать такой трафик сразу на входе.

Второй слой — онлайн-фильтры. В течение пары минут наша система выстраивает для трафика статистику в разных разрезах и по поведению пользователей в них. Таким срезом быть все что угодно — от идентификатора пользователя и IP до категории конкретного баннера в конкретном регионе. В каждом разрезе существуют факторы, которые нам кажутся наиболее показательными для того, чтобы отличить фродовый трафик от реального. Это уже творческая работа аналитиков команды антифрода.

Здесь же мы стараемся отфильтровать все остальные виды невалидного трафика. Например, это повторные пользовательские события или случаи, когда модели предсказывают, что этот клик будет «отскочный», а также другие события, которые мы считаем некорректными с точки зрения рекламодателя.

Ещё нам помогает связка с другими системами антифрода Яндекса — мы можем в оффлайн-режиме сверяться с вердиктами от этих систем и с их помощью дополнительно оценивать трафик. Это связано с тем, что ряд полезных методов (разного рода кластеризации и графы алгоритмов) не очень хорошо работает в онлайне, но при этом предоставляет очень полезные данные для текущей очистки и для онлайн-фильтров. Поэтому их вердикты применяются постфактум. Затем мы генерируем для онлайн-очистки дополнительные справочники. Но надо понимать, что на долю оффлайн-фильтрации приходится менее 1% от всех рекламных событий в нашей сети, и в первую очередь она является источником для обучения онлайн-моделей фильтрации.

Недавно мы существенно обновили нашу систему и ощутимо ускорили ее работу. Сейчас за день мы обрабатываем порядка 20 терабайт данных в реальном времени — если использовать прикладные примеры, то это примерно 90 дней видео в формате Full HD. Предыдущая версия антифрод-системы совершала полный цикл проверки трафика за 20 минут, новая же успевает без потери качества сделать то же самое за одну–две минуты. Она гораздо быстрее возвращает в общую систему данные о том, какие клики были хорошими, а какие — фродом. Это позволяет нам более гибко работать с бюджетом рекламодателя и не допустить расходования средств на клики от роботов.

Что на своей стороне рекламодатель может сделать в рамках работы с фродом:

Само собой, фрод VS антифрод — это битва меча и щита, и мы планируем продолжать улучшать наш антифрод и далее.