Как протестировать две сотни источников трафика и не сойти с ума от фрода

Рассказывает Михаил Битеряков, специалист по трафику Joom.

За три года существования рекламный отдел Joom сильно изменился. От состояния «человек-отдел» мы пришли к партнерству с множеством агентств и рекламных сетей, а затем постепенно начали двигаться в обратном направлении, отключая сетки и заменяя их автоматизацией кампаний на платформах Google и Facebook.

Одна из главных причин такого разворота в отношениях с сетями — фрод. В этом материале мы так называем манипуляции, которые демонстрируют, что партнер выполнил рекламные KPI, а на самом деле — нет. Рассказываем, как мы боролись с фродом, строили отношения с партнерами и чему научились.

Этот материал составлен на основе выступлений специалиста по трафику Joom Михаила Битерякова на конференциях компаний Go Mobile и Admitad. Спасибо, что пригласили!

Глава 1. Мы наладили тестирование партнеров и совсем не переживали насчет фрода

Отдел внутреннего трафика появился летом 2017 года. У нас было около 20 партнеров, которые использовали Google, Facebook и myTarget. Тогда мы защищались от фрода с помощью трекингового провайдера Adjust. Он не просто помечает «плохие» установки, но и блокирует их от атрибуции. Нам даже не нужно было вычитать что-то из выплат партнерам.

Система тестирования и отсеивания партнеров была устроена так:

  1. Мы получали письмо от потенциального рекламного партнера.
  2. Заключали договор с тестовым периодом по CPI (Cost per install — это значит, что выплата партнерам производится за то, что пользователь скачал, установил и открыл приложение).
  3. Генерировали трекинговые ссылки, давали доступ к статистике и начинали ждать трафик. От некоторых партнеров до сих пор не дождались.
  4. Проверяли качество трафика. Тревогу били, если было больше 80% отклоненных антифродом установок приложения. Если их было около 40%, то не обращали внимания: всё равно мы не платим за фродовые установки, значит никакого вреда они нам не наносят. Во всяком случае, мы так думали.
  5. По итогам тестового периода было два варианта действий. Отключить партнера или перейти к сотрудничеству по модели RevShare (Revenue share — это значит, что мы выплачиваем партнёру процент с выручки, которую сделали приведенные пользователи за первую неделю внутри приложения).

Всё это работало, если не возникало каких-то неожиданных сложностей.

Так мы тестировали партнеров до конца 2017 года. Конвейер работал как надо, и к концу года у нас было одновременно 80 рекламных партнеров. Не составляло особенного труда управлять этим всем в одиночку: модель RevShare делала определение качества приведенных пользователей простой задачей, а Adjust помогал с антифродом.

Глава 2. Мы знакомимся с клик спуфингом

В конце 2017 года мы начали наблюдать источники трафика с необычным поведением.

Пример 1

Установки из США и Великобритании. За каждую из них мы платим $0,1 по RevShare. Подозрительно дешево, но их много. Со внутренней аналитикой все сходится.

Вывод: источник хороший, будем масштабировать. Всё равно платим партнёрам только за активных юзеров.

Пример 2

Установки из Германии с интересным соотношением покупок в первый день и в первую неделю. Очень много покупок совершается в первый день после установки.

Вывод: наверное, это мотивированный трафик. Такое мы масштабировать не будем, такая среднесрочная окупаемость не оправдывает наших ожиданий.

Пример 3

Установки из Франции. 100% покупок совершается в первый день, к тому же в очень больших объемах.

Вывод: что-то не то, но внятное объяснение не удается придумать или услышать от партнеров. Лучше избавиться от такого трафика.

Объяснение же нашлось только через месяц, когда появилась статья в блоге Adjust про клик спуфинг. В отличие от клик спама или клик инджекшна, при этом виде мошенничества нет даже самого пользователя, которого можно было бы своровать.

Установку или покупку воспроизводят, обманывая трекинговую систему. В результате мы видим данные в Adjust, платим по ним, а на деле не существует даже девайсов, за которые мы заплатили.

Описанные выше примеры источников трафика были тремя разновидностями спуфинга:

  • Фейковые установки.

  • Подмешанные к реальным фейковые покупки.

  • Полностью фейковые покупки.

Этот вид фрода заставил нас переосмыслить вообще всё, что мы знали или думали, что знали. Когда мы пришли в себя после осознания ущерба, пришло время действовать.

Вот что мы сделали:

  • Собрали внутреннюю аналитику для сверки данных трекингового партнера.
  • Остановили трафик от партнеров, у которых были обнаружены значительные расхождения между трекинговым партнером и действительными данными.
  • Начали ежедневно контролировать эти расхождения — это позволило найти еще несколько источников, заражённых клик-спуфингом.
  • Внедрили новую версию SDK от Adjust, в которой появилась цифровая подпись, позволяющая блокировать клик-спуфинг.

Поток фальшивых установок и покупок остановился.

Чему мы научились?

  1. Одного инструмента мало для оценки чего угодно. Проводите кроссвалидацию — ищите подтверждение данным через другие источники.
  2. Всегда задавайтесь вопросом, что вы знаете и почему вы думаете, что вы это знаете.

Глава 3. Мы сформировали антифродовый стек

Мы отвлеклись на борьбу со спуфингом и не заметили, как средний процент фрода по данным Adjust вырос с 10% до 30%.

Сперва мы отнеслись к этому как к неизбежному злу. Да, есть фрод, но он фильтруется, спуфинговые установки никому не атрибуцируются, поэтому нет имеет значения, сколько процентов блокируется трекинговым провайдером: теперь-то мы точно защищены от фрода.

Потом закралась мысль, что нет.

В марте 2018 года мы разослали партнерам письмо, в котором вводили новые KPI. Мы перестали принимать трафик, в котором больше 20% реджектов согласно данным Adjust и уровень конверсии меньше 0.5%.

Одновременно с этим мы нашли еще одного антифродового партнера, Scalarr, который работает совершенно по другой модели, дополнительно проверяя установки, пропущенные Adjust.

Дополнительно мы начали проверять странное поведение пользователей на наших данных. Это позволило находить рекламный фрод. Например, когда недобросовестный рекламщик сам заказывает товары по своей же ссылке, имитируя активность привлекаемых пользователей.

Постепенно таких рекламщиков стало меньше, сейчас попадаются редкие единицы, но мы по-прежнему еженедельно проверяем трафик.

Таким образом у нас выстроился стек антифродовых технологий, которым мы пользуемся до сих пор:

Adjust → Scalarr → Ручные проверки.

Чему мы научились?

  1. Каскадная многоуровневая защита лучше любой одноступенчатой.
  2. На каждом уровне будет обнаруживаться что-то, о чем вы не знали раньше.

И вот с этого момента мы были полностью защищены от фрода. (Нет).

Глава 4. Мы избавились от недобросовестных партнеров

В 2017 году мы начали работать с компаниями, которые многие назвали бы странными. У них была неважная репутация, однако все наши приборы показывали, что их трафик чист как слеза младенца. Они смогли приспособиться к жестким KPI по фроду, показывали 100% совпадений со внутренними данными.

Мы обсуждали этих партнеров с антифродовыми компаниями. Нам говорили, что у других рекламодателей фрод от этих источников зашкаливает, однако на нашем трафике они действительно чисты. Иными словами, никакого повода отключать таких партнеров не было, хотя и хотелось.

И повод нашелся.

В августе 2018 произошло важное обновление в антифродовом мире. Google стала передавать временные метки как начала установки, так и ее завершения. Эту технологию взял на вооружение Adjust и начал блокировать клики, которые происходили после начала установки по причине перехвата кликов.

У компаний, о которых шла речь в начале главы, оказалось по 70-80% фрода. Разумеется, они были отключены.

Чему мы научились?

Если не видно фрода, это не значит, что его нет. Это значит, что вы используете несовершенные инструменты.

Глава 5. Мы полностью избавились от фрода. Наверное

К 2019 году мы еще раз затянули гайки: отключили источники, которые работали с учетом больших реджектов ежемесячно (то есть, давали нам настолько плохой трафик, что мы отказывались за него платить в полном объеме). А ещё тщательно вычистили приложения в DSP (demand-side platform) источниках.

По сравнению с летом 2018 года наш коэффициент конверсии из клика в установку стал в 8 раз выше, а процент отклоненных установок — в 10 раз ниже.

Защищены ли мы от фрода сейчас? Очень хочется сказать «да», но опыт подсказывает, что все-таки нет. И никогда не будем. Будут новые боты, новые способы воровства органики и, наверное, придумают что-то еще.

Эта гонка будет продолжаться до тех пор, пока существует диджитал-реклама.

За 2017–2019 годы Joom работал с 204 компаниями по привлечению трафика. Из них мы продолжаем работать только с 26 компаниями, среди которых лишь 5 не используют доверенные источники. Остальные — агентства, которые покупают трафик из чистых источников в Instagram, myTarget, Twitter.

Это не значит, что мы перестали покупать трафик из мобильных приложений из-за фрода. Просто мы выбрали те компании, работа с которыми прозрачна, а показатели фрода стабильно ниже, чем указано в наших KPI. Чтобы найти таких партнёров, пришлось отсеять очень и очень многих.

Избавление от такого количества фрода в нашем трафике позволило нам повысить ставку по модели RevShare почти в 2 раза в СНГ и в 1,5 раза в Европе по сравнению с началом 2018 года.

Теперь мы не платим за сворованную органику или обманные установки из Facebook. А это значит, что хорошие партнеры, работающие с нами, могут зарабатывать больше даже с учетом постоянно растущего показателя CPM.

Наша стратегия борьбы с фродом не была написана изначально. Она постоянно изменялась под воздействием новых знаний, угроз и возможностей. Мы не стали разрабатывать самописные антифрод-системы, не копаемся в сырых данных, чтобы найти расхождение в TTI (Time to Install — время от клика до установки).

Вместо этого мы нашли двух хороших антифродовых партнеров, которым доверяем и чьи знания нам помогают решать проблемы. Поэтому теперь мы можем заниматься закупкой трафика очень небольшим отделом и не сходить с ума от фрода.

Пишите в комментариях, была ли полезна вам статья, с чем вы согласны или не согласны, а ещё — чем вы пользуетесь, чтобы отсеять фрод при закупке трафика.

0
26 комментариев
Написать комментарий...
Павел Ружейников

Огромное спасибо автору за полезную статью! Прям соревнование пули и брони у фродеров и трафикозависимых, и пуля пока что побеждает.

Ответить
Развернуть ветку
Andrey Kulin

хоть запись и от Джума, но пахнет нативкой эджаста и скалара :) 

для чего вы продолжаете использовать тех 5 партнеров, у которых недоверенные источники? что там за эксклюзивный трафик у них, которого нет ни в гугле, ни в фб, ни в твитере, ни в майтаргете, ни в юнити, ни в апловине, ни в чартбусте?))))))) 

Ответить
Развернуть ветку
Mikhail Biteryakov

Тяжело писать про антифрод, не упоминая какими сервисами мы пользуемся :)

Доверенными источниками мы считаем только соцсети или приложения с отдельной интеграцией (snapchat, условно тикток).
А весь остальной инапп, включая юнити, апплавин и чартбуст это как раз те источники, где мы очень следим за уровнем фрода.
Разные DSP, которые пользуются их трафиком туда же.

Ответить
Развернуть ветку
Andrey Kulin

я спросил для чего их использовать, тем более "разные DSP" — вы в них нашли какой-то трафик, которого не было у чистых каналов? :)))) 

Ответить
Развернуть ветку
Mikhail Biteryakov

Да.
Фейсбуком и гуглом мы его не добираем.

Ответить
Развернуть ветку
Sergey Furtaev

Видимо пилят с ними, потихоньку.

Ответить
Развернуть ветку
Кирилл Сергеев

С какими агентствами вы работаете по CPI?

Ответить
Развернуть ветку
Mikhail Biteryakov

По CPI с агенствами не работаем. 
По CPI (CPC, CPM) работаем с кампаниями, с которыми невозможно работать иначе: Liftoff, Smadex, Manage. 
Фейсбук и Гугл можно сказать тоже. 
А вот с рекламными агенствами работаем исключительно по ревшаре.

Ответить
Развернуть ветку
Павел Гросс-Днепров

У меня на goom.ru под 1000 уников в сутки заходит. 

Ответить
Развернуть ветку
Денис Демидов

Привет Павел, подскажи пожалуйста, где лучше продать домены мои:
антирадар.рф видеорегистратор.рф галоген.рф ксенон.рф радар-детектор.рф сигнализации.рф  

Ответить
Развернуть ветку
Павел Гросс-Днепров

Приветствую, сейчас можно и в rucenter  и на domainparking, reg.ru(, если он зарегистрирован у них). В руцентре можно выставлять не обслуживая домен у них. 

Ответить
Развернуть ветку
Денис Демидов

Благодарю, т.е. одной нормальной площадки нет, где водятся не только арбитражники? А кому нужен просто красивый домен?

Ответить
Развернуть ветку
Павел Гросс-Днепров

Все каналы хороши. В основном клиенты такие сами пишут через whois,либо как раз, когда вводят нужный им домен в whois и система отображает у регистратора купить этот домен с ценой, если он добавлен в их магазин доменов. Поэтому точно можно утверждать, что клиенты зачастую эти на сайтах сидят у регистраторов.

Ответить
Развернуть ветку
Денис Демидов

Понял, спасибо. Как думаешь, нужны сейчас вообще такие домены кому-то?
Я на них с дуру на аукционе влупил полляма, когда .рф появилась. 

Ответить
Развернуть ветку
Павел Гросс-Днепров

рф покупают, но ОЧЕНЬ редко и это компании или люди, которые понимают, что нет альтернатив (другие зоны) и хочется нормальный домен. Кстати, рф любят гос компании, корпорации. В основном .ru в России конечно же покупают. 

Ответить
Развернуть ветку
Vlad Drobotun

Михаил, спасибо за вашу статью! Очень интересно и познавательно. Приятно видеть ваши успехи! Желаем стабильного роста без форда! 

Ответить
Развернуть ветку
Mikhail Biteryakov

Спасибо :)

Ответить
Развернуть ветку
Alex Fioshkin

Хорошая статья! Приятно видеть, что в полку рекламодателей, активно чистящих свой трафик, стало больше. А что у вас с другими каналами?

Ответить
Развернуть ветку
Константин Рисков

Было интересно, хотя я далек от трафика, арбитража и всякого такого.

Ответить
Развернуть ветку
Bulat Ziganshin
Эту технологию взял на вооружение Adjust и начал блокировать клики, которые происходили после начала установки по причине перехвата кликов.

объясните плиз непрофи что это значит?

и ещё, если у меня мелкий бизнес типа автосалона или шаревары, я могу сделать как вы - т.е. те же антифродовые сервисы и источники трафика, или это не подходит для мелких клиентов?

Ответить
Развернуть ветку
Mikhail Biteryakov

Думается что маленькому бизнесу это будет нерентабельно.
Тут скорее вопрос, упираетесь ли вы в потолок того, что может вам предложить Фейсбук/Гугл/Яндекс/Майтаргет. Если нет, думаю что идти в инапп не имеет смысла.
Антифродовые сервисы весьма дорогие, некоторые источники трафика тоже нацелены только на крупных клиентов. 

По технологии Аджаста подробнее всего рассказано в их статье. 
В двух словах — был метод перехвата установок, когда злоумышленники дожидались когда приложение уже начинает устанавливаться и подсовывали свой клик чтобы установка засчиталась как приведенная ими. Потом это начали блокировать.

Ответить
Развернуть ветку
Mikhail Fedorenko

По какой причине в ревшере вы платите процент с выручки за первую неделю после установки?

Ответить
Развернуть ветку
Mikhail Biteryakov

Неделя уже достаточно репрезентативна для определения качества когорты.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Mikhail Biteryakov

Так исторически сложилось :)
Когда я пришел в Джум, уже пользовались Аджастом.

Ответить
Развернуть ветку
Anatoly

А сколько у вас сотрудников в маркетинге?

Ответить
Развернуть ветку
23 комментария
Раскрывать всегда