Армия ботов: Как создаются поведенческие боты и кто за ними стоит

Кто генерирует клики ботов? Каким софтом? Сколько таких кликов во всём объеме трафика? Как эти клики отделить? Обо всем этом, и даже больше, пойдет речь в сегодняшней статье.

Я, Григорий Мельников, автор онлайн сервиса по выявлению ботов KillBot, продолжаю цикл статей посвященных трафику ботов.

Исторический экскурс

До 2015 года поисковики использовали ссылочное ранжирование для формирования поисковой выдачи. С 2015 года в поисковые алгоритмы ранжирования были включены поведенческие факторы, что открыло новый рынок - рынок ботов, которые кликают в поиске: Если клик в поисковой выдаче последний - значит пользователь достиг цели - сайт растёт, иначе - сайт падает.

Для того, чтобы клик от бота был учтён, нужно бота нагулять - чтобы у него была история навигации по интернету. Именно это решение и породило огромное количество грязного трафика: боты сначала гуляют по интернету кликая куда попало (включая рекламу РСЯ), а потом бот используется для повышения позиций сайта в поисковой выдаче.

Софт для написания ботов

До 2016-2018 года проблемы огромного количества ботов не было, так как не было удобного и популярного инструмента для их написания.

Но появился фреймворк браузерной автоматизации: Browser Automation Studio (BAS): https://bablosoft.com/shop/BrowserAutomationStudio - именно на нём пишут большинство ботов, что сейчас гуляют по интернету.

BAS - среда для создания бота
BAS - среда для создания бота

Создать бота на BAS может любой пользователь - программировать не нужно - достаточно просто переносить блоки: какой url ввести, куда двигать мышку, куда кликнуть, какой ip (прокси) использовать.

Есть и другой софт для генерации ботов, это и ZennoPoster, и устаревший Human Emulator и ряд других. Но по функционалу, и ряду других причин, BAS на несколько порядков круче.

Зачем ботам прямые заходы, регистрации и заявки?

Чтобы обойти антифрод бот должен иметь богатую историю навигацию в интернете. Если заход новый, то он будет отфильтрован.

Если бот просто просматривает страницы и не заполняет формы, то он "подозрительный", так как реальные пользователи регистрируются и оставляют заявки. Поэтому боты заполняют формы: отсюда и фейковые регистрации и заявки.

Ваш сайт может быть в базе из 400 000 сайтов для нагула ботов

Список ресурсов где можно нагулять ботов, скликать рекламу или заказать ПФ:

Ресурсов, какие не вошли в список, - очень много - я лично знаю еще штук 10, и сколько еще не знаю.

Сколько ботов генерируют все эти бот-программы?

Объем генерируемого трафика можно спрогнозировать скрином личного кабинета одного из пользователей:

Раскрою, что на скрине (это скрин одного из софтов):

  • Боты работают в 22959 потоков (почти двадцать три тысячи) - т.е. одновременно кликает целый провинциальный город в Российской глубинке;
  • 7З1100 - кликов сделано за час. Скорее всего, здесь не рекламные клики, а просто общее число просмотров страниц.

Только один софт за сутки делает семнадцать миллионов просмотров: 17 546 400 кликов = 7З1100 * 24. Т.е. суммарно, если взять 10 популярных софтов, то все вместе они сделают более 100 миллионов просмотров в сутки. С такими объемами трафик реальных пользователей затеряется среди трафика ботов.

В следующем посте я расскажу как должен работать антифрод в рекламных системах. И как организовать работу рекламной сети, чтобы она работала вообще БЕЕЗ антифрода.

https://t.me/KillBotRus - мой телеграмм канал, подписывайтесь на него, в первую очередь посты я опубликую там.

44
10 комментариев

Гениально)

Ответить

в чем заключается гениальность?-дать ссылку на бота и инструкцию к нему?

Ответить

Прямые заходы важнее для SEO?

Ответить

Почему такой вывод - вопрос?

Ответить

А есть кейсы когда поставили защиту и сайт в СЕРПе упал?

Ответить

И такие кейсы есть, но они характерны для стадий разработки и тестирования.

Ответить