Ботопокалипсис: как мы спасли трафик от цифровых паразитов и создали бесплатную защиту

Все траблы в нашем бизнесе так или иначе связаны со страхом что-то проеб*ть — деньги, клиентов, позиции. А в мире SEO происходит настоящий цифровой беспредел, о котором пора говорить в полный голос.

Началось это примерно два года назад. На наш сайт периодически набегали странные посетители. Метрика показывала резкий рост показателя отказов, увеличивалось число прямых заходов, но вся эта хрень казалась несущественной. Ну, боты бегают, нормальное явление, о нем известно еще со времен когда «машинное обучение» было чем-то из фильмов про будущее. Подумал я тогда и решил, что «Яндекс знает все, все видит и борется».

На втором проекте были такие же подозрительные фрикции, хотя и не столь часто. С партнером помню как-то обсуждали может ли это навредить? Я самоуверенно отвечал: «Яндекс в курсе, разберётся». И реально верил в эту чушь, как в существование справедливости в мире SEO.

Но вот наступил 2024-й, и тут началось самое интересное. Яндекс резко изменил подход к выдаче. Места в ТОП-10, которые давали нам стабильный трафик, вдруг исчезли под завалами рекламы (капиталисты проклятые, хотят по максимуму нажиться на рекламе). Ну, собственно нажились, если судить по отчёту рекордной прибыли за 2024 год.

Это был первый тревожный колокольчик. Затем началась реальная проблема, мы начали терять позиции, причём вверх поднялись сайты, которые по всем параметрам нам в подмётки не годились. Понятное дело - накрутки, но Яшка должен разобраться. Но реальность дала просраться… Яндекс окончательно проиграл войну накруткам и лёг под них как дешёвая... сами понимаете кто.

А затем ситуация ухудшилась ещё больше, даже старые, стабильные страницы начали терять позиции, просто из-за ухудшения общесайтовых показателей. И причина была простая — боты, мать их, поведенческие боты.

Мы потеряли почти 50% поискового трафика и позиций. Для тех, кому не понятно это как прийти к кошельку и обнаружить, что половина бабла свистнули, пока вы смотрели сопливую мелодраму.

А наш проект жил за счет перенаправления трафика на сайты партнеров, зарабатывая на отчислениях. Поисковый трафик — это наши живые деньги, которые прямиком идут в карман. Когда он начал падать, мы начали реально голодать.

Короче, говно случилось и нужно было срочно что-то делать, иначе всем звиздец.

Каждый приходит к пониманию по-своему, мы, для начала обратились к провайдеру наших серверов. Они пообещали быстрое решение на уровне L7 (прикладной уровень OSI). Поставили защиту, но по факту получили эффект равный ноль целых хрен десятых.

Оказывается, весь этот сетевой антибот-арсенал заточен исключительно под DDoS — когда тебя тупо бомбят запросами, чтобы положить сервер. Сетевая защита уровня L3 хорошо отстреливает классические бот-сети, которые долбят запросами как отбойным молотком. Но эти решения нихрена не работают против поведенческих ботов, которых SEO-сервисы (суки) по накрутке нагуливают сотнями.

Это как ставить сигнализацию от воров, когда к тебе приходят мошенники в костюмах налоговой инспекции. Абсолютно разные угрозы. Поведенческие боты не ломятся в дверь с топором. Они культурно входят через главный вход, прикидываясь реальными посетителями, и никакая DDoS-защита их не остановит.

Это не те тупые скрипты-дебилы, что бегают по сайтам и парсят контент. Новое поколение ботов — реальные цифровые оборотни, мудацкая дуаль настоящего человека. Они имитируют живого пользователя с точностью, которая просто нихера не комильфошит:

Самая подстава в том, что эти твари даже имитируют когнитивные задержки. Могут зависнуть на несколько секунд на абзаце, типа читают. А ещё они используют реальные браузеры с подмененными отпечатками (fingerprints), часто работают через цепочки прокси-серверов с автоматической сменой IP.

По сути, это уже не боты, а киборги с прошивкой "Я человек, ёпт". Метрика их глотает как настоящих пользователей, а потом выдаёт нам в отчетах эту лживую дичь. Это как если бы вас попросили отличить настоящую шаурму от подделки, а они внешне выглядят одинаково, только потом одна отправляет вас в больницу через унитаз.

Стало очевидно - нужна защита именно от этих цифровых паразитов. И тут началось самое веселье.

Мы, как нормальные люди, начали смотреть, что предлагает рынок:

CloudFlare — вроде крутой сервис, но под санкциями как моя родина и на тарифе с ценником «халява» далеко не уедешь. Платный функционал хорош, но сука сыкатно, завтра очередной спец из Роспотребнадзора дернет стоп-кран и вы в жопе…

Akamai и Imperva — стоят как крыло от самолета. Плюс бюрократии столько, будто кредит на квартиру берёшь, а не антибот подключаешь. А если у тебя крупный проект, то тарификация по трафику и количеству посещений в год влетит в стоимость новой машины.

Российские аналоги тоже не порадовали своими решениями (нету золотой середины):

Скрипт от Pixelplus — единственное что реально порадовало своей логикой. Ребята молодцы, сделали простое, но рабочее решение. Модальное окно с кнопкой, которое не загружает аналитику, пока юзер не кликнет. Если реальный человек нажимает на кнопку ему грузится аналитика, а если бот и не жмакнул, то его действия не учитываются в статистике. Хорошее базовое решение, которое мы взяли за основу.

Проблема только в том, что это модальное окно для многих сайтов как прыщ на лбу перед свиданием. Конечно, реальных людей оно отсекает от ботов, но при этом раздражает пользователей. Плюс у него нет возможности дальнейшего управления ботами, ты их отсек от аналитики, но не можешь пометить в рекламных системах. А это значит, что ты всё равно продолжаешь сливать на них рекламный бюджет.

Стало ясно - пора пилить своё решение, иначе конкуренты нас просто сожрут, а мы останемся с голой жопой и без трафика.

Окей, а как точно применять антибот-технологии в реальном мире? Мы решили взять лучшее от решения Pixelplus — идею невидимой проверки без загрузки аналитики до подтверждения человечности, но убрать раздражающее модальное окно и добавить продвинутые фичи.

Изначально мы хотели вообще отказаться от решений, которые требуют отдельных серверов, переадресацию трафика, облака и прочую муть, которая отпугивает обычных вебмастеров. Какой смысл в крутой защите, если для её внедрения нужен штат разработчиков и системных администраторов?

Поэтому мы взяли курс на максимальную простоту внедрения: JavaScript библиотека для фронтенда и PHP-скрипты для серверной части. Почему PHP? Да потому что это самый распространённый серверный язык, и даже админ-новичок сможет просто закинуть PHP-файлы в папку на сервере, настроить капчу, и всё — оно уже работает. Такой же подход и с JavaScript — подключил библиотеку в код, настроил конфиг, и готово.

Никаких танцев с бубном, никаких звонков в техподдержку хостинга, никаких специальных настроек. Максимально простое и эффективное решение для людей, которые хотят защиту от ботов, а не головную боль от её настройки.

Для этого нам нужно было разработать что-то реально работающее, а не очередную бутафорию для успокоения нервов. Второй уровень защиты — это не просто поставить капчу и думать, что всё решено. Нужна многоуровневая защита, которая будет отсекать разные типы ботов и при этом не мешать нормальным людям.

Первым делом мы взяли за основу проверку по цифровому отпечатку браузера и заголовкам HTTP-запросов. Это позволяет сразу отсеять очевидные бот-заходы. Если этот шаг проходится подозрительно, запускается вторая линия обороны — Яндекс SmartCaptcha.

Но мы пошли дальше и внедрили настоящие мудо-ловушки:

Ключевой фишкой стала гибкая настройка — каждому признаку бот-активности можно назначить свой вес. Например, сменил IP — лёгкое подозрение, заполнил ловушку — сразу показываем капчу и шлём нахер. Всё как в реальной жизни — одно дело если человек просто странно одет, и совсем другое, если он с ножом бегает.

Одна из главных особенностей MKF AntiBot это контроль над аналитикой. До подтверждения, что пользователь человек, аналитические скрипты не загружаются. Это гарантирует чистоту данных в Метрике и Google Analytics, без всякой ботовой херни, портящей статистику.

Но самое важное, мы разработали специальный режим «Мониторинг», который не отсекает ботов сразу, а лишь отмечает их и отправляет информацию в Метрику и Google Analytics специальными событиями. Для чего это нужно и почему вас это должно волновать?

Ответ прост: вы получаете максимально полную картину бот-трафика и затем можете формировать отдельную аудиторию для рекламы, понижая для неё ставки до минус 100%. Это как выпнуть из бара пьяного дебошира, но записать его морду на камеру, чтобы потом не пускать снова. В переводе на человеческий — вы перестаёте сливать рекламный бюджет на ботов.

И это реально круто работает: в проектах с оплатой за действия (CPA) мы получили экономию рекламного бюджета до 60%. Не слабо, да? Больше половины денег просто не улетает на ветер. Представьте, что вы годами платили за показы рекламы несуществующим людям — вот такой вот цирк с конями.

Результаты и выводы

После запуска MKF AntiBot стало ясно, что мы попали в точку, как снайпер:

Изначально мы внедрили систему только на органику, но затем применили её и в рекламе. Особенно ощутимый эффект был на сайтах с контекстом и CPA-моделью — снижение бюджета на рекламу достигало 60%! Вы представляете? Больше половины рекламного бюджета просто сливалось в никуда, как вода в унитазе. И это не какие-то там теоретические расчёты, а реальные сэкономленные деньги, которые теперь идут в прибыль, а не в карман ботоводам.

Дзен-подход к ботам — это понимание, что мир веб-аналитики не статичность, а потоки. И мы не можем застыть в иллюзии, что все посетители настоящие. Нужно принять реальность и действовать сообразно.

Да, именно так. Осознав, насколько глобальна эта проблема, мы решили не жадничать и выложили MKF AntiBot в открытый доступ. Любой бизнес, особенно в РФ, где зарубежные инструменты типа CloudFlare, скажем так, не полностью доступны, теперь может защитить себя от поведенческих ботов абсолютно бесплатно.

Установка реально занимает пять минут даже у тех, кто в глаза не видел консоль разработчика:

Никаких танцев с бубном, никаких специальных настроек на сервере, никаких VPS и выделенных серверов. Всё работает даже на самом базовом хостинге. Это как противоугонка для авто, которую может поставить даже человек, никогда не державший в руках отвертку.

И при этом у вас есть все настройки мудацкого контроля, какие только можно придумать. Хотите следить за сменой IP пользователей? Настраивайте интервал проверки хоть каждые 5 секунд. Заебали боты, которые обходят простые ловушки в формах? Включите многоуровневую защиту с изменяемыми ловушками. Нужен честный анализ поведения мыши? Выставляйте пороги линейности движений и паттернов.

Еще одна фишка — детектор поисковых ботов, который чётко отличает нормальных Яндекс-ботов от мусора. Мы же не дебилы, чтобы блокировать полезных роботов! Система проверяет и IP-диапазоны, и реверс-DNS, чтобы убедиться, что это действительно Яндекс, Google или Bing, а не какой-то хер с горы, притворяющийся поисковиком. Настоящие поисковые боты проходят без проблем, а вот накрутчики с фейковыми юзер-агентами получают от системы по щщам.

Представьте: вместо того, чтобы гадать, работает ли ваша защита, вы реально видите, как каждый второй бот падает лицом в грязь при попытке зайти. Каждый модуль — это как отдельный фильтр на страже вашего сайта. Защита от изменения IP, обнаружение поисковых ботов, анализ поведения — всё это теперь ваши инструменты, а не тупо "поставил и забыл".

И ваш сайт больше не будет похож на проходной двор для цифровых паразитов. Это не развод и не заманиловка — просто мы понимаем, что чем больше сайтов будет защищено, тем меньше смысла будет в накрутках. А значит, и всей отрасли станет легче дышать.

Один из наших образовательных проектов показал просто убийственные результаты. Дело было так: у нас был обучающий проект, где CPA с РСЯ была на уровне 470 рублей за подписчика при трафике 2000 посетителей в сутки. В среднем мы получали 30-40 целевых подписчиков в день.

Вроде всё нормально работало, но когда мы внедрили наш антибот с режимом мониторинга, началось реальное волшебство:

Охренеть можно? Мы платили в 8 раз больше за тот же результат! Большая часть нашего трафика была ботами, которые просто сжирали рекламный бюджет. Таких денег хватило бы на отпуск на Мальдивах всей командой.

А теперь представьте, сколько бизнесов прямо сейчас сливают деньги ботам и даже не подозревают об этом. Они думают, что у них просто дорогие лиды и низкая конверсия, а на самом деле их деньги просто утекают в карманы ботоводов.

Если ваш сайт активно рекламируется и работает в конкурентной нише, будьте уверены: без защиты 30-40% трафика будет ботами. Боты — это не просто статистика, а прямые убытки и риск потерять позиции в выдаче. Это как платить зарплату сотрудникам-призракам, которых не существует.

Короче говоря, так вы общаетесь с большинством ботов вообще. Хватит этого говна — защитите свой бизнес. Скачайте систему защиты от ботов MKF AntiBot на нашем сайте и перестаньте платить ботоводам за воздух. Не будьте лохами, которые думают, что проблема рассосётся сама собой.

Либо ставьте защиту прямо сейчас, либо продолжайте сливать свои деньги и позиции конкурентам, у которых эта защита уже стоит. Чтобы вам не пришлось спать на полу и жрать доширак, лишившись бизнеса.

Официальный сайт системы «MKF Antibot» - https://mkf-antibot.ru/