Куча трафика по прямым ссылкам в яндекс метрике — Боты

Расскажу немного о ботах, кто они такие, откуда они, почему у Вас в Яндекс метрике, идут нереальные отказы, и чему это всё грозит.

Жуткая и раздражающая ситуация, когда непонятно что за трафик и откуда идёт на Ваши проекты, я Вас прекрасно понимаю…

Ситуация очень не приятная, и просто так не решается, так как боты используют рандомные ip адреса, рандомные юзер агенты, и т.д.

Блокировать такой тип трафика очень сложно, так как в основном весь трафик идёт с Российских ip адресов.

Здесь нужен более гибкий подход, с помощью которого мы будем отсекать этот негативный трафик с нашего сайта раз и навсегда, но перед началом я хочу Вам поведать информацию об этих ботах, и кто их запускает, и для каких целей.

Есть определённые люди, которые занимаются накруткой поведенческих факторов, накруткой чёрного трафика, накруткой отказов, скликивание рекламы в Яндекс директ, накрутка просмотров на Ютубе, или на стриминговых площадках Twitch, DDoS атаки, Спам рассылки, и т.д.

Для выполнения таких работ они арендуют несколько серверов, на которых создают ботов и начинают их программировать.

Всё довольно просто, существует ПО которое называется BAS — Browser Automation Studio, и Zenno Poster. Это самые основные и известные программы для автоматизации в браузерах, которые легко настраивать, без знаний программирования.

Такие программы устанавливаются на серверах, и могут запускаться в нескольких сотнях потоков, в зависимости от мощности сервера.

Исходя из целей, и задач — эти боты выполняют циклические действия в браузерах.

Что бы повысить сайт в поисковой выдачи (ЛЮБОЙ), они используют порядка 2.000 профилей , браузерных профилей!

Каждый профиль запускается в отдельном окне, с использованием рандомного IP адреса, рандомного user-agents, а так же используют рандомные отпечатки браузера, с той целью, что бы яндекс боты не могли определить роботный трафик, и отфильтровать его.

Дальше по заранее собранному списку сайтов конкурентов, они начинают направлять своих ботов, что бы уничтожить их позиции в поисковой выдачи, путём накрутки негативного трафика, то есть трафика, который не совершает никаких действий на сайте, и более того находится там не более 5-10 секунд.

Яндекс метрика может показывать и больше до 1 минуты, но это может происходить из за того, что прокси были плохие у ботов и долго загружали сайт.

Следовательно после такого трафика, поисковые системы, такие как Яндекс — думают что Ваш сайт не качественный, малополезный, не информативный, и снижают позиции Вашего сайта, и соответственно те сайты которые не попадают под эти накрутки, растут по позициям в поисковой выдачи.

Обратите внимание на трафик в яндекс метрике — идут прямые переходы на сайт.

Чтобы решить эту проблему, можно использовать функцию check_referer_redirect. Вот как она работает и что она делает:

Весь трафик который идёт по прямым ссылкам, будет перенаправлен на другой сайт, любой! Например на сайт с бесконечной загрузкой, что бы боты зависли навсегда! В белый лист ip адресов мы добавляем ботов Google и Яндекс, таким образом поисковые системы будут корректно индексировать сайт, а все остальные боты редиректятся на бесконечные загрузки.

Функция check_referer_redirect помогает бороться с негативным трафиком, обеспечивая, что только разрешенные IP-адреса и авторизованные пользователи могут просматривать ваш сайт. Это предотвращает доступ к вашему сайту для ботов и злоумышленников, которые могут создавать ложный трафик и увеличивать процент отказов. В результате, вы получите более точные данные о посещаемости сайта и улучшите его аналитические показатели.

Использование этой функции – это простой, но эффективный способ защитить ваш сайт от нежелательного трафика и улучшить его производительность и надежность.