Как и зачем бороться с прямым роботным трафиком: 5 рабочих вариантов

Наверняка многие владельцы сайтов, вебмастера, интернет-маркетологи и другие специалисты, отслеживающие трафик ресурса, замечали резкий подъем прямых заходов, который может быть ассоциирован с роботами.

В отчетах Яндекс.Метрики этот неконтролируемый всплеск выглядит так:

Так выглядит более реальная динамика прямых заходов при отключении роботов для отображения на графике:

Оговоримся, что Яндекс.Метрика фильтрует роботов по своим алгоритмам Мы не раз обращали внимание, что некоторые реальные переходы не попадают в отчет с поведением “Только люди”, поэтому назвать 100% прозрачным этот отчет мы не можем. Тем не менее, он позволяет сделать вывод об объеме роботного и настоящего прямого трафика сайта.

А вот так выглядит отчет за аналогичный период по роботам, которые были отфильтрованы по поведенческим факторам:

Поддержка Яндекс.Метрики заверяет, что современные алгоритмы не обращают внимания на роботов. Как и раньше, они не считают резкий рост ботов за попытку накрутки трафика. То есть, такая активность не должна приводить к понижению качества сайта с точки зрения поисковых систем.

Мы задали вопрос в поддержку Яндекс.Вебмастера:

…и получили ответ:

Проанализировав десятки сайтов, мы пришли к выводу, что такая роботная активность может негативно сказаться на состоянии сайта: его позициях, посещаемости и качественных показателях визитов.

Например, на один из наших сайтов по прямому каналу «набежали» роботы в декабре 2023 года:

До января их активность никак нами не прерывалась, что привело к спаду позиций.

Позиции ноября, где роботы ещё не активничали:

Позиции января, где однозначно понятно, что качество ботного трафика декабря негативно повлияло на позиции сайта:

В январе мы поняли, что нельзя больше терпеть - пора гнать роботов с сайта вон!

После наших работ позиции снова пошли вверх:

Роботы портят качество трафика – растёт показатель отказов, уменьшаются средняя длительность сеанса и количество просмотренных страниц.

Показатель отказов вырос с 18% в ноябре до 65,7% в декабре:

Глубина просмотра уменьшилась с 1,5 страниц за сеанс в ноябре до 1,2 в декабре:

Время на сайте уменьшилось с 1:17 минут в ноябре до 0:53 минут в декабре:

Устранение вредоносных ботов очищает карму трафика, что положительно влияет на него и, как следствие, на позиции сайта.

Есть и противоположная ситуация, когда очистка ботов приводит к провалу в позициях. В этом случае наше предположение сводится к тому, что алгоритмам Яндекс источник трафика не принципиален.Если он растёт, то это свидетельствует (для ИИ Яндекс) об улучшении качества сайта; спад же сигнализирует о том, что сайт становится хуже.

Таким образом, что бы мы ни делали – боролись или не боролись с ботами – позиции неизбежно падали. Ситуация кажется безвыходной.

Бесконтрольный рост прямых роботных заходов портит качество трафика, как мы отметили выше. Средняя длительность сеанса и среднее количество просмотренных страниц уменьшаются, а показатель отказов, наоборот, растет. Поведенческий фактор достаточно важен для Яндекс, и его прокачка белыми методами даёт положительные результаты, но такие роботы могут его существенно подпортить.

Да, устранение ботов может повредить позициям, но временно. Кроме того, присутствие неестественного неуправляемого трафика затрудняет его прогнозирование и регулярный контроль, поэтому “Отсекать надо точно”, – утверждают наши специалисты.

Для себя в Адверт-Про мы приняли решение вовремя выявлять эту проблему и решать несколькими проверенными вариантами, каждый из которых хорош по-своему.

Способ старый, простой и достаточно рабочий. Выявляем, из каких сетей приходит большое количество роботов на сайт и блокируем подозрительные IP-адреса или целые диапазоны.

Минусы:

Ещё один базовый вариант снижения трафика на сайт. Включение CAPTCHA на сайте может помочь убедиться, что посетитель является человеком, а не ботом. Существуют различные формы CAPTCHA, включая текстовые задачи, изображения и последние разработки, такие как reCAPTCHA от Google.

Минусы:

Мы фильтровали DNS-записи типа А, которые основаны на IPv4. Чаще всего спам-атаки ботами идут именно с IP-адресов четвертой версии: их очень много, они дешевые, в большинстве случаев располагаются на неконтролируемых серверах и спамеры покупают их сотнями тысяч. Фильтровать их способом 1 можно, но бессмысленно именно по причине их многочисленности. Поэтому мы у некоторых сайтов, особенно пострадавших от атак прямыми заходами, удалили все записи типа А и оставили только АААА (IPv6). Результат выглядит так:

Минусы:

Способ мега-рабочий, если спам-трафик идёт только на одну страницу сайта. В этом случае не принципиально, какая страница страдает – главная, категория или карточка товара.

Когда мы столкнулись впервые с тем, что боты ломятся не равномерно на весь сайт, а на конкретную страницу, хотели по-старинке заблокировать сети IP, но решили провести эксперимент – и не прогадали!

Гипотеза эксперимента состояла в том, что если вследствие наших стандартных работ спамеры заметят смену отклика страницы с 200 на 404, либо пустят новых ботов с новых сетей, либо атакуют другую страницу. А если мы перенаправим этих ботов на любую другую страницу с откликом 200, то с сайта они уйдут, но продолжат “думать”, что задание по атаке выполняется корректно.

Таким образом, мы перенаправили все прямые заходы с пострадавшей главной страницы на карточку организации в Яндекс.Бизнес. Реальные пользователи могли перейти на сайт по ссылке из карточки, боты подмены не заметили, а Яндексу с его ресурсами и алгоритмами, которые игнорируют ботов, такая наша доработка совершенно не повредила.

Результат выглядит так:

Сервисы Cloudflare, работающие как обратный прокси для сайта, служат мощной защитой от DDOS-атак. Их используют многие компании как зарубежом, так и на российском рынке.

Среди плюсов – конкурентная стоимость обслуживания и наличие бесплатного тарифа, надежность, возможность отсечь ботов до их попадания на сайт.

Минусы:

Результаты доработки:

Наши программисты настраивают аналогичные Cloudflare системы с нуля на сайтах, для которых ни один для перечисленных выше способов не подходит по крайней мере на 85%. Это долго и достаточно трудозатратно, но эффективно для сайтов, которые регулярно подвергаются нападениям со стороны конкурентов.

Это не исчерпывающий список способов побороть роботные заходы на сайт, но самые действенные, с нашей точки зрения. Также мы применяем и другие варианты, в зависимости от множества параметров сайтов:

Эти методы можно комбинировать для создания многоуровневой защиты от ботов, дополнять другими и создавать индивидуальные планы защиты под каждый продвигаемый сайт.

Мы перечислили наших фаворитов в борьбе с прям роботным трафиком. А вы сталкивались с резким ростом ботов на сайте? Расскажите в комментариях о своём опыте его исключения и последствиях таких доработок!