Как распознать нашествие ботов и защитить сайт компании от падения в рейтинге

Разбираемся, кто и зачем насылает ботов на сайт, как вовремя распознать нашествие, и рассказываем про 3 способа защиты, которыми пользовались.

Привет, с вами Сайткрафт — маркетинговое агентство для B2B. Специализируемся на работе с высококонкурентными нишами бизнеса: строительство, недвижимость, промышленность, заводы. Здесь конкуренты пытаются выделиться на фоне других всеми доступными способами, включая нашествие ботов на сайт.

Боты притворяются «живыми» пользователями, нагружают сервер и могут подпортить репутацию сайта в глазах поисковых систем. Наш SEO-специалист, Максим Зотьев, рассказал, кто и зачем насылает ботов, как заметить нашествие и, самое главное, как защитить свой сайт и сохранить его позиции в выдаче.

В Яндексе есть понятие «поведенческий фактор» — один из важнейших критериев, по которым сайт ранжируется в поисковой выдаче. По поведенческому фактору Яндекс оценивает, насколько сайт полезен пользователям, и решает, на какой странице и позиции результатов его показывать.

Например, пользователь загуглил «как защитить сайт от ботов» и наткнулся на эту статью. Ему понравился 1 из 3 способов, о которых мы рассказали, он его запомнил, закрыл статью и больше к Яндексу с этим запросом не обращался. Пользователь получил ответ на вопрос, а сайт получил плюсик к ранжированию.

Те, кто любыми способами пытается вывести сайты в ТОП, быстро поняли и оценили такую фишку Яндекса — появилась накрутка поведенческого фактора. На сайт целенаправленно нагоняют толпу ботов, которые пытаются имитировать действия обычных пользователей: скроллят страницы, переходят по разделам, вдумчиво «читают» статьи. Алгоритмы Яндекса оценивают это как интерес со стороны пользователей и поднимают сайт в поисковой выдаче.

Но в Яндексе быстро заметили, что их обманывают и используют лазейки в алгоритме, чтобы выводить сайты в ТОПы. В ответ на ботов Яндекс усовершенствовал алгоритмы так, чтобы они смогли вычислять искусственных пользователей.

Так началась настоящая битва, которая идёт до сих пор — ботов совершенствуют, делают умнее и ещё скрытнее, а Яндекс совершенствует алгоритмы, чтобы вычислять всё новых ботов. Теперь, когда Яндекс видит подозрительно высокую активность, он наоборот понижает позиции сайта и старается не показывать его пользователям.

Усовершенствованные алгоритмы Яндекса тоже начали использовать в своих целях — ботов нагоняют на сайты конкурентов, чтобы вывести их из игры. Это и называется «нашествием ботов». Но в отличие от «умных» ботов, эти специально нелепо копируют действия пользователей, чтобы Яндекс как можно быстрее применил санкции к сайту, например, отправил его вниз по поисковой выдаче или вовсе перестал показывать в результатах. Так конкуренты начали устранять друг друга.

Но не торопитесь сразу винить конкурентов и писать им на почту гневные письма — боты могут просто «нагуливать пузо», собирая полезную им информацию. Таких ботов просто «прокачивают», чтобы использовать в будущем для накрутки поведенческого фактора. Пока боты «качаются», они приходят на рандомные сайты, которые только попадаются на их пути.

Для владельца сайта это тоже может обернуться пессимизацией в Яндексе и падением позиций, потому что алгоритмов «прокачки» ботов тысячи. Если на одном и том же сайте боты слишком часто будут «нагуливать пузо», он тоже может отправиться на дальние страницы поисковой выдачи.

Давайте разбираться, как вовремя заметить нашествие ботов, которые «нагуливают пузо» или пришли от конкурентов, и какими способами защитить сайт.

Когда сайт «упадёт» от мощной DDos-атаки или алгоритмы начнут показывать его только на пятой странице результатов поиска — нашествие ботов будет очевидным. Но заметить подозрительную активность можно и раньше:

Реанимировать сайт после нашествия ботов намного сложнее, чем заранее защитить его от нежелательных «посетителей». 3 самых популярных способа защиты: блокировка IP-адресов, встроенная защита от хостинга и специальные сервисы защиты от ботов.

Это самый распространённый, но, к сожалению, самый неэффективный способ защиты от ботов. В «Менеджере IP-адресов» потребуется вручную создать правило блокировки или блокировать отдельные адреса. Но сейчас многие боты используют мобильные прокси, который подменяет IP-адрес и в случае блокировки мгновенно меняет его на другой.

Можно заблокировать подсети в файле robots.txt или .htaccess, чтобы не пропускать ботов на сайт. Но такая блокировка может затронуть и «настоящих» пользователей, а не только ботов. В результате сайт окажется недоступным и для ботов, и для «живых» посетителей.

Блокировка IP-адресов сработает только как временное решение, но точно не будет эффективно работать в перспективе.

У многих хостинг-провайдеров есть встроенные средства защиты от DDoS-атак, которые можно использовать и против нашествия ботов. Инструменты фильтруют IP-адреса, блокируют повторяющиеся запросы, отличают «хороших» и «плохих» ботов, определяют, есть ли угроза уже на первом запросе и многое другое.

Средства защиты от DDoS-атак на популярных хостингах можно найти даже в базовых тарифах. Они выглядят как отдельный IP-адрес, который пропускает только допустимый трафик и блокирует любые подозрительные активности. Некоторые хостинги предлагают ещё и собственный дополнительный модуль, который устанавливается на сайт и настраивается по конкретным правилам.

Всего одно движение ползунка и ~300 рублей в месяц, чтобы забыть про проблемы с ботами и быть уверенными в безопасности сайта — встроенная защита справится с нашествием. Такой же способ защиты мы используем в агентстве.

Есть всего один нюанс, про который нельзя забывать: обязательно попросите техподдержку отключить встроенное кеширование. Иначе обновления на сайте будут появляться раз в сутки при каждом сбросе кеша со стороны хостинга. Поэтому убедитесь, что кеширование отключено сразу после подключения защиты от ботов.

Тех, кто обещает защитить сайт от ботов и DDoS-атак, тысячи, например, Amazon CloudFront, Incapsula, Akamai, Fastly, Cloudbric и другие. Они справляются с масштабным нападением, но неизвестно, как защищают именно от небольших атак ботов. Нашим фаворитом среди сервисов защиты от ботов стал CloudFlare, которым мы защищаемся и сами.

В первую очередь, CloudFlare — это сервис защиты от DDoS-атак. Но вместе с этим он отлично показал себя в борьбе с ботами — мы проверили.

На бесплатном тарифе сервиса предустановлен базовый уровень защиты от ботов, даже он справится с небольшим нашествием. Для усиленной защиты с дополнительным функционалом есть продвинутые платные тарифы: Pro (от $20 в месяц), Business (от $200 в месяц) и Enterprise (стоимость индивидуальна).

Чтобы настроить CloudFlare, потребуется время и базовые технические знания, но это того стоит — сервис зарекомендовал себя самым мощным и надёжным способом защиты от ботов. При подключении CloudFlare берёт текущие DNS-записи у домена и полностью копирует их к себе. Сервис автоматически кеширует данные, ведёт собственную статистику, мониторит посещения и имеет множество дополнительных приложений и бесплатный SSL-сертификат.

Но даже здесь не обошлось без нюанса, с которым придётся мириться. CloudFlare 5 секунд показывает каждому пользователю окно-предупреждение, а только после пропускает на сайт:

Регулярно следите за активностью на сайте, обращайте внимание на странное поведение пользователей и не спешите радоваться резкому беспричинному наплыву трафика. А если заметите, что что-то пошло не так, тут же активируйте все средства защиты против ботов и DDoS-атак, чтобы сайт не упал в рейтинге и стабильно работал.

За SEO-оптимизацией, разработкой сайта и продвижением — переходите на наш сайт и оставляйте заявку.

Расскажите, как защищаете сайт от ботов? Какие сервисы используете?