Настраиваем CloudFlare для фильтрации ботов
В этой статьей рассмотрим детальную настройку сервиса CloudFlare для защиты сайта от всевозможных роботов, ботов, парсеров.
В этой статьей рассмотрим детальную настройку сервиса CloudFlare для защиты сайта от всевозможных роботов, ботов, парсеров.
Зачем использовать это для блокировки краулеров с явно указанными User Agent? Такая фильтрация же делается элементарно на уровне robots.txt, а в крайнем случае на уровне прокси-сервера (Nginx, апач).
Роботс это рекомендация, не правило, корректнее через htaccess
Конечно можно и через роботс, и через апач, способов куча. Это просто проверка на дурака, как выше отметили при желании спарсить можно что угодно.
В nginx вы только в блок можете поставить. Это никак не поможет в том случае, если нужно не блокировать, а проверять. Допустим, поведенческие боты из сетей мобильных операторов: Ростелеком, Мегафон, Билайн и так далее.
А robots - это рекомендация. Которую, кроме как Гугл и Яндекс, больше никто не учитывает.