Как защитить сайт от ботов?
С развитием технологий, растет и количество угроз, которые могут нанести вред любому ресурсу. Владельцы сайтов жалуются на участившиеся атаки ботов. Как же с этим бороться? Есть ли проверенные методы защиты сайта от ботов и DDoS-атак? Предлагаю поговорить о способах обнаружения и блокировки вредоносного трафика.
Главное, чтоб не переборщить с установленными программами против ботов, а то самого блочить будут. Кстати, у меня так пару раз было. Меня CloudFlare воспринял за бота и заблокировал на время. Сейчас, видимо, его подкрутили и он ведет себя хорошо.
Не совсем понятно про парсинг, так как это явление не запрещено в РФ. Я парсингом занимаюсь регулярно через Гугл таблицы.
Раньше можно было использовать Crawl-delay, но сейчас частоту посещения можно настроить в Вебмастере, а Гугл сам определяет частотность в зависимости от мощности сервера.Кстати, Яндекс со своими таблицами в этом плане проигрывает. Их встроить нельзя, а про парсинг вообще промолчу.
Использую CloudFlare + математическая капча и полет сайта нормальный.