файл .htaccess - 100% поможет (при правильном использовании) Блокировка по ASN - не пробовал, не знаю. Хотя можно все сделать и через .htaccess, но это, по описанию, проще в управлении robots.txt - он, похоже, сейчас работает только для указания адреса сайтмапа: гуглу на него почти наплевать.
Мы с ботами не боролись, но почти победили их сперва CF, а затем WAF решением.
Написать, что защитились от ботов записью в robots.txt - рука-лицо... Как можно писать статьи на подобные темы, не представляя того, как все это работает?...
ЗЫ я не отрицаю наличия воспитанных ботов, которые не пойдут на сайт, увидев такую запись в роботсе. Но в своих логах не обнаружил ни одного бота, посмотревшего этот файл ;)
файл .htaccess - 100% поможет (при правильном использовании)
Блокировка по ASN - не пробовал, не знаю. Хотя можно все сделать и через .htaccess, но это, по описанию, проще в управлении
robots.txt - он, похоже, сейчас работает только для указания адреса сайтмапа: гуглу на него почти наплевать.
Мы с ботами не боролись, но почти победили их сперва CF, а затем WAF решением.
Написать, что защитились от ботов записью в robots.txt - рука-лицо...
Как можно писать статьи на подобные темы, не представляя того, как все это работает?...
ЗЫ я не отрицаю наличия воспитанных ботов, которые не пойдут на сайт, увидев такую запись в роботсе. Но в своих логах не обнаружил ни одного бота, посмотревшего этот файл ;)