Прямые заходы на сайт в Яндекс Метрике и как бороться с ботами, маскирующимися под поисковый и рекламный трафик
В феврале 2024 года, после шести месяцев плодотворной работы был запущен обновленный сайт. Первые недели после редизайна сайта — критически важны. Неправильная склейка может привести к падению позиций в поисковой выдаче, а технические баги, ошибки в скриптах, некорректная настройка сервера и DNS, могут отразиться на работе сайта.
Написать, что защитились от ботов записью в robots.txt - рука-лицо...
Как можно писать статьи на подобные темы, не представляя того, как все это работает?...
ЗЫ я не отрицаю наличия воспитанных ботов, которые не пойдут на сайт, увидев такую запись в роботсе. Но в своих логах не обнаружил ни одного бота, посмотревшего этот файл ;)
Блокировка по ASN, файл .htaccess и правила в robots.txt . И да, нам помогло) А вы их не блокируете или не было случаев?
Комментарий недоступен
Комментарий недоступен