Как распознать ботов на сайте через заголовки сервера?
Год за годом интернет все больше наполняется разного рода ботами, которые посещают сайты в зловредных целях. В результате "нагула" ботов падают позиции сайта в Яндекс и Google, повышается стоимость конверсии в Яндекс Директ и растет нагрузка на сервера.
А как заблокировать ботов, аналитику сайтов изнутри сети? Что бы пользак хоть лазиет где попало, не пополнял статистику сайтов и метрик?
Не понял, объясните по-другому.
Если на уровне сервера их блочить, то у них не будет доступа к страницам. Статистику метрик они портить не будут, потому что скрипты статистики загружаются на фронте, на странице, в которую бот достучаться не сможет.
Другой вопрос, если они уже просочились и имитируют пользовательскую активность. Тут уже надо ставить отслеживание движения курсора и вычислять подозрительное поведение. А дальше алгоритм тот же - банить по IP, user agent-ам и прочему.