В этой статье я расскажу что происходит с антифродом Яндекса, как эволюционирует накрутка поведенческих факторов, что работает, а что нет, как понизить роботность и заблокировать мусорный трафик на своем сайте. Как обычно: практическая информация, актуальные данные и инструменты. Поехали!
Кмк, в роботный влетает трафик, который Яндекс не понимает или считает отличающимся от целевого. К вышеописанным критериям я бы добавил использование адблока или явно аномальное поведение на сайте. Ну грубо: если на сайт стандартно заходила только чужая или своя ботовня, и вдруг зашёл человек, посмотрел и даже что-то купил - попадает в роботы.
Да и с самой выдачей сильно непонятные шаманства происходят. Боты видят сайт в топах, но реально сайта там нет. То есть персонализация. Ощущение, что Яндекс разделяет серпы для разных типов аудитории: ботообразных, с одним шаблоном поведения, и "людей", с другим шаблоном.
Да местами есть такое. Яндекс видимо забил на развитие нормального поиска.
Все "улучшения" Яши в последнее время приводит к тому, что втайне хочешь перевести всех пользователей на поиск Google - жаль, это невозможно.)
Шаманства с выдачей и разделение (бот видит сайт в ТОПе, человек не видит), связываю с увеличением количество трафа с впн и прокси. Например, меня Гугол иногда с впн не пускает в выдачу ("зарегистрирован подозрительный трафик"), а Яндекс охотно пускает, не ставя никаких фильтров.