Сервис защиты от вредоносного трафика повыкидывал мои страницы агрегатора из поиска Яндекса
😱Первый раз сталкиваюсь с таким SEO-кейсом. Сервис, который я использую для блокировки подозрительного трафика ( DDos-атаки, брутфорс, защита от вирусов) насоздавал промежуточных страниц (пример) с тегами noindex nofollow и отдавал их ботам Яндекса, который в свою очередь выкидывал эти страница из поиска. Саппорт сервиса описал ситуацию так, что они заблокировали ботов Яндекса, подозревая их во вредоносной активности. Во как бывает.
Я достаточно давно использую сервис cln.cloudlinux.com/ для своих агрегаторов (пример одного из агрегаторов). Этот сервис решает 2 задачи:
- Сканер вирусов
- Блокировка подозрительного трафика(ддос-атаки, брутфорс)
😱Какое-то время я стал замечать неладное в Яндекс Вебмастере, а именно неприятную фатальную ошибку о том, что главная страница закрыта тегами Noindex ( скрин ), так же я наблюдал, что и другие некоторые страницы вылетали из поиска, как закрытые от индексации на нашей стороне ( скрин )
🧑💻 У нас в движке есть много полезного функционала, который закрывает тегами noindex ненужные страницы автоматически, например страницы, на которых нет объектов (выбраны такие фильтры, где нет объектов), я думал может там ошибка, всё перерыли, но нет. С движком всё отлично.
😜 Проблема крылась как раз в сервисе cln.cloudlinux.com/ Вот их ответ, перевёл в яндекс переводчике
Далее из общения с саппортом сервиса
🙂 Мы добавили в вайт лист Яндекс (и другие поисковые системы), по идее проблема должна решится. Вот такие бывают интересные кейсы. Запишу по следам этого кейса видео урок к курсу, который идёт к движку - как быстро вылавливать такие системные проблемы и решать их.
В этом кейса интересно для меня 2 момента:
- Я лично не сталкивался с тем, что такие сервисы могут подставлять промежуточные страницы с тегами noindex nofollow . Вдруг кто-то также не сталкивался, и обнаружив у себя после переобхода поисковика группу таких страниц быстро сориентируется.
- Что там за такой вредоносный трафик от Яндекса. Я кстати Яндексу в Саппорт тоже пишу, посмотрим, что они ответят. Дополню в комментариях.
Если сталкивались с таким, пишите в комменты, обсудим.
Недавно в статейке про технические аудиты про такое писал. Но там больше про гуглобот и его беды. У вас - хороший пример, спасибо, приберу в коллекцию.
скиньте пожалуйста ссылку на статью, Виктор. Тоже почитаю, что там у гугла
Благодарю!
Что значит "noindex nofollow и отдавал их ботам Яндекса, который в свою очередь выкидывал эти страница из поиска".
Как он может выкинуть из поиска то, что туда не попало из-за запрета?
1. noindex и nofollow - это указание, которое мы прописываем в коде страницы, как раз для поисковых роботов. Можно тут подробнее почитать - https://timeweb.com/ru/community/articles/tegi-noindex-i-nofollow
2. Поисковые роботы переобходят сайт постоянно. Страницы были в поиске, но при повторном обращении к ним по описанной в статье причине, робот увидел новый код страницы, в котором были указания не индексировать такие страницы и он убрал их из поиска.
У меня, кстати, на сайте стоит проверка, если в листинге 0 товаров, то добавляется noindex. И как раз недавно что-то случилось. То ли на серваке, то ли еще что и в листингах показывалось 0 товаров какое-то время. Яндекс же супер быстрый. Заметил это и выкинул практически все.
И периодически на других проектах бывает, что он каким-то образом обнаруживает noindex, когда его просто быть не должно.
у нас тоже есть такая проверка, что если 0 объектов на листинге, то noindex