Теперь можно открывать для индексации страницы поиска на сайте?
Google официально убрал из документации Search Essentials требование 2007 года, обязывающее закрывать страницы внутреннего поиска от индексации.
За открытый поиск больше не накажут как за спам или автосгенерированный контент, но это всё еще считается грубой технической неэффективностью.
Почему их по-прежнему нужно закрывать:
- Слив краулингового бюджета и нагрузка на сервер: Поиск — это бесконечное пространство URL. Бот пойдет по параметрам, начнет слать тяжелые некэшированные запросы в базу данных и может положить сайт или срезать лимиты обхода нормальных страниц.
- Вектор для поискового спама: Спамеры могут генерировать миллионы ссылок на ваш поиск с запрещенными ключами (казино, фарма, адалт + контакты в заголовке). Google со временем может пометить сайт в Search Console как взломанный (hacked).
Как действовать на практике:
- Основное решение — robots.txt: Закройте весь паттерн поиска одной широкой директивой (например, Disallow: /search/? или Disallow: /?s=). Это полностью срезает сканирование и экономит ресурсы.
- Альтернатива — noindex: Метатег noindex или заголовок X-Robots-Tag защитит от показа URL в выдаче, но Googlebot всё равно будет разово загружать эти страницы.
- Не путать с категориями: Если на CMS (например, Blogger) рубрики или теги работают на базе поисковых URL, отделите их структуру, иначе заблокируете важные посадочные страницы.
- Что делать категорически нельзя:Отдавать код 500 Internal Server Error на поисковых страницах — бот решит, что сервер падает от нагрузки, и резко сократит сканирование всего сайта.Надеяться на инструмент временного удаления URL в Search Console — он только скрывает ссылки из выдачи, но не останавливает краулер.
А вы что думаете?