Как управлять индексацией сайта

Естественный поисковой трафик - один из основных каналов привлечения посетителей на сайт и главная задача его продвижения в поисковых системах. В органической выдаче не нужно платить за каждый переход с поиска, а доверие посетителей выше, чем к рекламе. Это делает попадание сайта в зону видимости органической выдачи таким желанным.

Хотя поисковые системы не раскрывают свои алгоритмы, многочисленные исследования и накопленный опыт SEO продвижения позволяют выделить набор внешних и внутренних факторов, анализ и проработка которых с большой вероятностью поможет улучшить позиции сайта в поисковых системах.

Одним из внутренних факторов ранжирования сайта является корректная индексация. Её цель заключается в проверке сайта на наличие ошибок и барьеров, которые мешают поисковым роботам “прочитать” и положить в базу ваш контент. После индексации страницы пройдут еще несколько шагов фильтрации (черновое, чистовое, дополнительное ранжирование), прежде чем попасть в показ результатов поиска. Но именно с обхода сайта краулерами и составлением индекса индексными роботами начинается процесс формирования поисковой выдачи.

В 1991 году физик Тим-Бернерс Ли запустил первый в истории веб-сайт info.cern.ch. К концу 1992 года их количество выросло до 10. Отметка в 1 миллиард сайтов была впервые достигнута в сентябре 2014 года. По состоянию на июнь 2023 года Всемирная сеть насчитывает 1 106 671 903 веб-сайтов (источник https://siteefy.com/how-many-websites-are-there/).

Роботы поисковых систем не успевают находить и индексировать все существующие URL. Поэтому время, которое отводится на обработку каждого сайта, ограничено. Существует лимит на сканирование (краулинговый бюджет), который определяет, сколько времени и ресурсов краулер может затратить на один сайт. Этот лимит зависит от 2 основных факторов: скорости сканирования и потребности в сканировании. В свою очередь эти показатели зависят от:

Одним из способов улучшить эффективность сканирования является управление количеством страниц, подлежащих сканированию. Расходуя лимит на сканирование малоценных URL, краулер может замедлить анализ важных страниц или даже посчитать нецелесообразным обрабатывать другие URL. С помощью специальных инструментов можно сообщать роботам, какие страницы следует сканировать, а какие пропустить.

Существуют различные методы управления поведением роботов поисковых систем в пределах сайта:

Robots.txt - служебный файл, который находится в корневом каталоге сайта и содержит набор директив, позволяющих указывать поисковым системам, какие URL (веб-страницы, медиафайлы и ресурсные файлы) должны присутствовать в поиске, а какие - нет.

Когда поисковой робот приходит на сайт, то файл robots.txt является одним из первых документов, к которому он обращается.

В Google и Яндекс robots.txt служит всего лишь рекомендацией для краулера. Даже если файл или директория закрыта, она может попасть в индекс. Чтобы удалить страницу из поиска, следует использовать директиву noindex метатега robots, HTTP-заголовок или сделать страницу доступной только по паролю. При этом не следует ограничивать такие страницы в robots.txt, чтобы роботы могли их проиндексировать и обнаружить указания.

В большинстве случаев robots.txt используется для исключения попадания дубликатов, служебных и других малополезных страниц сайта в индекс поисковых систем. В некоторых случаях к robots.txt прибегают для того, чтобы закрыть сайт от нежелательной поисковой системы и краулеров, не относящихся к поисковым системам (например, AHrefs, SeRanking и т.п.).

При отсутствии файла robots.txt краулеры будут индексировать все встреченные на сайте страницы.

В файле robots.txt поисковой робот проверяет наличие записей, начинающихся с поля User-agent. Внутри директивы User-agent должна быть хотя бы одна директива Disallow или Allow. Неизвестные директивы игнорируются.

Символ # предназначен для описания комментариев. Всё, что находится после этого символа и до конца строки, не учитывается.

С помощью метатегов можно управлять индексацией сайта, закрывая страницы, ссылки или фрагменты текста.

В теге каждой страницы можно указать инструкции для роботов поисковых систем по индексированию страницы и показом её фрагмента в результатах поиска. Для этого используется метатег .

В отличие от файла robots.txt метатег robots управляет поведением робота при сканировании конкретной страницы, а robots.txt - поведением робота на всём сайте. Например, в метатеге можно указать, чтобы робот не ходил по ссылкам на странице, а в robots.txt такая возможность отсутствует.

Чтобы обнаружить метатеги robots, краулер должен просканировать страницу. Поэтому не следует закрывать такие страницы от индексации в robots.txt, чтобы роботы могли увидеть указания. В противном случае правила метатега будут проигнорированы.

Тенденция: в последнее время SEO-оптимизаторы фиксируют случаи, когда поисковые системы Яндекс и Google игнорируют директивы Disallow и <meta name="robots" content="noindex"/>, показывая страницы в результатах поиска.

Как и в файле robots.txt, эти инструкции могут быть общими:
<meta name=”robots” content=”noindex” />

Или специфические для конкретного бота:
<meta name=”googlebot” content=”noindex” />

Можно указывать несколько правил метатега robots, перечислив их через запятую:

или использовать каждое правило отдельно:

Роботы Яндекс и Google по-разному интерпретируют директивы с противоречиями. Робот Яндекса учтет положительное значение:

А Google применит наиболее строгое из них:

Перечисленные ниже элементы являются запрещающими и задаются на уровне текста в HTML в коде конкретной страницы.

Использование этого элемента позволяет запрещать поисковым роботам переходить по определенным ссылкам на странице. Атрибут rel=”nofollow” в первую очередь используется, чтобы указать краулеру приоритеты при сканировании сайта. Запрещая переходить на малополезные страницы, он экономит краулинговый бюджет и время индексации.

Атрибут указывается в теге <a> в коде страницы. Например,

Проверить, к каким ссылкам добавлен атрибут, можно с помощью плагина RDS Bar.

Этот HTML-атрибут используется для разметки фрагментов текста на странице, которые не следует показывать в результатах поиска. Поддерживается только Google.

Атрибут data-nosnippet может указываться без значения в HTML-элементах span, div и section. Например,

Предназначен для запрета от индексации элементов на странице. Это могут быть как части кода, так и дубли контента.

Метатег воспринимается только поисковой системой Яндекс, Google данный тег не поддерживает.

В текущих реалиях тег <!--noindex--> практически не используется на практике, т.к. бесполезен в качестве защиты от переспама. А в худшем может стать сигналом для Яндекса, что на сайте есть нарушения (пруфы).

Определить наличие закрытых на странице элементов можно также с помощью плагина RDS Bar.

Протокол HTTP - это язык, на котором “разговаривают” с помощью запросов и откликов клиент (например, браузер или поисковой робот) и веб-сервер сайта. При каждом запросе к серверу браузер или робот передает служебную информацию в HTTP-заголовках. Например, типы передаваемых и поддерживаемых браузером данных, адрес ссылающейся страницы, с которой перешел посетитель и т.д. Некорректная обработка кодов ответа может привести к проблемам с ранжированием, вплоть до исключения страниц из поисковой выдачи.

Код ответа 200 ОК сигнализирует поисковой системе о том, что страницу можно индексировать и показывать в результатах поиска.

Редиректы 301/302 используются при смене URL и указывают, что сайт или конкретная страница переехали с одного адреса на другой.

При обращении к несуществующей странице сервер должен отдавать код 404 (HTTP 404 Not Found). Некорректная обработка запросов к несуществующим страницам может привести к неправильной индексации сайта, появлению большого количества дублей и мусорных страниц в индексах поисковых систем.

Помимо вышеперечисленных существуют код ответа сервера 304 и HTTP-заголовок X-Robots-Tag, которые позволяют управлять индексацией сайта. Расскажем о них подробнее.

Помимо метатега robots существует еще один способ указать роботам правила загрузки и индексирования конкретных страниц сайта. Это HTTP-заголовок X-Robots-Tag.

Как и для файла robots.txt и тега robots, в заголовке X-Robots-Tag можно указать директивы для определенных роботов. Но если Google поддерживает все те же правила, что и для метатега robots, то Яндекс сможет обработать через заголовок X-Robots-Tag только 4 директивы - noindex, nofollow, none, noarchive.

Как и в случае с метатегом robots краулеры Яндекс и Google по-разному интерпретируют директивы заголовка X-Robots-Tag с противоречиями (см. метатег robots).

Метатег robots и HTTP-заголовок X-Robots-Tag похожи по функционалу и поддерживаемым директивам. Но для интерпретации HTTP-заголовков роботу не нужно анализировать контент страницы целиком, т.к. правила задаются на уровне HTTP-ответа. Получая Noindex через XRT, робот не обрабатывает страницу. Кроме того метатег robots работает только с HTML форматом файлом. Для запрета индексации документов pdf, видео или изображений в таком случае подойдет X-Robots-Tag. В этом заключается его преимущество перед meta robots.

Чем чаще на сайте изменяется информация и добавляются новые страницы, тем чаще на него будет приходить робот поисковой системы. При посещении страницы краулер должен понять, изменилась она с момента последнего визита или нет. Для этого он скачивает страницу к себе в базу и сравнивает с предыдущей версией. Если страница содержит значимые изменения, то её копия в индексе заменяется новой, если нет, то в индексе остаётся вариант, скачанный ранее. В итоге может сложиться ситуация, когда краулер расходует краулинговый бюджет на неизменившиеся страницы, а на новые у него не хватает ресурсов. Кроме того сайты с большим количеством страниц могут столкнуться с еще одной проблемой: неоправданной нагрузкой на сервер при скачивании поисковым робот “лишних” страниц.

Данная ситуация решается настройкой на сервере заголовков Last-Modified и If-Modified-Since. Эти HTTP-заголовки сообщают поисковому роботу, изменилась ли страница с момента его последнего посещения. Если нет, робот получит от сервера ответ 304 Not Modifed (документ не изменялся) и саму страницу не отдаст. Тогда краулер оставит в индексе старую копию документа и сможет уделить больше внимания новым страницам и страницам с изменениями.

Пример корректной обработки HTTP-заголовков Last-Modified и If-Modified-Since:

Проверить настройку HTTP-заголовков Last-Modified и If-Modified-Since на своем сайте можно тут https://last-modified.com/.

Корректная обработка запросов с датами изменений документов актуальна для сайтов с большим количеством страниц. Это ускорит сканирование сайта поисковыми роботами за счет рационального расходования краулингового бюджета на новые или обновленные документы.

Для управления каноническими адресами страниц сайта используется атрибут rel="canonical". Если на сайте есть страницы со схожим контентом, то с помощью rel="canonical" можно указать поисковому роботу, какая версия страницы должна отображаться в результатах поиска.

Директива не является строгой и может быть проигнорирована поисковыми системами. Но исходя из нашего опыта, вероятность корректной обработки повышается, если контент страниц совпадает полностью.

В каких случаях стоит указать канонический адрес страницы:

Директиву rel=”canonical” можно добавить двумя способами:

Можно использовать оба способа для большей надежности.

Если вы не укажите канонический URL, то поисковая система сама определит, какая страница или версия URL является наиболее подходящим вариантом для размещения в результатах поиска.

Что еще важно знать о канонических ссылках:

Google поддерживал кроссдоменные директивы canonical. Но в 2023 году в документацию были внесены изменения. Если раньше Google рекомендовал использовать rel=canonical для управления скопированным контентом, размещенном на других доменах, то сейчас наиболее эффективным решением является установка запрета на индексирование вашего контента на сайтах партнеров. Поэтому скорее всего можно говорить о том, что Google перестал обрабатывать ссылки из разных доменных зон.

В Яндекс и Google существует несколько инструментов, помогающих ускорить индексацию или переиндексацию сайта. С их помощью можно сообщить индексирующему роботу об изменениях на сайте (новых, удаленных или изменившихся страницах), чтобы они быстрее отразились в результатах поиска.

Sitemap (XML-карта сайта) - документ с URL-адресами и метаданными, который сообщает поисковым системам о страницах, доступных для индексации. Если файл robots.txt в основном используется для запрета индексации, то sitemap.xml отвечает за ускорение и полноту индексации сайта.

Файл Sitemap должен автоматически обновляться при добавлении / удалении страниц с сайта и включать в себя ссылки только на важные и доступные для роботов страницы сайта, содержащие уникальный контент. Использование метаданных, связанные с конкретным URL, позволит оптимизировать процесс индексации и переиндексации через xml-файл:

Не забудьте добавить ссылку на файл sitemap в панели Вебмастеров и robots.txt, чтобы роботы Яндекс и Google быстрее его увидели.

Сообщить Яндекс о новых или измененных страницах можно в панели Вебмастера через инструмент “Переобход страниц” в разделе “Индексирование”.

Достаточно указать в поле адреса страниц и нажать кнопку “Отправить”. Робот посетит указанные URL в приоритетном порядке при следующем обращении к сайту.

Чтобы сообщить о новой или обновленной странице поисковой системе Google, воспользуйтесь инструментом проверки URL в панели GSC.

Если страницы нет в индексе, запросите сканирование страницы роботом Googlebot.

Если страница присутствует в индексе Google, то её можно отправить на переиндексацию:

Протоколы IndexNow и Indexing API позволяют сообщать Яндекс и Google об изменениях на сайте, не дожидаясь планового обхода индексирующими роботами.

Возможности Яндекс IndexNow и Google Indexing API:

Подключение протоколов и работа с ними требуют определенных знаний и навыков. Если ваш сайт небольшой, то вполне можно обойтись стандартными инструментами Я.Вебмастер и Google Search Console.

Узнать больше о работе протоколов и ознакомиться с инструкциями по подключению:

Иногда в практике возникают случаи, когда из результатов поиска нужно убрать страницу или группу страниц сайта. Для этого необходимо установить запрет на индексирование страницы.

Если страница удалена с сайта

→ Рекомендуется использовать, если нужно удалить из поиска Яндекса множество страниц. Последовательный обход роботом может занять некоторое время, а к файлу robots.txt при обходе краулер обращается в первую очередь.

Для удобства пользователей и SEO-оптимизации для некоторых удаленных страниц рекомендуется настраивать 301 редирект на релевантные страницы или основные страницы каталога:

Если страница не должна отображаться в поиске

→ Не ограничивайте такую страницу в robots.txt, чтобы робот смог её просканировать и обнаружить указания.

Самым надежным из всех перечисленных способов является удаление страницы. А менее безопасным директива noindex в meta robots или XRT.

В панели Я.Вебмастер есть инструмент “Удаление страниц из поиска”, который позволяет внепланово (не дожидаясь планового обхода робота) сообщить Яндексу о необходимости удаления страницы из поиска.

Для URL должен быть установлен запрет на индексирование или он должен отдавать ответ сервера 404 Not Found, 403 Forbidden или 410 Gone. В других случаях заявка на удаление страниц из поиска будет отклонена.

Удалить можно как отдельные страницы из поиска (по URL):

Так и группы страницы (по префиксу):

Чтобы быстро (в течение одного дня) исключить страницу из результатов поиска Google, воспользуйтесь инструментом удаления URL в панели Google Search Console.

Инструмент позволяет временно исключить страницы из результатов поиска, но не удалить их навсегда. Чтобы удалить контент из Google Поиска навсегда, воспользуйтесь один из трех способов, перечисленных выше.

Важно: