Индексация страниц: как ускорить процесс и повысить видимость сайта в поисковых системах

Техническая оптимизация — первая и важнейшая часть в SEO. Это фундамент, без которого последующие работы будут неэффективны. Этот этап работы с сайтом состоит из множества задач, часть из которых критично важна. К ним относится и индексация страниц.

В этой статьей SEO-эксперты Ingate Organic, разобрали инструменты и способы, которые помогут ускорить индексацию страниц, а также причины, по которым сайт не попадает в поиск.

Чтобы лучше понять определение, коротко рассмотрим этапы попадания сайта в органическую выдачу:

Обнаружение сайта. Поисковые роботы (краулеры) начинают свой процесс, найдя ссылки на ваш сайт.

Сканирование контента. Роботы переходят по найденным ссылкам и анализируют содержимое каждой страницы. Они собирают информацию о тексте, изображениях, ссылках и других элементах на странице.

Индексация. После сканирования поисковая система добавляет информацию о сайте в свою базу данных (индекс).

Обновление индекса. Поисковые системы периодически обновляют свои индексы, чтобы отражать изменения на сайте и в интернете в целом. Это включает в себя периодическое повторное сканирование страниц сайта для обновления информации в индексе.

Эти этапы помогают поисковым системам эффективно анализировать и организовывать контент в интернете, чтобы пользователи могли находить нужную информацию.

Итак, как мы выяснили, чтобы страницы попали в индекс, необходимо, чтобы поисковые системы узнали о существовании конкретного сайта и могли просканировать его.

Разберем, что для этого необходимо:

Настройка и создание файла sitemap.xml (карта сайта). Этот файл предназначен для поисковых систем. В нем указываются ссылки на страницы, которые необходимо проиндексировать. По адресу http://site.ru/sitemap.xml нужно создать актуальную карту сайта, учитывая следующие требования:

● Используйте кодировку UTF-8. Робот Яндекса распознает кириллические URL как в закодированном виде, так и в оригинале.

● Рекомендуемое количество ссылок — 50 000. Вы можете разделить Sitemap на несколько отдельных файлов и указать их в файле индекса Sitemap.

● Указывайте ссылки на страницы только того домена, на котором будет расположен файл.

● Разместите файл на том же домене, что и сайт, для которого он составлен.

● При обращении к файлу sitemap.xml сервер должен возвращать HTTP-код 200.

Более подробная информация о требованиях и возможных ошибках указана в Яндекс Справке.

Добавление сайта в Яндекс Вебмастер и Google Search Console. Это бесплатные инструменты для владельцев сайта и веб-мастеров. В них собирается информация об эффективности сайта в поиске, техническом состоянии и ошибках.

Добавить сайт в каждый из сервисов довольно просто. Подробные шаги добавления для каждой поисковой системы описаны в инструкциях:

1) Для Яндекса

2) Для Google

Далее обязательно добавьте ссылку на Sitemap.xml, созданную ранее, в каждый из инструментов.

Яндекс Вебмастер: Индексирование — файлы Sitmap.xml — добавить файл (вставляете ссылку).

Google Search Console: Индексирование — файлы Sitmap.xml — добавить файл (вставляете ссылку).

Настройка и создание файла Robots.txt. Он предназначен для указания параметров сканирования роботом поисковых систем. Первым делом при посещении вашего сайта поисковые роботы изучают директивы (указания) данного файла и на основе него сканируют сайт. С его помощью можно скрыть страницы результатов поиска, фильтрации, системные файлы, добавить директиву для исключения страниц с get-параметрами.

Главное, чтобы были открыты для сканирования продвигаемые посадочные страницы. Также следует указать ссылку на актуальный файла sitemap.xml.

Sitemap: https://www.site.ru/sitemap.xml

Важно: Без данного файла поисковые системы все равно проиндексируют страницы. Он нужен, чтобы регламентировать сканирование для корректного отображения в поиске.

Директивы в файле поисковые системы воспринимают как рекомендации, поэтому могут проигнорировать некоторые указания и все равно проиндексировать ту или иную страницу. Например, если на страницу ведет много внутренних ссылок, но при этом она недоступна в файле, ПС включат их в индекс.

Долгая загрузка или отсутствие доступа к странице. Если при обращении к сайту поисковые системы не смогут получить содержание и просканировать страницу, они не добавят ее в базу данных, следовательно, и участвовать в ранжировании она не будет.

Чтобы избежать подобных проблем, надо настроить быструю загрузку сайта (и обеспечить быстрый ответ сервера – не более 200-300 мс). Проверить скорость ответа сервера можно в Яндекс Вебмастере:

Проверить скорость загрузки можно с помощью PageSpeed.

В случае критических ошибок с доступностью сайта в панели вебмастера появится соответствующее уведомление.

Некорректно настроенный атрибут rel canonical. Тег rel="canonical" используется для предоставления рекомендации поисковым системам относительно канонического (предпочтительного) URL-адреса страницы. Если для продвигаемой страницы, которая должна участвовать в поиске, в данном теге указана другая страница, необходимо поправить на корректную.

Проверку отдельной страницы можно осуществить с помощью сервиса.

Запрет на индексацию в meta-robots/ X-Robots-Tag. Необходимо регулярно проверять, нет ли запрета на индексирование для отдельных страниц. Подобные проблемы могут возникнуть из-за некорректной настройки и работы с CMS или ошибок разработчика.

Метатег robots и заголовки HTTP X-Robots-Tag используются для управления индексацией страниц поисковыми системами. Они предоставляют инструкции поисковым роботам о том, следует ли индексировать страницу или нет. Вот как они работают:

Метатег роботов (Meta Robots):

● Это HTML-тег, который помещается в секцию каждой страницы вашего сайта.

● Он содержит директивы для поисковых роботов, указывающие, как они должны обрабатывать страницу.

● Например, директива "noindex" указывает поисковым роботам не индексировать содержимое страницы, а "nofollow" просит не переходить по ссылкам на этой странице.

● Пример использования: : <meta name="robots" content="noindex, nofollow">.

Заголовок HTTP X-Robots-Tag:

● Это HTTP-заголовок, который отправляется вместе с ответом сервера при запросе к странице.

● Он также предоставляет инструкции поисковым роботам относительно индексации страницы.

● По аналогии с метатегом роботов он может содержать директивы, такие как "noindex", "nofollow" и другие.

● Пример использования: X-Robots-Tag: noindex, nofollow.

Оба этих метода позволяют контролировать индексацию ваших страниц поисковыми системами. Их использование зависит от ваших предпочтений и требований сайта.

Важно: не путайте метатег robots и файл robotos.txt. Если вы хотите закрыть отдельную страницу от индексации и исключить ее из индекса, пользуйтесь метатегом, но не двумя инструментами одновременно.

Например, у вас есть страница, которая не должна индексироваться. Для этого вы добавляете метатег <meta name="robots" content="noindex, nofollow">, но при этом в файле robots.txt закрыли доступ к сканированию. В данном случае поисковые роботы не смогут получить информацию о странице, а следовательно, и учесть директиву метатега. И страница останется в индексе.

Проверить, не закрыта ли страница, можно с помощью сервиса.

Неуникальный контент/дубли продвигаемых страниц. Если вы скопировали чужую статью, добавили на свой сайт и ждете на нее трафик, скорее всего поисковые системы проигнорируют данную страницу, так как она не несет никакой ценности для пользователей.

То же самое касается дублирующегося контента в рамках одного сайта: поисковые системы могут выбрать для индексации одну из ваших дублирующихся страниц, даже если она не актуальна. А может и вовсе не индексировать ни одну из страниц, так как подобные ошибки свидетельствуют о том, что сайт недостаточно качественный.

Подобные инструменты могут понадобится случаях, если:

1) Страницы долго не индексируются, но ПС о них знают.

2) Вы создали новые страницы или обновили имеющиеся и хотите, чтобы поисковые системы узнали об этом быстрее.

Для Яндекса есть инструмент в Яндекс Вебмастере: Индексирование — Переход страниц:

Дневной лимит зависит от показателя ИКС – минимум 30 страниц в день для любого сайта. Index Now. Данный протокол позволяет автоматически сообщать поисковым системам об изменениях на сайте: появлении новых страниц, обновлении или удалении уже проиндексированных страниц. Подробнее о настройке и принципе работы можно узнать в справке Яндекса.

Google Indexing API — инструмент Google, который позволяет отправлять за сутки 200 URL-адресов.

● Установите node.js на вашем компьютере.

● Создайте сервисный аккаунт в консоли Google Cloud Platform.

● Получите закрытый JSON-ключ для вашего сервисного аккаунта.

● Скачайте необходимый скрипт и вставьте ключ в соответствующее место, заменив содержимое service_account.

● Привяжите скрипт к Google Search Console, установив для client_email роль "Владелец".

● Перейдите по ссылке, выберите созданный сервисный аккаунт и активируйте Index API.

● Откройте файл urls в папке со скриптом и добавьте URL-адреса. Помните, что в день можно отправлять не более 200 ссылок.

● Запустите PowerShell.

● Введите команду node index.js.

По сравнению с Яндексом, Google дольше индексирует страницы, поэтому рекомендуем пользоваться API постоянно. Вот пример, как быстрая индексация влияет на увеличение видимости сайта:

Переобход по счетчику Яндекс Метрики. Это еще один способ ускорить индексацию страниц. Роботы поиска Яндекса могут получать сигналы из Яндекс Метрики о появлении новых страниц на вашем сайте, даже если они еще не внесены в ваш sitemap.xml.

В данном случае нам потребуются установленные ранее сервисы. Смотреть статистику необходимо отдельно в каждой поисковой системе:

1. Проверка индексации в Яндексе: переходим в Яндекс Вебмастер — Индексирование (в левом меню) — Страницы в поиске.

В отчете вы также можете посмотреть информацию, какие страницы были удалены и почему, а также историю индексации страниц всего сайта.

2. Проверка в Google: переходим в Google Search Console — Индексирование — Страницы:

В отчете вы увидите, какие страницы в индексе, какие нет, а также причины, по которым страница не в поиске:

3. Если вас интересует индексация отдельных страниц, можно использовать платные сервисы, например Арсенкин, PR-CY. Для получения информации соберите URL-адреса страниц, добавьте в инструмент список и выберите поисковые системы.

4. Проверку можно осуществить и вручную, но только для одной страницы единоразово. Используйте оператор “url”. Например, “url:ingate.ru/uslugi/seo.” – найдет в индексе соответствующую страницу:

Так как SEO — это процесс, требующий времени и усилий, ускорение индексации страниц позволяет рассчитывать на больший результат. Логика простая: чем быстрее страница проиндексируется, тем раньше начнет учитываться поисковыми системами при ранжировании. Следовательно, сможет раньше занять высокие позиции.

Чтобы ускорить индексацию сайта, необходимо на базовом уровне обеспечить доступность сайта, исправить ошибки внутренней оптимизации, а также использовать дополнительные инструменты.

Попадание в индекс сайта или отдельных его страниц очень важно для поискового продвижения. Но не менее важно, чтобы проиндексированные страницы были эффективными с точки зрения бизнеса: приносили трафик, лиды и клиентов. Поэтому важно подходить к поисковому продвижению комплексно, а ускорение индексации — лишь малая часть всех работ.

Подписывайтесь на наш блог на VC.ru, чтобы не пропустить больше полезных статей от Ingate Organic.