Как решить проблемы с индексацией сайта в Google и Яндексе

Кратко самое важное об основах: как решить проблемы с индексацией и ускорить ее в Яндексе и Google.

Привет! Это PR-CY, мы делаем сервис для проверки SEO и позиций в ПС. Попробуйте прогнать проверку по своему сайту и посмотрите, какие ошибки он найдет.

В статье разберем типичные проблемы, а потом поговорим об ускорении. Постараемся лаконично)

Проблемы с индексацией:

❌ Страницы вообще не индексируются

Если роботы и Яндекса, и Google игнорируют страницы сайта, нужно убедиться, что ботам не запретили обход.

Проверьте настройки хостинга и файл robots.txt — там не должно быть запрета на индексацию.

Также запрет может быть в HTTP-заголовке X-Robot-Tag, который находится в файле конфигурации сервера. Проверить запрет через X-Robots-Tag можно в инструменте бесплатно.

❌Страницы не индексируются одним из поисковиков

Если либо Google, либо Яндекс не индексируют страницы сайта, проблема может быть в санкциях от этого поисковика.

Нужно определить, какие санкции лежат на сайте, и исправить ошибки. Проверьте уведомления о Вебмастере и Консоли, часть санкций сопровождаются письмом от поисковика. Подробно в материалах о санкциях Яндекса и фильтрах Google.

❌ Страницы индексируются, но нужно долго ждать

Вариантов может быть много: вы редко обновляете контент, поэтому боты редко его посещают, страницы не оптимизированы, не участвуют в перелинковке… Проблема может быть в других ошибках на сайте, например, в куче ошибочных лишних страниц, сгенерированных движком, на которые тратится время.

Посмотреть динамику индексации страниц и найти ошибки в SEO можно в сервисе для анализа сайта:

Как решить проблемы с индексацией сайта в Google и Яндексе

Итак, если страницы не индексируются, то проверьте ограничения, если игнорирует поисковик, то возможны санкции, а если индексирование идет, но долго, это повод попытаться его ускорить.

Как ускорить индексирование:

Лучший способ улучшить процесс индексирования — создавать превосходный, а значит уникальный и убедительный контент. Именно в нем должны нуждаться пользователи, именно его они затем будут рекомендовать другим

Джон Мюллер, представитель Google

Ага, классно. Создавайте превосходный контент, а если ваш контент плохо индексируется, то он недостаточно превосходный… 😅

Что реально можно сделать, чтобы ускорить процесс.

1. Отправить страницу на переобход

Найдите переобход страниц в Google Search Console и Яндекс.Вебмастере и отправьте нужные URL на индексацию.

В Яндекс.Вебмастере это раздел Индексирование — Переобход страниц. В консоли Google это Инструмент проверки URL.

2. Проверить разрешения в robots.txt

В файле robots.txt веб-мастер прописывает рекомендации для поисковых ботов Яндекса и Google. Можно запретить ботам посещать некоторые страницы, для этого есть директива "disallow", "nofollow", можно использовать мета-тег "noindex" или "none". Тогда при следующем посещении сайта бот увидит запрет и может к нему прислушаться.

А может и не прислушаться — это всего лишь рекомендации, а не прямое указание. 🤷‍♂

3. Взять за правило обновлять контент

Поисковики ценят, когда веб-мастер следит за актуальностью контента, исправляет его и добавляет что-то новое. Регулярно обновляющийся сайт бот будет чаще сканировать. Чем реже обновлять контент, тем реже боту понадобится его перепроверять.

Сотрудник Google советовал добавлять на страницу видео с Youtube, если странице нечего добавить и содержание еще актуально. Поведенческие улучшатся за счет просмотра видео, на странице появится новый формат контента — это тоже хороший сигнал для поисковика.

4. Создать динамическую Sitemap

Для ускорения индексации карту можно сделать динамической, то есть по мере создания новых страниц она сама будет обновляться.

Для проектов на конструкторах сайтов, например, на Tilda, карта по умолчанию динамическая, для CMS есть плагины и отдельные сервисы. К примеру, на Wordpress с этой задачей справится All in One SEO Pack.

5. Пометить обновления в Sitemap

Можно указать обновленные файлы в Sitemap вручную. Google рекомендует отметить страницы в Карте тегом < lastmod > и отправить страницу на переобход.

Но, опять же, ссылки в Карте сайта — это рекомендации.

6. Проверить структуру и перелинковку разделов

На сайте не должно быть страниц, оторванных от других. Если на страницу не ведут ссылки с категорий, разделов и других страниц, поисковикам сложнее определить ее релевантность и неоткуда перейти на нее для сканирования.

Такие страницы называют сиротами.

Как решить проблемы с индексацией сайта в Google и Яндексе

Нужно встроить их в структуру сайта.

В этой схеме каждая страница имеет ссылку с родительской категории, но они могут линковаться и между собой:

Как решить проблемы с индексацией сайта в Google и Яндексе

На поведение бота влияет количество кликов от главной до текущей страницы. Бот переходит на страницы по ссылкам с главной. Чем меньше кликов от главной до искомой страницы, тем она важнее, тем быстрее он до нее доберется и просканирует.

Если страница не индексируется, проверьте ее расположение в структуре сайта и количество кликов до нее с главной.

7. Ускорить загрузку сайта

Ограничивать индексацию может долгий ответ сервера. По словам Джона Мюллера из Google, если в среднем это время составляет больше одной секунды, Google не будет сканировать столько страниц, сколько мог бы.

Сомневаемся, что так уж много сайтов загружаются медленнее минуты, но всё возможно. На всякий случай проверьте скорость в сторонних инструментах.

Многое из перечисленного можно проверить автоматически в сервисе для анализа сайта. Ту же скорость — он быстро проанализирует этапы загрузки и отдельно найдет конкретные страницы, на которых есть проблема со скоростью.

Как решить проблемы с индексацией сайта в Google и Яндексе

Оцените пост, если было полезно :) И напишите в комментариях, если вам есть что добавить к списку.

88
6 комментариев

Если нужно сразу много ссылок загнать в индекс, загоняю через @SpeedyIndexBot в телеграмме, ссылка выходит примерно 0.3 руб

2
Ответить

пишут что за 48 часов индексируется все, но у меня чуть дольше вышло. хотя сайт был нулевый, на дропах сейчас шустрее все залетает. цена у вас примерно такая же как у меня, вы пакет брали?

1
Ответить

Добрый день. У нас такая проблема: есть основной товар (товар Х), к нему прилагаются товары с модификациями (например, цвет - товар Х черный). Когда вводишь в Яндексе запрос "Х", то вылезает "Х черный", а не "Х". Хотя большинство пользователей ищут именно "Х" и из-за этого пропускают нашу ссылку. Что делать в данном случае?

1
Ответить

Х черный более узкий запрос, нежели Х, для этого необходимо поднять в результатах поиска и оптимизировать именно страницу с Х товаром, скорее всего она на 2, 3, 4 странице поисковой аыдачи

Ответить

Мой новый сайт по ремонту квартир в Испании https://obramagos.com/ru/ тоже Google не хочет индексировать. Возможно это потому, что домен зарегистрирован в России?

Ответить