Как ускорить индексацию большого количества страниц сайта

Настройка индексации сайта, всех его страниц — фундаментальная работа, без которой любые дальнейшие работы по внутренней оптимизации или внешнему продвижению сайта будут неэффективны. Продвигаемая страница обязательно должна быть просканирована и занесена поисковыми системами в индексную базу. Иначе она не будет участвовать в ранжировании сайтов при формировании выдачи по запросам пользователей в Google или Яндекс.

Ответ сервера не 200: если страницы отвечают 4ХХ или 5ХХ ошибками, они не могут быть проиндексированы поисковыми системами. Для устранения ошибок с ответом 4ХХ необходимо обратиться к разработчикам сайта, а для устранения ошибок 5ХХ — к хостингу;
Страницы могут быть запрещены для индексации в robots.txt или метатеге noindex. Для устранения данной ошибки необходимо удалить из файла robots.txt запрещающие правила или из кода страниц мета тег noindex;
Редирект. Для устранения данной ошибки необходимо удалить ненужные редиректы и настроить ответ сервера 200 для данных страниц;
Неканоническая страница. Необходимым для индексации страниц требуется удалить в коде страниц тег rel=canonical.

Дубли. Роботы поисковых систем не должны индексировать технические дубли страниц сайта. При обнаружении данных старниц, необходимо настроить 301 редиректы на или указать теги rel=canonical в коде страниц-дублей на полезные релевантные страницы;
Недостаточно качественные страницы. Часто для больших сайтов или интернет магазинов роботы поисковых систем находят большое количество однотипных и мало отличающихся страниц. Для улучшения индексации их необходимо наполнить уникальным и экспертным контентом;
Неуникальный контент. Для устранения ошибки необходимо переписать или подготовить новый уникальный контент на страницу.

Переоптимизация ключевыми словами. Для устранения данной ошибки необходимо переписать текстовые описания «естественным языком», лучше по максимуму убрать ключевые слова;
Некачественные обратные ссылки. Для устранения данной ошибки необходимо воспользоваться сервисами Disavow Links Tool в Google или «Удаление страниц из поиска» Яндекса.

Недоработанная/сломанная страница;
На сайте найден вирус или вредоносное ПО;
Накрутка поведенческих факторов;
Сайт продает ссылки;
Избыточная реклама.

1. Настройка индексации:

Настроить и отправить файл sitemap в формате XML поисковым системам. Данный файл должен содержать URL адреса всех необходимых для индексации страниц сайта.
Настроить файл robots.txt. Данный файл помогает указать правила сканирования сайта роботами поисковых систем. Корректная настройка помогает увеличить время и количество обходов полезных страниц сайта путем исключения доступа к техническим дублям, системным файлам и другим настройкам.
Проверить теги rel=canonical. Важно, чтобы автоматическая настройка данных тегов не закрыла от индексации полезные страницы сайта.

2. Аудит индексации сайта. Работа с сервисами Яндекс.Вебмастер и Google Search Console.

3. Улучшение скорости загрузки страниц. Проверять можно с помощью сервиса PageSpeed Insights.

4. Увеличение внешней ссылочной массы. Большое количество полезных ссылок помогает роботам поисковых систем чаще заходить на страницы сайта и выполнять его сканирование.

5. Улучшение внутренней перелинковки:

Расстановка полезных навигационных ссылок в текстовых описаниях, добавление блоков меню и навигации на страницах сайта, что помогает улучшить перемещение как людей, так и роботов поисковых систем.
Устранение циклических перенаправлений, внутренних редиректов. Данная работа помогает роботам поисковых систем больше своего времени тратить на обход новых страниц.
Устранение битых ссылок.

6. Отправка на переобход в Яндекс.Вебмастер и подключение IndexNow (бесплатные сервисы массовой индексации в Яндексе).

7. Подключение Google Indexing API — бесплатного сервиса массовой индексации в Google.

8. Использование платных сервисов для ускорения индексации:

add-my-url.com;
indexinject.com;
gindex.me;
телеграмм боты;
другие биржи и сервисы.

Для отправки большого количества страниц на индексацию в Яндексе необходимо использовать сервис «Переобход страниц» в Вебмастере.

Подключаем сайт к Яндекс вебмастеру по ссылке webmaster.yandex.ru ;
Переходим в раздел «Индексирование» → «Переобход страниц»;
Отправляем список URL адресов сайта, каждый адрес с новой строки.

Важно! Сервис «Переобход страниц» ограничивает количество отправляемых URL адресов в сутки согласно рейтингу сайта. Если необходимо отправлять больше URL адресов необходимо подключить специально разработанный Яндексом протокол IndexNow. С его помощью можно отправлять до 10 000 URL за 1 запрос.

Переходим на страницу indexnow (Bing и Яндекс вместе используют этот протокол);
Генерируем код для API ключа и добавляем данный код в txt-файл с таким же названием. (Пример код API: de02179f19c44c86b0038a0269e11de1 с названием файла de02179f19c44c86b0038a0269e11de1.txt);

Закачиваем созданный txt файл в корневую директорию сайта;
Создаем запрос на отправку страниц для индексации (используйте формат JSON):

POST /indexnow HTTP/1.1
Content-Type: application/json; charset=utf-8
Content-Length: 286
Host: yandex.com
{
«host»: «www.example.com»,
«key»: «EdD8dkmdNLlxREi2LkhJjYOH2kyQbJqM3cBKT5fX»,
«keyLocation»: «https://www.example.com/myIndexNowKey63638.html»,
«urlList»: [
«https://www.example.com/url1»,
«https://www.example.com/folder/url2»,
«https://www.example.com/url3»
]
}

Таблица с расшифровкой:

Подробнее читайте в справке Яндекса по этой ссылке.

Отправить страницы в Google можно через Google Search Console, но это занимает очень много времени и там существуют большие ограничения. Отправка на переиндексацию через GSC актуальна если необходимо отправить несколько страниц. Если требуется отправлять сотни или тысячи страниц, без Google Indexing API не обойтись.

1. Переходим на страницу Google Cloud Platform для создания сервисного аккаунта и ключа.

2. Создаем проект: вводим любое название (лучше использовать часть адреса сайта).

Далее создаем аккаунт: так же вводим название, рекомендуем с частью адреса вашего сайта.

Выбираем роль аккаунта «Владелец» и нажимаем «Готово».

3. Далее нам необходимо создать ключи. Для этого кликаем тут:

Далее «ADD KEY» и выбираем «Create new key».

Далее выбираем «JSON» и «CREATE».

После создания автоматически запустится загрузка файла с ключом на компьютер.

4. Ключ получили — далее необходимо скачать и настроить скрипт. Скачиваем тут.

5. В скачанном скрипте есть файл service_account.json. Его содержимое необходимо заменить данными из созданного ключа в Google Cloud Platform (пункт 5).

6. Необходимо связать скрипт json с сервисом Google Search Console.

Переходим в Google Search Console по адресу «Настройки» → «Пользователи и разрешения» → «Добавить пользователя».

Добавляем нового пользователя с правами владельца.

Название пользователя необходимо взять в поле client_email.

7. После делегирования прав доступа в Google Search Console пользователю client_email необходимо вернуться в Google Cloud Platform и в созданном аккаунте включить API.

8. Необходимо скачать и установить библиотеку node.js для работы скрипта по этой ссылке.

9. После установки node.js открываем PowerShell и прописываем команды:

npm install requests
npm audit fix
npm audit fix --force

10. В папке json скрипта открываем файл urls.txt. В данном файле добавляем URL-адреса сайта, которые необходимо отправить на индексацию (не более 100). Каждый URL с новой строки.

В PowerShell с помощью команд терминала переходим на диск и папку со скриптом. Прописываем команду запуска скрипта node index.js.

Страницы отправлены на индексацию.

Страницы сайта после отправки с помощью Google Indexing API или других сервисов сканируются поисковыми системами и добавляются в индекс. Но если они низкого качества, потихоньку поисковые системы будут выкидывать их. Пример:

Статистика проиндексированных страниц в Google Search Console

Чтобы такого не происходило, необходимо комплексно развивать сайт: наполнять уникальным и экспертным контентом, улучшать видимость и доступность страниц, помогать поисковым системам своевременно учитывать изменения.

Надеемся, что статья была полезной! А если у вас есть вопросы по продвижению вашего сайта в Яндекс и Google, обращайтесь в Qmedia.by за консультацией.