Как быстро проиндексировать страницы в Google через API

Здравствуйте, меня зовут Андрей и SEO специалист вебстудии Webimpulse. В этой статье попытаюсь рассказать, как бороться с плохой индексацией страниц в поиске Google.

При создании сайта, Google очень неохотно индексирует новосозданные страницы, даже при отправке карты сайта (sitemap) в аккаунте Google search console, вебмастера не получают желаемого эффекта. Сразу сделаю оговорку, способ который я опишу – больше подходит для больший сайтов, в частности интернет-магазинов – с большим количеством генерируемых страниц-товаров, так как для маленьких сайтов, подойдет и ручная отправка страниц на индексацию через кнопку «Запросить индексацию».

Способ для отправки на индексацию страниц массово состоит в использовании Indexing API разработки Google. Описывать я буду настройку для сайтов на Wordpress, но Вы можете использовать его для любого сайта на любой платформе, отличаться будет незначительно. Итак, начнем:

1. Вам понадобится создать сервисный аккаунт Google https://console.cloud.google.com/projectselector2/iam-admin/serviceaccounts?supportedpurview=project

Название проекта пишем любое, как Вам удобно.

2. Как создадите проект, увидите такое окно:

Нажимайте кнопку «Создать сервисный аккаунт»

В поле имя можно вводить все что угодно, я ввожу название проекта.

Далее, обязательно нужно выбрать роль нового аккаунта, это очень важно. Выбирайте «Владелец» либо если у вас так же на английском языке, как у меня, - “Owner”.

Далее все пропускаем и нажимайте готово.

3. Созданную почту куда-нибудь скопируйте, она еще понадобится.

4. Справа есть кнопка с действиями и выберете управление ключами

Нужно создать новый ключ. Выбираем JSON

6. Ключ автоматически скачивается на ваш компьютер. Откройте его блокнотом или другим редактором кода. Скопируйте содержимое.

7. Далее заходим в админку вашего сайта на Wordpress. Нам нужно установить плагин Instant Indexing for Google, автор Rank Math. Плагин маленький и бесплатный.

8. В настройках плагина вставьте код из файлика json в поле.

9. Далее в настройках Google Search Console вашего сайта нужно добавить нового владельца сайта – это будет ваш созданный сервисный аккаунт. Для этого переходим Настройки-Пользователи и разрешения – Добавить пользователя. ВАЖНО! Обязательно выберете статус нового пользователя «Владелец».

10. Последний шаг включение Indexing API для вашего проекта. Переходим по этой ссылке: https://console.developers.google.com/apis/api/indexing.googleapis.com/overview

И нажимаем Enable.

Все готово. API Google подключена к Вашему сайту. В настройках плагина в админке можно настроить какие страницы, записи будет индексировать, при обновлении и создании.

Чтобы это ускорить и не ждать обновления страниц, заходим в Google Search Console во вкладку «Покрытие» и выбираем исключенные страницы, собираем список страниц, непредставленных в поиске Google. Вставляем скопированные URL страниц в нужное поле и нажимаем Отправить в API.

Мои результаты пользования API:

Данный график показывает, какие страницы проиндексированы и находятся в поиске. Как видим, резкий скачок страниц - это время начала использования плагина и Google API.

Стоит сделать оговорку, следует отправлять страницы на индексацию через API, если уверены в их наполнении контентом, в противном случае, пустые страницы Google так же не проиндексирует, да и в этом нет смысла.

И еще немного насчет сайтов, не на Wordpress. Для Вас шаги аналогичные, только Вам не нужно искать плагин, а скачать данный скрипт из GitHub. В файлике service_account.json вставляйте код вашего ключа, а в файлик urls.txt url страниц для индексации и запускайте скрипт.

Это все что я хотел рассказать про улучшении индексации в Google через API. Приятной вам погоды за окном и удачных проектов!

0
25 комментариев
Написать комментарий...
Victor Dobrov

Добрый день, если вы хотите индексировать много страниц сразу, 10-20-30к и более, лучше всего делать это через Телеграм бота @SpeedyIndexBot Он шлёт мобильного гугл бота без вреда сайту, индексит все за 48-72 часа, удобно и быстро.

Ответить
Развернуть ветку
Сергей Ярош

Я так понимаю при создании нового владельца сайта в GSC (пункт 9) нужно указывать почту, полученную в пункте 3?

Ответить
Развернуть ветку
Andrey Skripnichenko
Автор

Да, именно так.

Ответить
Развернуть ветку
Seidanov

а как запустить скрипт, если у меня другой CMS?

Ответить
Развернуть ветку
Сергей Романов

Кто в теме, подскажите,
1. что будет, если на индексацию отправить старый проиндексированый url?

2. Не понятно, как контролировать в рамках сайта, какие страницы Гугл сам внёс в индекс, а какие нуждаются в пинге

3. Ещё вопрос риторический, получается поисковая система Гугла не справляется со своим функционалом, или же Гугл хочет в ближайшем будущем за деньги индексировать материалы в интернете?

Ответить
Развернуть ветку
Andrey Skripnichenko
Автор

1. Робот заново обойдет страницу, этим можно пользоваться, если вносили изменения на страницу.
2. В Google Search Console есть вкладка "Покрытие", где все указано.
3. Справляется, есть разные ситуации, и по разным причинам не индексируются страницы, начиная от размера сайта и заканчивая тем, что для гугла страница малозначима, и ее в этом случае, по его мнению, не надо индексировать.

Ответить
Развернуть ветку
Сергей Демидов

Отличная инструкция, спасибо! Только что выполнил все шаги. Ошибок не возникло.

Ответить
Развернуть ветку
Andriy Bovkun

Стоит упомянуть о квотах.
https://developers.google.com/search/apis/indexing-api/v3/quota-pricing

Ответить
Развернуть ветку
Andrey Skripnichenko
Автор

Верно, google об этом предупреждает, но закидывал список из более 200х url и все работало.

Ответить
Развернуть ветку
Andriy Bovkun

Запостил 350, после 200 начал выдавать 429 ошибку вместо кода 200.

Ответить
Развернуть ветку
Andriy Bovkun

"Currently, the Indexing API can only be used to crawl pages with either JobPosting or BroadcastEvent embedded in a VideoObject." Или это уже не так?

https://developers.google.com/search/apis/indexing-api/v3/using-api

Ответить
Развернуть ветку
Andrey Skripnichenko
Автор

Нет, не только JobPosting, для других страниц тоже подходит.
Ни одна страница сайта, указанные в графики результатов, не помечена схемой JobPosting или Event.

Ответить
Развернуть ветку
Andriy Bovkun

Да, у меня тоже так. Взял в работу страницы не имеющих никакого отношения к вакансия.

Ответить
Развернуть ветку
Алексей Пучков

Измените название. Сайты не только на Вордпрессе делают.

Ответить
Развернуть ветку
Andrey Skripnichenko
Автор

Так читайте, там есть абзац про сайты и не на Вордпрессе.

Ответить
Развернуть ветку
Артур Малосиев

Вот спасибо за инструкцию с плагином, а то другими путями я задолбался настраивать.

Ответить
Развернуть ветку
Abai Ergaraev

Как быть если сайт полностью самописный? На html css js, даже админка нет. Плюс минус 60 страниц на сайте никак не хочеть индексироваться, хочу попробовать этот вариант. Не поможешь?

Ответить
Развернуть ветку
Иван Игнатьев

Я сделал все по инструкции, теперь можно отправлять для своего сайта.
Как проверить все ли правильно я сделал?
Сайт: https://loft-mebel-dc.ru/

Ответить
Развернуть ветку
Tim V

ЧЕЛОВЕЧИЩЕ, здоровья тебе! Ёлки-палки это просто золотая инфа! :)

Ответить
Развернуть ветку
Александр Шишкин

Привет. А для второго сайта по новой проект создавать в сервисном аккаунте Google, полностью все по кругу?

Ответить
Развернуть ветку
Влад Бондарь

Да, для разных проектов все отдельно

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Marat Kuznetcov

Вы не указали важный параметр: время обновления страницы после выполнения запроса. Если простыми словами - сколько проходит времени от отправки Вами запроса на обновление страницы (или её индексацию) до фактического обновления (индексации) страницы? час? день? неделя? месяц? Пусть хотя бы в Вашем случае?

Ответить
Развернуть ветку
Егор

Автор, спасибо тебе огромное за инфу!) Все сделал, только у меня затык. Как запустить скрипт на macbook? Что делать и какой файл запускать? Буду очень благодарен, если подскажешь

Ответить
Развернуть ветку
Fast Indexing

Вы можете отправить на индексацию до 2000 страниц в день через сервис Fast Indexing

Ответить
Развернуть ветку
Daniil Tkach

Единственный адекватный текст по теме. Все понятно. Храню, как инструкцию для проектов. Спасибо!

Ответить
Развернуть ветку
22 комментария
Раскрывать всегда