Как быстро проиндексировать страницы в Google через API
Здравствуйте, меня зовут Андрей и SEO специалист вебстудии Webimpulse. В этой статье попытаюсь рассказать, как бороться с плохой индексацией страниц в поиске Google.
При создании сайта, Google очень неохотно индексирует новосозданные страницы, даже при отправке карты сайта (sitemap) в аккаунте Google search console, вебмастера не получают желаемого эффекта. Сразу сделаю оговорку, способ который я опишу – больше подходит для больший сайтов, в частности интернет-магазинов – с большим количеством генерируемых страниц-товаров, так как для маленьких сайтов, подойдет и ручная отправка страниц на индексацию через кнопку «Запросить индексацию».
Способ для отправки на индексацию страниц массово состоит в использовании Indexing API разработки Google. Описывать я буду настройку для сайтов на Wordpress, но Вы можете использовать его для любого сайта на любой платформе, отличаться будет незначительно. Итак, начнем:
1. Вам понадобится создать сервисный аккаунт Google https://console.cloud.google.com/projectselector2/iam-admin/serviceaccounts?supportedpurview=project
Название проекта пишем любое, как Вам удобно.
2. Как создадите проект, увидите такое окно:
Нажимайте кнопку «Создать сервисный аккаунт»
В поле имя можно вводить все что угодно, я ввожу название проекта.
Далее, обязательно нужно выбрать роль нового аккаунта, это очень важно. Выбирайте «Владелец» либо если у вас так же на английском языке, как у меня, - “Owner”.
Далее все пропускаем и нажимайте готово.
3. Созданную почту куда-нибудь скопируйте, она еще понадобится.
4. Справа есть кнопка с действиями и выберете управление ключами
Нужно создать новый ключ. Выбираем JSON
6. Ключ автоматически скачивается на ваш компьютер. Откройте его блокнотом или другим редактором кода. Скопируйте содержимое.
7. Далее заходим в админку вашего сайта на Wordpress. Нам нужно установить плагин Instant Indexing for Google, автор Rank Math. Плагин маленький и бесплатный.
8. В настройках плагина вставьте код из файлика json в поле.
9. Далее в настройках Google Search Console вашего сайта нужно добавить нового владельца сайта – это будет ваш созданный сервисный аккаунт. Для этого переходим Настройки-Пользователи и разрешения – Добавить пользователя. ВАЖНО! Обязательно выберете статус нового пользователя «Владелец».
10. Последний шаг включение Indexing API для вашего проекта. Переходим по этой ссылке: https://console.developers.google.com/apis/api/indexing.googleapis.com/overview
И нажимаем Enable.
Все готово. API Google подключена к Вашему сайту. В настройках плагина в админке можно настроить какие страницы, записи будет индексировать, при обновлении и создании.
Чтобы это ускорить и не ждать обновления страниц, заходим в Google Search Console во вкладку «Покрытие» и выбираем исключенные страницы, собираем список страниц, непредставленных в поиске Google. Вставляем скопированные URL страниц в нужное поле и нажимаем Отправить в API.
Мои результаты пользования API:
Данный график показывает, какие страницы проиндексированы и находятся в поиске. Как видим, резкий скачок страниц - это время начала использования плагина и Google API.
Стоит сделать оговорку, следует отправлять страницы на индексацию через API, если уверены в их наполнении контентом, в противном случае, пустые страницы Google так же не проиндексирует, да и в этом нет смысла.
И еще немного насчет сайтов, не на Wordpress. Для Вас шаги аналогичные, только Вам не нужно искать плагин, а скачать данный скрипт из GitHub. В файлике service_account.json вставляйте код вашего ключа, а в файлик urls.txt url страниц для индексации и запускайте скрипт.
Это все что я хотел рассказать про улучшении индексации в Google через API. Приятной вам погоды за окном и удачных проектов!
Добрый день, если вы хотите индексировать много страниц сразу, 10-20-30к и более, лучше всего делать это через Телеграм бота @SpeedyIndexBot Он шлёт мобильного гугл бота без вреда сайту, индексит все за 48-72 часа, удобно и быстро.
Я так понимаю при создании нового владельца сайта в GSC (пункт 9) нужно указывать почту, полученную в пункте 3?
Да, именно так.
а как запустить скрипт, если у меня другой CMS?
Кто в теме, подскажите,
1. что будет, если на индексацию отправить старый проиндексированый url?
2. Не понятно, как контролировать в рамках сайта, какие страницы Гугл сам внёс в индекс, а какие нуждаются в пинге
3. Ещё вопрос риторический, получается поисковая система Гугла не справляется со своим функционалом, или же Гугл хочет в ближайшем будущем за деньги индексировать материалы в интернете?
1. Робот заново обойдет страницу, этим можно пользоваться, если вносили изменения на страницу.
2. В Google Search Console есть вкладка "Покрытие", где все указано.
3. Справляется, есть разные ситуации, и по разным причинам не индексируются страницы, начиная от размера сайта и заканчивая тем, что для гугла страница малозначима, и ее в этом случае, по его мнению, не надо индексировать.
Отличная инструкция, спасибо! Только что выполнил все шаги. Ошибок не возникло.
Стоит упомянуть о квотах.
https://developers.google.com/search/apis/indexing-api/v3/quota-pricing
Верно, google об этом предупреждает, но закидывал список из более 200х url и все работало.
Запостил 350, после 200 начал выдавать 429 ошибку вместо кода 200.
"Currently, the Indexing API can only be used to crawl pages with either JobPosting or BroadcastEvent embedded in a VideoObject." Или это уже не так?
https://developers.google.com/search/apis/indexing-api/v3/using-api
Нет, не только JobPosting, для других страниц тоже подходит.
Ни одна страница сайта, указанные в графики результатов, не помечена схемой JobPosting или Event.
Да, у меня тоже так. Взял в работу страницы не имеющих никакого отношения к вакансия.
Измените название. Сайты не только на Вордпрессе делают.
Так читайте, там есть абзац про сайты и не на Вордпрессе.
Вот спасибо за инструкцию с плагином, а то другими путями я задолбался настраивать.
Как быть если сайт полностью самописный? На html css js, даже админка нет. Плюс минус 60 страниц на сайте никак не хочеть индексироваться, хочу попробовать этот вариант. Не поможешь?
Я сделал все по инструкции, теперь можно отправлять для своего сайта.
Как проверить все ли правильно я сделал?
Сайт: https://loft-mebel-dc.ru/
ЧЕЛОВЕЧИЩЕ, здоровья тебе! Ёлки-палки это просто золотая инфа! :)
Привет. А для второго сайта по новой проект создавать в сервисном аккаунте Google, полностью все по кругу?
Да, для разных проектов все отдельно
Комментарий удален модератором
Вы не указали важный параметр: время обновления страницы после выполнения запроса. Если простыми словами - сколько проходит времени от отправки Вами запроса на обновление страницы (или её индексацию) до фактического обновления (индексации) страницы? час? день? неделя? месяц? Пусть хотя бы в Вашем случае?
Автор, спасибо тебе огромное за инфу!) Все сделал, только у меня затык. Как запустить скрипт на macbook? Что делать и какой файл запускать? Буду очень благодарен, если подскажешь
Вы можете отправить на индексацию до 2000 страниц в день через сервис Fast Indexing
Единственный адекватный текст по теме. Все понятно. Храню, как инструкцию для проектов. Спасибо!
Спасибо за подробную инструкцию. Подскажите, а как запустить скрипт?