20 вариантов ускорения индексации сайта в Google

Всем привет! Меня зовут Симагин Андрей, я являюсь автором программы SiteAnalyzer (десктопное ПО для технического и SEO-аудита сайтов), и сегодня мы рассмотрим 20 вариантов ускорения индексации сайта в Google — именно с этой проблемой я столкнулся примерно год назад при старте продвижения одного из своих проектов, в результате чего и родилась данная статья.

Многие SEO-специалисты в своей практике сталкивались с нежеланием поисковых систем индексировать те или иные страницы сайта, при этом в 90% случаев причины этих проблем бывают банальны: случайное закрытие страниц в robots.txt, запрет индексации через meta robots, некорректные канониклы и тому подобные варианты.

Однако, мало только лишь найти и устранить причину некорректной индексации. После ее устранения необходимо как можно скорее отправить на переиндексацию важный контент и удостовериться в том, что сайт и интересующие страницы стали индексироваться.

В этой статье мы поделимся всеми найденными вариантами индексации страниц в поисковой системе Google.

Самый распространенный способ индексации / переиндексации страниц в «ручном» режиме через панель вебмастера Google.

Страницы индексируются быстро (от нескольких секунд до появления в поиске), однако, работа происходит в постраничном режиме + необходимо время на сканирование страницы поисковым ботом, поэтому данный способ является эффективным, но не самым удобным, так как нельзя загрузить сразу список из группы URL и отправить на массовую индексацию.

P.S. Существуют дневные ограничения по числу URL для ручной индексации. Порядка 10-15 URL в день.

Использование XML карты сайта является классическим методом ускорения индексации новых страниц. Реализуется это через указание гиперссылки на файл карты сайта Sitemap.xml в файле Robots.txt (само собой, перед этим необходимо создать сам файл Sitemap.xml).

Обычно этого бывает вполне достаточно для любого типа сайта.

Для создания карты сайта существует множество различных плагинов на популярных CMS, также ее можно создать при помощи одного из веб- или десктопных краулеров, например, через SiteAnalyzer.

Пингование заставляет поискового робота сделать оперативный переобход вашего Sitemap.xml. Это своеобразный аналог добавления сайтмап в Google Search Console. Таким образом, мы отправляем Google дополнительный сигнал о необходимости переобхода карты сайта, что, тем самым, ускоряет вероятность индексации страниц (однако, не факт, что бот их сразу рванется обходить).

Ссылки для пингования сайтмап в Google и Bing:

Данное решение позволяет частично перенести статический вес и трафик с качественного сайта на сайт, для которого требуется большее внимание поисковых ботов, либо есть проблемы с его индексацией.

Я ставил редирект со страницы «Новости» сайта с хорошим трафиком на аналогичную страницу сайта, у которого были проблемы с индексацией. Редирект был «учтен» Google уже на второй день и страница сайта-донора исчезла из индекса гугла.

После того, как страница сайта-акцептора будет проиндексирована, редирект можно убирать.

Идея была в том, чтобы поисковик обратил «внимание» на сайт и, тем самым, снова прошелся по страницам.

Эксперимент не сработал, так как при повторном добавлении проекта в нем сразу отображался robots.txt и другие ранее примененные настройки – видимо при удалении сайт просто скрылся из списка, а потом при повторном «добавлении» его отобразили снова.

Закрываем сайт от Google в robots.txt для полной деиндексации.

На момент тестирования в индексе болталась «первая» версия страницы с WWW и без сохраненной копии (молодой сайт). На обнаружение обновленной версии robots.txt Google понадобилось 1-2 часа. Через 2 дня единственная ранее проиндексированная страница исчезла из индекса. У сайта осталось 0 страниц в поиске гугла.

После полной деиндексации был открыт robots.txt для бота Google.

Однако, судя по логам, бот как заходил один раз в день, так один раз в день заходить и продолжил. По большому счету частота посещений сайта ботом Google не поменялась.

Обычно, если сайт не проходит модерацию в Google AdSense, то в личном кабинете появляется список возможных причин, почему не приняли сайт (проверка занимает до двух недель, у меня это заняло полторы). Данная информация может помочь с определением причин, что не так с сайтом.

Что в общем-то и произошло – сайт не приняли с пометкой «малополезный контент».

Не думаю, что низкий уровень индексации сайта был связан именно с этим. Но, по крайней мере, мы получили более-менее толковый ответ, который может пригодиться в другой раз (например, для определения санкций, наложенных на сайт).

Данный метод основан на предположении о том, что «прогоняя» страницы через сервисы Google, мы обращаем на них дополнительное внимание поисковых ботов.

Вставляем URL сайта в Google переводчик, переходим по ссылке с переводом страницы, скрещиваем пальцы и надеемся на чудо.

В моем случае чуда не произошло.

Для ускорения индексации сайта можно делиться публикациями в социальных сетях (Twitter, Facebook, Linkedin и т.п.), либо путем размещения постов в Telegram (по сути, это тоже самое, что и привлечение трафика с соцсетей, однако происходит путем размещения ссылок на сайт из рекламных постов на тематических каналах).

На текущий момент ссылки с соцсетей не индексируются поисковыми системами и не учитываются в ранжировании, поэтому данный вариант ускорения индексации сайта скорее всего будет не эффективен, однако, это может привлечь на сайт «живой» трафик, за счет которого поисковые боты станут заходить на него чаще и индексировать больше контента.

Создаем рекламные кампании в Google AdWords и «льем» трафик на посадочные страницы для более быстрой их индексации, чтобы поисковые боты чаще посещали страницы сайта, увеличивая, тем самым, вероятность их индексации.

Используем страницу тестирования мобильной версии сайта для указания боту о новых страницах: https://search.google.com/test/mobile-friendly/result?id=28OJNYqIhMMT4grjojk-uw

Опять же, гипотеза о том, что посылая Google дополнительный сигнал для переобхода страниц сайта через инструмент тестирования мобильной версии, он обратит на сайт более пристальное внимание. Однако не уверен, что это дает хоть сколько-то ощутимый результат.

Pinterest является популярной контентной площадкой на западе, что делает его привлекательным не только для посетителей, но и для ботов поисковых систем. На нем постоянно «обитают» поисковые боты, особенно бот Google, поэтому путем несложного создания пинов, можно направить бота Google на интересующие страницы сайта.

В моем случае это не дало результатов.

На сколько я знаю, если эта тема когда-то и работала (сервис IndexGator и его аналоги), то сейчас она абсолютно мертва.

Да и по логам сервера – после подобной индексации робот на сайт не заходил.

Файл Sitemap.txt является упрощенным вариантом карты сайта Sitemap.xml. По сути, это все тот же список URL сайта, но без указания дополнительных атрибутов (lastmod, priority, frequency).

Данный вариант менее распространен, чем обычный Sitemap.xml, но, тем не менее, при добавлении ссылки на него в robots.txt, боты начинают его сканировать не менее охотно, чем обычный сайтмэп.

Ускорение индексации за счет проставления ссылок на новые страницы сайта с «хабовых» страниц (страницы с большим трафиком / весом).

Обычно для этого пишется скрипт, который берет пачки непроиндексированных ссылок из заранее подготовленного списка и размещает их на особо посещаемых страницах. После индексации страниц размещается следующий блок ссылок, и так далее. Индексация проверяется через различные сервисы либо через API Google Webmaster Tools.

Google признает, что страницы заслуживают доверия, если на них ведут ссылки с авторитетных сайтов.

Наличие обратных ссылок говорит Google о том, что страницы являются важными и их следует проиндексировать.

Таким образом, наращивая качественную внешнюю ссылочную массу на продвигаемые страницы и на сайт в целом можно сигнализировать Google о том, что данному сайту необходимо больше уделять внимания и чаще краулить контент.

Создаем аккаунт на фотохостинге Flickr, заливаем туда кучу фотографий (тысячи, а лучше десятки тысяч) – фото берем не важно откуда, можно даже использовать другие фотохостинги, Инстаграм и т.п.

Под каждым фото пишем, что при использовании фото нужно ставить обратную ссылку на продвигаемый вами сайт (не забываем упомянуть его URL).

В результате можно бесплатно получать трафик и десятки ссылок ежемесячно с хороших сайтов и СМИ.

Примечание. Пример больше относится к линкбилдингу, но также и позволяет направить трафик на определенные страницы вашего сайта и тем самым улучшить их индексацию.

Выжимка инструкции для PHP с серча от пользователя Махмуд Аббас:

Примечание: на написание скрипта у меня ушло ~40 минут, включая время на мелкие «затыки» и гугление ошибок.

Дополнительная информация:

Ссылка на диапазон IP-адресов гуглоботов: https://developers.google.com/search/apis/ipranges/googlebot.json

Написать в Твиттер Джону Мюллеру, описать свою проблему, скрестить пальцы и ждать ответа.

В моем случае это не сработало, мне никто не ответил, новых страниц в индексе не появилось. Странно, конечно, ну и ладно.

Но, кто знает, возможно вам повезет )

Похоже, больше не осталось известных вариантов ускорения индексации как новых, так и старых страниц. Однако, если вдруг я что-то упустил, прошу поделиться собственными кейсами и примерами в комментариях – с удовольствием дополню ими статью.

P.S. Для полного охвата темы стоит упомянуть относительно новую возможность массовой индексации страниц через IndexNow (открытое API с возможностью добавления в индекс поисковых систем до 10 000 страниц в день). В настоящее время поддерживаются поисковые системы Яндекс и Bing. Возможно, что присоединение поисковой системы Google к данной технологии не за горами, хотя, если уже сейчас у технологии возникла небольшая армия критиков, кто знает, получит ли она развитие в будущем...