IndexNow — индексируйте свой проект быстро и полностью! Кейс роста трафика с 50 000 до 155 000 для интернет-магазинов

В обычных условиях краулеры долго индексируют страницы и, даже добираясь до вашего сайта, сканируют не всегда то, что нужно. Вот почему очень важно применять IndexNow и направлять роботов целенаправленно проверять URL: так вы увеличите шансы на индексацию.

В январе 2024 мы взялись за новый проект — интернет-магазин товаров для дома.

На сайте оказалось множество страниц, которые плохо обходили поисковые роботы. Проблем из-за этого может быть множество, но в статье мы не будем подробно останавливаться на нашем проекте. Рассмотрим только то, как IndexNow помог нам повысить трафик на сайте.

Наша команда полностью переработала карточку товара и структурированный вывод каталога. Мы сделали качественную внутреннюю перелинковку, но роботы все равно неохотно заходили на сайт клиента. Отсюда и начинается выход IndexNow!

После его настройки проект начал активно индексироваться и расти с апреля по май. За такой короткий срок мы успешно проиндексировали свыше 100 000 страниц.

В результате проведенных нами работ трафик увеличился с 50 000 до 155 000 пользователей.

Ключ к решению проблемы был в индексации. Свечка в роста трафика — это заслуга IndexNow. Мы кратко рассказали о нашем кейсе, в дальнейшем по нему будет большая и подробная статья.

IndexNow — это совместная инициатива Microsoft Bing и Яндекса, новый протокол индексирования, благодаря которому сканирование новых страниц становится более эффективным.

Протокол позволяет мгновенно оповещать поисковые системы, такие как Bing, Яндекс, Naver, Seznam.cz, Yep, о любых изменениях, внесенных на ваш сайт. Системы будут быстрее сканировать, индексировать и отражать эти изменения в результатах поиска.

Когда вы начинаете отправлять свои URL-адреса, поисковые системы хотят проверить, что они исходят от самого сайта, а не от каких-либо вредоносных элементов. Поэтому поисковые системы требуют, чтобы сайты генерировали уникальный API-ключ и проверяли его. На этом и строится функционал IndexNow.

Оба протокола гарантируют лишь мгновенное уведомление об изменениях контента на конкретных URL. Итоговое решение об индексации страниц поисковые системы принимают на свое усмотрение.

С помощью IndexNow вы можете:

Indexing API позволяет вам:

Indexing API работает с ограниченными видами контента, тогда как IndexNow захватывает его весь. Также Google рекомендует использовать Indexing API только при публикации вакансий или широковещательных событий.

В обоих случаях первичное добавление в индекс большого числа страниц с качественным контентом позволяет быстро нарастить трафик из поисковиков.

Важно понимать, что IndexNow — это не часть стандартного протокола индексирования поисковых систем. Яндекс и Bing будут использовать IndexNow только на тех сайтах, которые вручную включили этот протокол. Если IndexNow отключен, поисковые системы прибегнут к стандартному индексированию: роботы будут посещать отдельные страницы проекта в непрогнозируемое время.

IndexNow автоматически пингует поисковые системы в случае, если страницы были опубликованы, изменены или удалены. Поисковики получают уведомление о том, что нужно проверить конкретные URL, и целенаправленно отправляют роботов на ваш ресурс.

У медали есть и обратная сторона: нет никакой гарантии, что страницы, отправленные при помощи IndexNow, будут проиндексированы. Учитывайте это при работе над вашим проектом.

Владельцу проекта нужно, чтобы потенциальный клиент находил его сайт в поисковой выдаче, а поисковики заинтересованы в том, чтобы пользователь получал ценную информацию с ресурса. Для ситуации win-win должны быть открыты для индексации только те страницы, которые полезно выводить в результаты поиска.

Почему необходимо запрещать индексацию страниц, где:

Все это снижает поток трафика на проект и увеличивает риск «потопить» его. Но если действовать правильно, то получится обратный эффект — число посетителей только возрастет.

Какие страницы лучше закрывать от индексации:

Закрывайте такие страницы удобным для вас способом: с помощью robots.txt или HTML-кода, через панель админа и др.

Самые популярные поисковики, Яндекс и Google, используют IndexNow и Indexing API соответственно, но они не ограничиваются этим. Есть еще несколько действенных методов, которые позволяют ускорять индексацию проекта.

1. Sitemap в формате XML

Значительно облегчает поисковому роботу индексацию вашего сайта. Обычно карта сайта пишется вручную или появляется после установки соответствующего плагина CMS.

2. Файл robots.txt

Один из самых надежных способов настроить правила индексации сайта и URL. Такой файл создается самостоятельно или через специальные сервисы и позволяет сделать полный охват контента на проекте.

Главное условие эффективного использования — закрывать лишние страницы от индексации.

3. Google Search Console и Яндекс Вебмастер

После публикации страницы, ее нужно внести на индексацию через специализированные инструменты. У Google это Search Console, у Яндекса — Вебмастер. Роботы и сами зайдут на сайт, это произойдет автоматически и гораздо позднее, а чтобы проект рос, его необходимо «подталкивать» к индексированию.

В любом случае самым быстрым способом быть замеченным поисковыми системами остается передача данных через API.

Отправить страницы на индексацию через IndexNow достаточно просто. Действуйте в следующем порядке:

1. Создайте файл ключа, чтобы подтвердить, что вы владелец сайта.

Разместите на сайте текстовый файл-ключ определенного формата и передайте его в каждом запросе к API. При каждом получении адресов через IndexNow поисковый робот сначала проверит наличие ключа, затем выполнит обход сайта.

2. Разместите файл на сайте одним из двух способов.

Первый и наиболее предпочтительный способ — поместить в корневой каталог сайта.

Второй способ — поместить файл ключа в другой каталог. Тогда в каждом уведомлении для поисковых систем необходимо указывать это местоположение через переменную keyLocation.

3. Отправьте одну или несколько страниц в поисковые системы по методам GET или POST.

Для отправки одного URL применяют метод GET, для множественной отправки адресов, в том числе HTTP и HTTPS в одном наборе, используют метод POST. Подробные инструкции по отправке адресов есть на официальном сайте IndexNow, в справке Яндекс и Microsoft Bing.

4. Дождитесь появления страниц в индексе.

Это занимает немного времени, если на проекте настроена правильная перелинковка, обычно от 1–2 дней.

IndexNow устанавливается всего за несколько минут через сторонние плагины. Перечислим популярные варианты, как добавить протокол на сайт проекта.

IndexNow добавляется на WordPress 5 видами плагинов:

Bitrix24 предлагает 2 модуля для подключения протокола:

Как внедрить IndexNow на Shopify:

Подключить протокол на Joomla! бесплатно не получится:

Также IndexNow устанавливается на другие CMS:

Затраченных усилий по внедрению протокола совсем немного, но результат того стоит.

С IndexNow вам больше не придется отправлять страницы на переобход, процесс индексации будет автоматизирован, а краулинговый бюджет сэкономлен.

Тем не менее, протокол еще не идеален и нуждается в доработке, поэтому использовать только его одного для индексации проекта будет ошибочным решением. Качественная SEO-оптимизация возможна лишь за счет комплексного подхода к работе и продуманной стратегии.

А вы используете IndexNow для ускоренной индексации? Поделитесь впечатлениями и результатами в комментариях. Будем рады обменяться с вами опытом, а также обсудить детали будущего проекта.