IndexNow — индексируйте свой проект быстро и полностью! Кейс роста трафика с 50 000 до 155 000 для интернет-магазинов
Структура
- Как мы проиндексировали более 100 000 страниц с IndexNow;
- Что такое IndexNow и чем он отличается от Indexing API;
- Сходства и различия IndexNow и Indexing API;
- Как работает алгоритм IndexNow;
- О важности того, что вы отправляете на индексацию;
- Способы ускоренного индексирования в поисковых системах;
- Как внедрить IndexNow на свой проект;
- О модулях и плагинах с поддержкой IndexNow в CMS;
- Использовать IndexNow нужно с умом.
В обычных условиях краулеры долго индексируют страницы и, даже добираясь до вашего сайта, сканируют не всегда то, что нужно. Вот почему очень важно применять IndexNow и направлять роботов целенаправленно проверять URL: так вы увеличите шансы на индексацию.
Как мы проиндексировали более 100 000 страниц с IndexNow
В январе 2024 мы взялись за новый проект — интернет-магазин товаров для дома.
На сайте оказалось множество страниц, которые плохо обходили поисковые роботы. Проблем из-за этого может быть множество, но в статье мы не будем подробно останавливаться на нашем проекте. Рассмотрим только то, как IndexNow помог нам повысить трафик на сайте.
Наша команда полностью переработала карточку товара и структурированный вывод каталога. Мы сделали качественную внутреннюю перелинковку, но роботы все равно неохотно заходили на сайт клиента. Отсюда и начинается выход IndexNow!
После его настройки проект начал активно индексироваться и расти с апреля по май. За такой короткий срок мы успешно проиндексировали свыше 100 000 страниц.
В результате проведенных нами работ трафик увеличился с 50 000 до 155 000 пользователей.
Ключ к решению проблемы был в индексации. Свечка в роста трафика — это заслуга IndexNow. Мы кратко рассказали о нашем кейсе, в дальнейшем по нему будет большая и подробная статья.
Что такое IndexNow и чем он отличается от Indexing API
IndexNow — это совместная инициатива Microsoft Bing и Яндекса, новый протокол индексирования, благодаря которому сканирование новых страниц становится более эффективным.
Протокол позволяет мгновенно оповещать поисковые системы, такие как Bing, Яндекс, Naver, Seznam.cz, Yep, о любых изменениях, внесенных на ваш сайт. Системы будут быстрее сканировать, индексировать и отражать эти изменения в результатах поиска.
Когда вы начинаете отправлять свои URL-адреса, поисковые системы хотят проверить, что они исходят от самого сайта, а не от каких-либо вредоносных элементов. Поэтому поисковые системы требуют, чтобы сайты генерировали уникальный API-ключ и проверяли его. На этом и строится функционал IndexNow.
Сходства и различия IndexNow и Indexing API
Оба протокола гарантируют лишь мгновенное уведомление об изменениях контента на конкретных URL. Итоговое решение об индексации страниц поисковые системы принимают на свое усмотрение.
С помощью IndexNow вы можете:
- Отдавать на приоритетную индексацию за раз до 10 000 URL.
- Не отправлять уже существующие страницы, только новые.
- Пинговать только одну поисковую систему — уведомление получат все остальные поисковики, поддерживающие протокол.
Indexing API позволяет вам:
- Напрямую уведомлять Google об обновлении страниц на вашем сайте.
- Отправлять на пакетную индексацию с одного сервисного аккаунта до 100 URL.
Indexing API работает с ограниченными видами контента, тогда как IndexNow захватывает его весь. Также Google рекомендует использовать Indexing API только при публикации вакансий или широковещательных событий.
В обоих случаях первичное добавление в индекс большого числа страниц с качественным контентом позволяет быстро нарастить трафик из поисковиков.
Как работает алгоритм IndexNow
Важно понимать, что IndexNow — это не часть стандартного протокола индексирования поисковых систем. Яндекс и Bing будут использовать IndexNow только на тех сайтах, которые вручную включили этот протокол. Если IndexNow отключен, поисковые системы прибегнут к стандартному индексированию: роботы будут посещать отдельные страницы проекта в непрогнозируемое время.
IndexNow автоматически пингует поисковые системы в случае, если страницы были опубликованы, изменены или удалены. Поисковики получают уведомление о том, что нужно проверить конкретные URL, и целенаправленно отправляют роботов на ваш ресурс.
У медали есть и обратная сторона: нет никакой гарантии, что страницы, отправленные при помощи IndexNow, будут проиндексированы. Учитывайте это при работе над вашим проектом.
О важности того, что вы отправляете на индексацию
Владельцу проекта нужно, чтобы потенциальный клиент находил его сайт в поисковой выдаче, а поисковики заинтересованы в том, чтобы пользователь получал ценную информацию с ресурса. Для ситуации win-win должны быть открыты для индексации только те страницы, которые полезно выводить в результаты поиска.
Почему необходимо запрещать индексацию страниц, где:
- Содержится неуникальный или малополезный контент (МПК).
- Нерационально расходуется краулинговый бюджет.
Все это снижает поток трафика на проект и увеличивает риск «потопить» его. Но если действовать правильно, то получится обратный эффект — число посетителей только возрастет.
Какие страницы лучше закрывать от индексации:
- Зеркала (копии) сайта.
- Страницы, дублированные для печати.
- Файлы и документы различных форматов.
- Недоработанные страницы.
- Служебные страницы.
- Веб-формы.
- Персональные данные ваших пользователей.
- Страницы с результатами поиска по ресурсу.
Закрывайте такие страницы удобным для вас способом: с помощью robots.txt или HTML-кода, через панель админа и др.
Способы ускоренного индексирования в поисковых системах
Самые популярные поисковики, Яндекс и Google, используют IndexNow и Indexing API соответственно, но они не ограничиваются этим. Есть еще несколько действенных методов, которые позволяют ускорять индексацию проекта.
1. Sitemap в формате XML
Значительно облегчает поисковому роботу индексацию вашего сайта. Обычно карта сайта пишется вручную или появляется после установки соответствующего плагина CMS.
2. Файл robots.txt
Один из самых надежных способов настроить правила индексации сайта и URL. Такой файл создается самостоятельно или через специальные сервисы и позволяет сделать полный охват контента на проекте.
Главное условие эффективного использования — закрывать лишние страницы от индексации.
3. Google Search Console и Яндекс Вебмастер
После публикации страницы, ее нужно внести на индексацию через специализированные инструменты. У Google это Search Console, у Яндекса — Вебмастер. Роботы и сами зайдут на сайт, это произойдет автоматически и гораздо позднее, а чтобы проект рос, его необходимо «подталкивать» к индексированию.
В любом случае самым быстрым способом быть замеченным поисковыми системами остается передача данных через API.
Как внедрить IndexNow на свой проект
Отправить страницы на индексацию через IndexNow достаточно просто. Действуйте в следующем порядке:
1. Создайте файл ключа, чтобы подтвердить, что вы владелец сайта.
Разместите на сайте текстовый файл-ключ определенного формата и передайте его в каждом запросе к API. При каждом получении адресов через IndexNow поисковый робот сначала проверит наличие ключа, затем выполнит обход сайта.
2. Разместите файл на сайте одним из двух способов.
Первый и наиболее предпочтительный способ — поместить в корневой каталог сайта.
Второй способ — поместить файл ключа в другой каталог. Тогда в каждом уведомлении для поисковых систем необходимо указывать это местоположение через переменную keyLocation.
3. Отправьте одну или несколько страниц в поисковые системы по методам GET или POST.
Для отправки одного URL применяют метод GET, для множественной отправки адресов, в том числе HTTP и HTTPS в одном наборе, используют метод POST. Подробные инструкции по отправке адресов есть на официальном сайте IndexNow, в справке Яндекс и Microsoft Bing.
4. Дождитесь появления страниц в индексе.
Это занимает немного времени, если на проекте настроена правильная перелинковка, обычно от 1–2 дней.
О модулях и плагинах с поддержкой IndexNow в CMS
IndexNow устанавливается всего за несколько минут через сторонние плагины. Перечислим популярные варианты, как добавить протокол на сайт проекта.
IndexNow добавляется на WordPress 5 видами плагинов:
- IndexNow plugin. Microsoft Bing разработал собственный плагин, который размещен на Wordpress. Узнать больше.
- Yoast. IndexNow доступен в платной версии с расширенными функциями Yoast SEO Premium. Узнать больше.
- RankMath. Протокол запускается в панели управления WordPress — Rank Math SEO — Instant Indexing. Узнать больше.
- AIOSEO (All in One SEO). Плагин поддерживает IndexNow с Базового тарифа, сам протокол включается в разделе Feature Manager. Узнать больше.
- SEOPress. Подключить IndexNow и бесплатно использовать его можно в настройках Instant Indexing. Узнать больше.
Bitrix24 предлагает 2 модуля для подключения протокола:
- ReIndex. Модуль, который индексирует страницы в Яндекс и автоматически создает ключ авторизации. Узнать больше.
- TurboIndex. Устанавливается как и любой другой модуль Bitrix24, настраивается ручной или автоматический режим работы. Узнать больше.
Как внедрить IndexNow на Shopify:
- InstaIndex. Интегрировать протокол можно бесплатно и с неограниченной отправкой страниц на индексацию. Узнать больше.
- Ручная настройка. Реализовывается через карту сайта и создание вебхука с помощью Shopify API. Узнать больше.
- Кодирование в JS. Эта функция создаст веб-перехватчик и интегрирует IndexNow в Shopify. Узнать больше.
Подключить протокол на Joomla! бесплатно не получится:
- Aimy Sitemap PRO. В расширенной версии этого плагина доступен IndexNow. Узнать больше.
- JSitemap. Оснащен множеством полезных функций, в том числе протоколом IndexNow. Узнать больше.
Также IndexNow устанавливается на другие CMS:
- Drupal. Узнать больше.
- PrestaShop. Узнать больше.
- MODX. Узнать больше.
- Shopware. Узнать больше.
- OpenCart. Узнать больше.
- Typo3. Узнать больше.
- Umbraco. Узнать больше.
- HostCMS. Узнать больше.
- Moguta.CMS. Узнать больше.
- UMI.CMS. Узнать больше.
- Webasyst. Узнать больше.
Затраченных усилий по внедрению протокола совсем немного, но результат того стоит.
Использовать IndexNow нужно с умом
С IndexNow вам больше не придется отправлять страницы на переобход, процесс индексации будет автоматизирован, а краулинговый бюджет сэкономлен.
Тем не менее, протокол еще не идеален и нуждается в доработке, поэтому использовать только его одного для индексации проекта будет ошибочным решением. Качественная SEO-оптимизация возможна лишь за счет комплексного подхода к работе и продуманной стратегии.
А вы используете IndexNow для ускоренной индексации? Поделитесь впечатлениями и результатами в комментариях. Будем рады обменяться с вами опытом, а также обсудить детали будущего проекта.
Ну показали бы скрин из ВМ, что страницы именно по indexnow были обнаружены. Последний раз когда использовал его, лаг между отправкой и индексацией был 3 месяца.
Очень интересный кейс! Я сам недавно начал внедрять IndexNow для наших клиентов и уже вижу улучшения в скорости индексации. Но у меня возник вопрос: как вы отслеживаете качество проиндексированных страниц? У нас иногда возникает проблема, когда страницы попадают в индекс, но не ранжируются так, как мы ожидали.
Ни как ты не отследишь качество этих страниц заранее. Только позиции смотреть и трафик с этих страниц.