XML–карта сайта: секретный код успешной индексации

Рад приветствовать всех профессионалов и любителей всемогущего SEO! Сегодня мы поговорим о таком инструменте, как XML–карта, который при грамотном использовании, может очень улучшить ваши позиции в поисковой выдаче. А это значит, что мы не можем обойти его стороной. Итак, присаживайтесь поудобнее, стартуем!

Sitemaps ー простой инструмент для веб-мастеров, который помогает поисковым системам лучше понимать структуру и важность страниц на сайте. Основой карты сайта является XML-файл, в котором перечислены URL-адреса, снабжённые дополнительными данными, такими как дата последнего обновления, частота изменений и уровень приоритета относительно других страниц на сайте. Эта информация помогает поисковым системам эффективно проходить по всем страницам сайта и обеспечивать умную индексацию. XML-карта сайта предназначена не для людей, а исключительно для поисковых роботов.

На заре Интернета поисковые системы индексировали сайты исключительно при помощи роботов, обходящих все страницы по ссылкам. Постоянно растущее количество сайтов в интернете делало поиск новых страниц для поисковых систем весьма ресурсоемкой задачей, при этом оставалась вероятность, что некоторые из значимых страниц не будут обнаружены ботом. В этот момент появилась идея, что веб-мастер может сам информировать поисковые системы в машиночитаемом виде о списке страниц своего сайта. Так возник проект Sitemaps.

2 июня 2005 года технический директор Google Шива Шивакумар (Shiva Shivakumar) сообщил в блоге:

16 ноября 2006 года Google, Yahoo! и Microsoft объявили о совместной поддержке Sitemaps 0.90.
Как подчеркнул Тим Майер, старший директор по управлению продуктами Yahoo Search:

Эта версия Sitemaps актуальна до сих пор.

11 апреля 2007 года Ask.com, Google, Microsoft Live Search и Yahoo! объявили о поддержке автообнаружения файлов Sitemap с использованием файла robots.txt.

13 мая 2023 года Bing объявил об удалении возможности анонимной отправки карты сайта с помощью HTTP-запроса. 26 июня 2023 года такую возможность отменил и Google. В качестве причины в обоих случаях указано, что этой возможностью злоупотребляли спамеры.

В официальной документации Google сказано, что карта сайта необходима в трёх случаях:

● Если у вас крупный сайт (более 500 страниц);
● Если сайт создан недавно и(или) у него проблемы с перелинковкой и(или) ссылочной массой;
● Если сайт представлен в Google Новостях или содержит много мультимедийного контента.

Однако практика показывает, что нет гарантий, что без файла sitemap робот найдёт все страницы сайта. Кроме того, при наличии файла sitemap роботу будет проще получать информацию о внесенных на сайт изменениях. Поэтому мы рекомендуем добавлять XML-карту для любого сайта: хуже в любом случае не будет.

Файл Sitemap должен быть создан в кодировке UTF-8. Вместо символов &, ', ", >, < необходимо использовать их маски. Порядок следования URL в файле Sitemap не имеет значения для поисковых систем.

Карта сайта может содержать XML-теги:
● urlset;
● url;
● loc;
● lastmod;
● changefreq;
● priority.
Рассмотрим их подробнее.

● urlset задаёт пространство имён (стандарт протокола).
● url является родительским для каждой записи.
● loc является дочерним тегом для url и содержит полный URL-адрес страницы (включая префикс, указывающий на протокол). Он определяет текущую страницу, которая будет описываться необязательными тегами. Длина содержимого этого тега не должна превышать 2048 символов.

● lastmod является дочерним тегом для url и содержит дату последнего изменения текущей страницы в формате W3C Datetime. Чаще всего дата используется в сокращённом формате ГГГГ-ММ-ДД.
● changefreq является дочерним тегом для url, описывает предположительную частоту изменения текущей страницы и может принимать следующие значения:
–always;
–hourly;
–daily;
–weekly;
–monthly;
–yearly;
–never.

Тег priority является дочерним тегом для url, описывает относительный приоритет текущей страницы на сайте и может принимать значения от 0 до 1. Priority устанавливается по отношению к другим страницам этого же сайта. Приоритет страницы по умолчанию равен 0,5

Для файлов Sitemap существует два ограничения. Каждый из них должен:

1. Содержать не более 50 000 URL-адресов;
2. Иметь размер не более 52 428 800 байт.

Если карта сайта не укладывается в заданные ограничения, необходимо создать несколько файлов Sitemap. Каждый из них должен быть упомянут в индексном файле. Индексные файлы Sitemap также не могут содержать ссылки на более 50 000 файлов Sitemap, и их размер не должен превышать
52 428 800 байт.

В Search Console Google есть ограничение: вы можете предоставить
не более 500 индексных файлов Sitemap для каждого своего веб-сайта.

● sitemapindex;
● sitemap;
● loc;
● lastmod.

*Тег sitemapindex является родительским для всего дерева XML.
*Тег sitemap является родительским для каждой записи.
*Тег loc является дочерним тегом для sitemap и содержит полный URL-адрес страницы (включая префикс, указывающий на протокол). Файл индекса Sitemap может содержать не более 50000 тегов loc.
*Тег lastmod необязательный и является дочерним тегом для sitemap и содержит дату последнего изменения соответствующего файла Sitemap в формате W3C Datetime. Чаще всего дата используется в сокращённом формате ГГГГ-ММ-ДД.

Существует возможность расширить протокол Sitemap при помощи собственного пространства имён, указав его в корневом элементе.

Существует три способа проинформировать поисковые системы о расположении файла карты вашего сайта:
1. Через панель инструментов веб-мастера,
2. Через файл robots.txt,
3. С помощью HTTP-запроса (метод неактуален).

Отправить файл Sitemap через панель инструментов веб-мастера Google возможно только если у вас есть права владельца ресурса. Для добавления файла необходимо открыть страницу отчёта о файлах Sitemap, выбрать ресурс и добавить URL файла Sitemap. Предварительно рекомендуется проверить, есть ли у Google доступ к файлу Sitemap.

Обзорное видео от Google:
Sitemaps in Search Console - Google Search Console Training

Отправить файл Sitemap через панель инструментов веб-мастера Bing. Обратите внимание, что отправку карт сайта можно выполнять исключительно для выбранного сайта из списка подтверждённых сайтов.

Отправить файл Sitemap в Baidu можно через Baidu Ziyuan Webmaster Tools. Только качественные сайты, соответствующие законодательству Китая, имеющие хотя бы одну страницу на упрощённом китайском и прошедшие проверку, могут отправить карту сайта в Baidu.

Yahoo и Duckduckgo используют внутреннюю систему Bing для получения карт сайта и обнаружения URL-адресов.

Чтобы сообщить поисковым системам информацию о местоположении карты сайта необходимо добавить в файл robots.txt следующую директиву:

Здесь вместо www.example.com вы добавляете домен своего сайта, а вместо sitemap.xml место расположения карты сайта.

Метод добавления карты сайта при помощи HTTP-запроса устарел. Он прекратил своё действие в Bing с 13 мая 2023 года и в Google c 26 июня 2023 года. Основная причина отмены такого способа добавления информации о карте сайта ー спам. Настроить скрипт, который автоматически ежедневно (или после каждого изменения) отправлял бы вашу карту сайта используя протокол http казалось хорошей идеей. Для Google отправляемая строка выглядела следующим образом:

С ростом числа сайтов нагрузка на сервера поисковых систем заметно выросла, и было принято решение отказаться от такой формы информирования о месте размещения карты сайта.

В Google элементы changefreq и priority, указываемые в файле Sitemap,
не учитываются при индексации сайта. Элемент changefreq, который показывает, как часто меняется содержимое страницы, не актуален при наличии элемента lastmod, который указывает дату последнего изменения страницы. А элемент priority, который предполагает определение приоритета страницы, субъективен и недостаточно точно отражает реальную значимость страницы по сравнению с другими страницами на сайте.

Важно помнить, что Googlebot учитывает атрибут lastmod при сканировании страниц, но если вы установите неправильное значение для него, оно не будет учитываться в будущем.
Количество файлов Sitemap не играет при индексировании роли:
на стороне Google происходит объединение всех файлов Sitemap, и URL из них обрабатываются совместно, независимо от количества файлов, которые вы предоставили.
Google поддерживает четыре способа передачи дополнительной информации в файле Sitemap:
1. Расширить URL, включив туда графические файлы,
2. Расширить URL, включив туда видеофайлы,
3. Включить туда информацию о разных языках или локализованных версиях страниц с помощью атрибута hreflang
4. Для новостных сайтов можно использовать особый вид Sitemap, чтобы сообщить информацию о самых последних обновлениях.

Главный менеджер программы генерации индекса Bing Фабрис Канель говорит следующее:

Он рекомендует избегать слишком большого количества XML-файлов Sitemap на сайте. В идеале он предлагают использовать только один индексный файл карты сайта, в котором перечислены все соответствующие файлы карты сайта и индексные файлы карты сайта.

Чтобы свести к минимуму количество повторяющихся и неработающих ссылок в картах сайта, Bing рекомендует создавать карты сайта не реже одного раза в день.

Для очень больших сайтов с миллионами и миллиардами URL-адресов общий размер XML-файлов карты сайта может достигать более 100 гигабайт. В этих случаях Bing рекомендует создать два набора карт сайта и чередовать их посуточно.

Baidu предъявляет следующие требования к картам сайта:

● Не должны превышать 10 МБ;
● Не содержат китайские иероглифы;
● Находятся в корневой папке вашего сайта.

Google предлагает слегка устаревшую типовую подборку сторонних генераторов файлов Sitemap, которыми может воспользоваться веб-мастер или создать на их базе собственный инструмент. На текущий момент не все ссылки активны, но многие ещё работают.

Sitemap Writer Pro программа, предлагающая семь типов карт сайта (стандартная карта сайта, изображения Google, новости Google, видео Google, поиск кода Google, Google Geo, Google Mobile). В неё входит встроенный краулер для генерации Sitemap и FTP-менеджер для загрузки карты на сайт.

Генератор XML-карт сайта включает бесплатный генератор (до 500 страниц), профессиональный генератор, а также серверный скрипт, написанный на языке PHP.

My Sitemap Generator бесплатный генератор Sitemap, который сканирует веб-сайт и создает XML-карту сайта.

Drupal
Модуль карты сайта XML ー создает карту сайта. Включает несколько подмодулей, которые могут добавлять ссылки на карту сайта для контента, пунктов меню и профилей пользователей.

WordPress
Google (XML) Sitemaps Generator ー автоматически создает XML-карту сайта. Дополнительно генерирует HTML-карту сайта.

XML Sitemap генератор
IKSWEB XML Sitemap Generator ー лёгкий и компактный плагин, создающий XML-карту сайта.

Google XML News Sitemap plugin
Плагин новостей Google ー программное обеспечение с открытым исходным кодом позволяющее издателям обновлять файлы Sitemap для новостей Google. Помимо обычного функционала даёт возможность издателям описывать типы публикуемого контента, а также указывать уровни доступа для отдельных статей.

Joomla
На сайте CMS указан актуальный список плагинов создающих XML-карту сайта для Joomla.

Помимо XML–карты сайта существуют и другие, менее распространённые форматы карты сайта, предназначенной для поисковых роботов.

RSS, mRSS и Atom 1.0
Для блога с RSS- или Atom-фидом, можно использовать URL этого фида как источник для создания файла Sitemap. Практически все платформы для ведения блогов предоставляют возможность создать фид.
Google поддерживает фиды RSS 2.0 и Atom 1.0, а так же фид mRSS (media RSS).

Текстовый файл Sitemap

В текстовый файл Sitemap можно добавлять только URL, каждый отдельной строкой. Расширение этого файла должно быть .txt (например, sitemap.txt).

В заключение можно сказать, что XML-карта сайта (Sitemap) ー это неотъемлемый инструмент в арсенале веб-мастера и владельца сайта. Она представляет собой структурированный файл, который помогает поисковым системам более эффективно сканировать и индексировать содержимое вашего сайта. В этой статье мы рассмотрели ключевые аспекты XML-карт сайтов и их важную роль в оптимизации поисковой видимости.

XML-карта сайта позволяет вам контролировать, какие страницы вашего сайта доступны для индексации, и предоставляет дополнительную информацию о каждой странице, такую как дата последнего обновления и приоритетность. Это помогает поисковым системам более точно определить, какие страницы следует индексировать и как часто их пересматривать.

Использование XML-карт сайтов является одним из ключевых элементов успешной SEO-стратегии. Они способствуют улучшению индексации вашего сайта, тем самым увеличивая его видимость в поисковых результатах.

Важно помнить, что XML-карта сайта ー это инструмент, который требует постоянного обновления и поддержки, чтобы быть актуальным и эффективным. Регулярное обновление карты сайта позволяет ботам отслеживать изменения на вашем сайте и информировать поисковые системы об этих изменениях.

Друзья! Благодарим за ваше чтение и время!
Надеемся статья была интересной, а главное–полезной!