Штатные инструменты для создания карты сайта у Bitrix, включает часто много мусорных страниц. У Joomla, некоторые расширения для создания карт сайта не индексируют страницы, генерируемые компонентами (JoomShopping, JoomGallery и т.д.), а это, часто, основной объем сайта.
Обзор конечно мог бы быть больше и ширше, ну и хотя бы со скриншотами чтоли.
А из декстопного ПО могу порекомендовать SiteAnalyzer ( https://site-analyzer.ru/ ) - программа также может создавать сайтмапы для любого размера сайтов, и совершено бесплатно
У меня была цель осветить сами подходы, в первую очередь, их плюсы и минусы, поэтому на конкретных решениях сильно не останавливался, давая примеры как ориентиры.
Но спасибо за рекомендацию
Кстати, прикольная прога.
Я раньше юзал от netpeaksoftware, но с началом СВО они зашкварились и заблочили все аккаунты из РФ.
В чем технический смысл? Как с картой, так и без, просканировать сайт поисковику не составляет труда. Наличие карты наверное должно влиять как-то на глубину обхода или что?
В карте сайте, есть такая директива как lastmod дающая поисковику данные о последнем изменении страницы. Благодаря этому поисковику не надо бегать по всему сайту проверить обновления. Зашел в карту, просканировал все изменения, зашел уже там где информация обновилась. Это сильно экономит время поисковику когда сайт на 1 000 000 страниц.
Вообще то составит и не малого труда, если это например объемный портал или интернет-магазин на 100500 страниц. Соответственно без карты сайта скорее всего поисковик не будет тратить все свои ресурсы на сканирование всех страниц сайта за один проход (скачивание, рендер, парсинг, переход по ссылкам и тп), т.к. у него на это есть свои внутренние лимиты, в результате сканирование и индексация страниц через Sitemap может происходить быстрее.
Скорость обхода. Я об этом в начале статьи упомянул.