Что такое Краулинг и 11 способов исправить ошибки сканирования вашего сайта
Простыми словами, краулинг относится к способности поисковых роботов обнаруживать и корректно просматривать страницы вашего веб-сайта. В отношении технического SEO это важный аспект, который следует проверить, потому что если Googlebot не может найти ваши веб-страницы, они никогда не займут верхние позиции в результатах поиска.
Sitemap не обязательно использовать, если у вас на главной есть ссылка на страницу или ее анонс висит там какое то время. Или если на страницах есть виджет Похожие записи. Гугл сам найдёт. Многие парятся с этим sitemaпом, а можно просто забить.
Если сайтик совсем маленький - можно и забить. Но на объёмах, да при кривой CMS, да с косячьём в настройках краулинга - пачку страниц вне индекса словить за нефиг нафиг.
Так хоть в сайтмапе ссылки будут торчать.
Ну и плюс если есть противоречивые директивы на уровне каноникал, кривых мета роботс и т.п. - сайтмап может выступить решающим фактором в пользу выбора чего-то роботом. Это всё таки серьёзный файлик, не кот чихнул.