Простыми словами, краулинг относится к способности поисковых роботов обнаруживать и корректно просматривать страницы вашего веб-сайта. В отношении технического SEO это важный аспект, который следует проверить, потому что если Googlebot не может найти ваши веб-страницы, они никогда не займут верхние позиции в результатах поиска.
Да, это в идеале конечно:) На практике, их скорее всего, и не существует вовсе.