Многие SEO-специалисты практически ежедневно проводят технические аудиты сайтов используя тот или иной софт для краулинга. В 90% случаев это всем известные Screaming Frog SEO Spider либо Читать далее22 показа18K18K открытий
Спасибо, суперполезно...Не очень понятно, почему сканируется только 5000 страниц. В "Настройках" ограничения нет никакого. С памятью все ок....
Здравствуйте. Возможно какие-то страницы запрещены для индексации или робот их не видит по разным причинам.