Руководство по использованию SCREAMING FROG SEO SPIDER ЧАСТЬ 2
В первой части нашего руководства по Screaming Frog SEO Spider мы подробно разобрали базовые настройки программы, способы сканирования, анализ дублированного контента, работу с мета-тегами и заголовками, а также проверку ответов сервера. Эти ключевые аспекты позволяют SEO-специалистам оптимизировать сайты, находить ошибки и повышать их позиции в поисковой выдаче.
Однако функционал Screaming Frog значительно шире, и базовые настройки — это лишь малая часть возможностей программы. В этой статье мы продолжим углубляться в работу инструмента и рассмотрим продвинутые функции, которые помогут провести более детальный анализ веб-ресурса.
Если вы уже освоили основные функции Screaming Frog, то пришло время углубиться в профессиональные методы SEO-анализа, которые помогут оптимизировать сайт, ускорить его индексацию и повысить видимость в поисковых системах.
Содержание:
Сканирование с учетом рендеринга JavaScript
Переходим в Configuration → Spider → Rendering
Windows Size. Здесь мы можем выбрать устройство для которого мы хотим рендерить. При таком режиме сканирование сайта значительно увеличивается.
Rendered Page
Теперь во вкладке Rendered Page можно посмотреть как выглядит страница, например для мобильных устройствах.
SEO-Friendly URL (ЧПУ)
После завершения сканирование сайта переходим к проверке URL и смотрим правое окошко.
переходим к проверке URL
Длина URL (Short/Long URLs). Google рекомендует использовать URL длиной до 115 символов. Если URL длиннее, его лучше оптимизировать.
URL → Over 115 Characters (длинные URL)
Использование кириллических символов. URL-адреса должны быть в латинице. Наличие кириллических символов может вызвать проблемы с кодировкой.
URL → Non ASCII Characters
Заглавные буквы в URL. Поисковые системы различают заглавные и строчные буквы. Использование заглавных букв может привести к дублированию страниц.
URL → Uppercase URLs
Динамические параметры. Если URL содержит «?», «&», «=», это может указывать на использование динамических параметров. Лучше заменить их на статические URL.
URL → Parameters
Данная проверка поможет выявить потенциальные проблемы и улучшить структуру сайта. Оптимальные URL должны:
- Быть короткими (до 115 символов)
- Использовать латиницу, цифры, дефисы (-)
- Не содержать заглавных букв
- Не включать динамические параметры (?id=123)
- Не дублироваться (проверить canonical)
Если обнаружены ошибки, исправьте URL на уровне CMS или настройте 301-редиректы для проблемных страниц.
Проверка глубины вложенности
Глубина вложенности страниц (Crawl Depth) показывает, насколько далеко находится страница от главной. Чем глубже вложенность, тем сложнее пользователям и поисковым системам её обнаружить.
В Screaming Frog SEO Spider глубина вложенности измеряется количеством кликов от стартовой страницы (обычно главной страницы сайта)
После завершения сканирования:
Перейдите во вкладку → Site Structure
Перейдите во вкладку → Site Structure
В окошке Crawl Depth можно детально проверить сколько страниц и какого уровня у нас на сайте. Здесь также можно изменить график на таблицу во вкладке View.
Оптимальная глубина вложенности:
- Crawl Depth 1−2 — главная страница и основные разделы
- Crawl Depth 3−4 — внутренние страницы (карточки товаров, статьи блога)
- Crawl Depth 5+ — слишком глубокие страницы (может потребоваться оптимизация)
Чем выше вложенность, тем сложнее поисковым системам добраться до страниц. Желательно, чтобы важные страницы имели глубину вложенности не более 3−4 кликов.
Визуальный анализ структуры сайта
Для более удобного анализа можно использовать графическое представление структуры сайта:
Откройте Visualisations → Crawl Tree Graph
Откройте Visualisations → Crawl Tree Graph
Это поможет выявить изолированные страницы и избыточную вложенность.
Поиск страниц без трафика
Одной из мощных возможностей Screaming Frog SEO Spider является интеграция с Google Analytics и Google Search Console. Это позволяет анализировать страницы, которые индексируются, но не приносят трафик.
Для начала нужно интегрировать Screaming Frog с API этих сервисов.
Подключение API Google Analytics
Перейдите в Configuration → API Access → Google Analytics
- Нажмите Connect to New Account
- Войдите в учетную запись Google и предоставьте доступ
- Выберите нужный аккаунт GA, ресурс и представление (View)
- Выберите временной диапазон (например, последние 3−6 месяцев)
- Нажмите OK
Подключение API Google Search Console
Перейдите в Configuration → API Access → Google Search Console
- Нажмите Connect to New Account и войдите в Google
- Выберите нужный сайт
- Выберите период анализа (например, 90 дней)
- Нажмите OK
- Введите URL вашего сайта, нажмите Start, дождитесь завершения анализа.
Фильтрация страниц без трафика
После завершения сканирования перейдите во вкладку Google Analytics & Google Search Console.
Google Analytics & Google Search Console
Переключитесь на вкладку GA4 Sessions — здесь отображаются страницы, которые не имеют трафика.
GA4 Sessions
Переключитесь на вкладку Clicks и здесь покажут страницы, которые не имеют трафика в GSC.
Clicks
Анализ страниц без трафика
После фильтрации можно проверить:
- Открыты ли страницы для индексации? (вкладка Indexability)
- Есть ли внутренние ссылки на эти страницы? (вкладка Inlinks)
- Содержат ли страницы полезный контент? (вкладка Content)
- Не являются ли они дублированными? (вкладка Duplicates)
- Есть ли проблемы с мета-тегами Title и Description?
Оптимизация страниц без трафика
Если страницы без трафика являются важными, их можно оптимизировать:
- Улучшить контент — добавить полезную информацию, уникальный текст, изображения
- Добавить внутренние ссылки — связать эти страницы с другими популярными страницами
- Обновить мета-теги — улучшить Title, Description, использовать релевантные ключевые слова
- Перелинковка — проверить, есть ли на них ссылки с других страниц
Если страницы не важны, их можно:
- Закрыть от индексации (noindex)
- Объединить с другими страницами (редирект 301)
Скорость загрузки сайта
Перед тем как запустить проверку скорости, необходимо подключить API Google PageSpeed Insights (PSI):
- Перейдите на страницу Google API Console
- Создайте новый проект (Create Project)
- Перейдите в «API & Services» → «Library»
- Найдите «PageSpeed Insights API» и нажмите «Enable»
- Перейдите в «API & Services» → «Credentials»
- Создайте новый API-ключ (Create Credentials → API Key)
- Скопируйте полученный API-ключ
Google API Console
Подключение API в Screaming Frog
После фильтрации можно проверить:
- Открываем Screaming Frog
- Переходим в Configuration → API Access → PageSpeed Insights
- Вставляем API-ключ
- Выбираем тип устройства для тестирования: Mobile (мобильные устройства), Desktop (настольные ПК)
- Указываем метрики для анализа (Core Web Vitals, First Contentful Paint и т. д.)
- Нажимаем Connect
Переходим в Configuration → API Access → PageSpeed Insights
Нажмите Start для запуска сканирования и после завершения перейдите во вкладку PageSpeed
Основные метрики скорости загрузки
После проверки вы увидите ключевые показатели Web Vitals, которые помогут определить, какие страницы загружаются слишком медленно.
- LCP (Largest Contentful Paint) — время загрузки основного контента (≤ 2,5 сек)
- FID (First Input Delay) — задержка перед первой интерактивностью (≤ 100 мс)
- CLS (Cumulative Layout Shift) — стабильность макета страницы (≤ 0,1)
- TTFB (Time To First Byte) — скорость ответа сервера (≤ 200 мс)
Метрики скорости
Фильтрация медленных страниц
Найдите страницы, у которых:
LCP > 4 сек — страницы загружаются слишком медленно
FID > 300 мс — медленный отклик на пользовательские действия
TTFB > 600 мс — долгий отклик сервера
Оптимизация скорости загрузки
Если сайт медленный, нужно устранить проблемы, влияющие на скорость загрузки:
- Оптимизировать изображения — сжать файлы (JPEG/WEBP вместо PNG)
- Использовать ленивую загрузку (Lazy Load) для изображений и видео
- Минифицировать CSS и JavaScript — удалить ненужные пробелы и символы
- Включить кэширование — использовать браузерное и серверное кэширование
- Использовать CDN — уменьшить задержки при загрузке контента
- Перенести сайт на быстрый хостинг — особенно важно для динамических сайтов
Анализ сниппетов
Внизу программы → SERP Snippet
Внизу программы → SERP Snippet
Здесь можно проверить каждую страницу и посмотреть как она выглядела в выдаче Google.
Также здесь присутствую рекомендации по их исправлению.
Работа sitemap.xml
Файл sitemap.xml играет важную роль в SEO, помогая поисковым системам быстрее находить и индексировать страницы. Screaming Frog позволяет анализировать XML Sitemap, выявлять ошибки и проверять, насколько хорошо она соответствует структуре сайта.
Файл sitemap.xml
Загрузка и проверка Sitemap.xml
Автоматическое обнаружение
- Открываем Screaming Frog
- Вводим URL сайта и нажимаем Start
- Если у сайта указан путь к Sitemap в robots.txt, программа автоматически её загрузит
- Переходим в Configuration → Spider и включаем:Crawl Linked XML Sitemaps — сканирование XML-карты, если ссылка есть в robots.txtAuto Discover XML Sitemap via robots.txt — автоматическое обнаружение Sitemap
Ручная загрузка Sitemap
- Перейдите в Mode → List
- Выберите Download XML Sitemap
- Введите URL файла sitemap.xml (например, site.com/sitemap.xml)
- Нажмите OK
После загрузки программа просканирует все страницы, указанные в sitemap.xml.
Проверка структуры
Переходим в Sitemaps → XML Sitemap и проверяем основные параметры:
- Все важные страницы включены
- Нет дубликатов URL
- URL используют HTTPS
- Нет страниц с кодами ошибок (4xx, 5xx)
- Нет редиректов (3xx)
- Используются только индексируемые страницы
Если такие проблемы есть, их необходимо исправить.
Оптимизация Sitemap.xml
- Оставляем только важные страницы (убираем 404, редиректы, дубли)
- Размер файла Sitemap — не более 50 000 URL или 50 МБ
- Все ссылки должны быть в одном формате (HTTPS, без слэша или со слэшем)
- Страницы с Canonical, Noindex и блокировкой в robots.txt — не должны попадать в Sitemap
- Разделяем Sitemap на несколько файлов, если страниц слишком много (например, sitemap-articles.xml, sitemap-products.xml)
Генерация Sitemap в Screaming Frog
Если у вас нет файла Sitemap, его можно создать с помощью Screaming Frog.
Перейдите в Sitemaps → XML Sitemap
Выберите все страницы, которые нужно включить
Оставьте включенными:
- Only Indexable Pages — только индексируемые страницы
- Include Last Modified — дата последнего обновления
- Include Images — если хотите добавить изображения в Sitemap
Нажмите Export и загрузите полученный sitemap.xml на сервер
Нажмите Export и загрузите полученный sitemap.xml на сервер
Оптимизация и дальнейшие шаги
Screaming Frog SEO Spider — это незаменимый инструмент для технического SEO-анализа. Он помогает выявлять ошибки, анализировать структуру сайта, проверять скорость загрузки страниц и отслеживать важные SEO-метрики.
Использование Screaming Frog в комплексном SEO-анализе поможет не только выявлять технические ошибки, но и значительно улучшить ранжирование сайта в поисковых системах. Регулярный аудит с помощью этого инструмента — залог стабильного роста позиций и увеличения органического трафика.
Хотите, чтобы ваш сайт занимал топовые позиции в поисковых системах? В Qmedia мы знаем, как провести SEO-оптимизацию, которая повысит видимость вашего бизнеса и привлечет целевую аудиторию. Давайте вместе добьемся впечатляющих результатов! Свяжитесь с нами, и мы сделаем ваш бизнес заметным. https://www.qmedia.by/prodvizhenie_sajtov.html