Как провести технический анализ сайта с помощью Screaming Frog

Наличие технических ошибок на сайте может негативно сказаться на ранжировании сайта в поисковых системах. Плохое ранжирование означает, что сайт будет иметь низкие позиции в поисковой выдаче и получать мало органического трафика. Это приведет с низкому показателю конверсий и продаж.

К наиболее распространенным техническим ошибкам относятся:

  • Наличие бытых ссылок и ссылок с редиректами
  • Ошибки в файле robots.txt
  • Низкая скорость загрузки страниц
  • Отсутствие или ошибки в важных тегах
  • Отсутствие или ошибки в xml-карте сайта
  • Наличие дублей страниц
  • Некорректно заполненные теги title
  • Отсутствие заголовков h1
  • Не заполненные теги description

Многие технические ошибки можно выявить с помощью софта Screaming Frog.

Что такое Screaming Frog

Screaming Frog — это программа для сканирования сайта, которая устанавливается на компьютер. Ключевыми функциями софта Screaming Frog являются:

  • Поиск битых ссылок
  • Поиск ссылок с редиректами
  • Поиск пустых страниц
  • Поиск дублей страниц
  • Проверка наличия заголовков h1
  • Проверка наличия заполненных тегов Canonical
  • Анализ изображений
  • Извлечение элементов со страниц сайта
  • Анализ скорости загрузки страниц
  • Анализ трафика и CTR
  • Анализ страниц, закрытых от индексации
  • Анализ структуры сайта и перелинковки
  • Составление xml-карты сайта
  • Анализ структуры заголовков h2

Ниже разберем некоторые этапы технического анализа сайта через Screaming Frog.

Как запустить сканирование сайта

Чтобы запустить сканирование сайта, нужно просто добавить сайт в строку для ввода URL и нажать старт.

Но лучше перед запуском сканирования включить игнорирование robots.txt и установить количество одновременно запущенных потоков, в зависимости от можности сервера.

Как провести технический анализ сайта с помощью Screaming Frog

Проверка доступности важных страниц сайта для индексации поисковыми роботами

После завершения сканирования сайта необходимо проверить, все ли важные старницы открыты для индексации. Для этого необходимо перейти в раздел Response Codes — Blocked by Robots.txt. Необходимо убедиться, что нужные страницы не закрыты от индексации файлом robots.txt.

Как провести технический анализ сайта с помощью Screaming Frog

Далее необходимо перейти в раздел Directives — Noindex и проверить, не закрыты ли нужные страницы от индксации тегом Noindex.

Наличие заполенных тегов title и корректность формирования тегов

Тег title является одним из важнейших тегов в SEO. Поэтому необходимо проверить, на всех ли страницах присутствует тег title. Также необходимо проверить, корректно ли формируется данный тег и нет ли явных проблем, например спам, лишние символы и т.д.

Для проверки тега title необходимо перейти в раздел Page Titles. Чтобы найти страницы, у которых отсутствует title, необходимо перейти в раздел Page Titles — Missing.

Как провести технический анализ сайта с помощью Screaming Frog

Поиск дублей страниц

Дубли страниц могут возникать по многим причинам: появляются страницы с GET-параметрами и UTM-метками, одна и та же страница размещена в разных разделах каталога, у страниц дублируются мета-теги title и т.д. Причем, в случае с дублями title, контент страниц может значительно отличаться. Но так как title дублируется, такие страницы будут признаны поисковыми системами, как дубли.

Чтобы выявить дубли страниц, необходимо найти страницы, у которых дублируется тег title. Для этого необходимо перейти в раздел Page Titles — Duplicate.

Как провести технический анализ сайта с помощью Screaming Frog

Проверка мета-тегов description

Для проверки мета-тегов description, необходимо перейти в раздел Meta Description. Как и в случае с тегом title, необходимо проверить, на всех ли страницах заполнен мета-тег description и нет ли дублирующихся мета-тегов.

Проверить это можно в разделах Meta Description — Missing и Meta Description — Duplicate.

Как провести технический анализ сайта с помощью Screaming Frog

Поиск битых ссылок

Одна, две или 10 битых ссылок на сайте не окажут значительного влияния на ранжирование. Однако большое количество битых ссылок и частое попадание пользователей на страницу 404 ошибки уже может затруднить ранжирование сайта.

В связи с этим важно проверить наличие битых ссылок на сайте, особенно в сквозных блоках, например главном меню или футере.

Для поиска битых ссылок необходимо перейти в раздел Response Codes — Client Error (4xx).

Если на сайте обнаружены битые сыслки, необходимо определить, на каких страницах размещены данные ссылки.

В нижней части экрана вы увиделе вкладку Inlinks. Там вы найдете страницы, где размещены битые ссылки.

Как провести технический анализ сайта с помощью Screaming Frog

Поиск ссылок с 301 и 302 редиректом

Наличие небольшого количества ссылок с редиректами никак не скажется на ранжировании сайта. Однако большое количество таких ссылок на сайте может негативно повлиять на краулинговый бюджет.

У поисковых роботом есть определенные лимиты на сканирование сайта и в каждом случае — они индивидуальны.

Если поисковые роботы будут ходить по ссылкам с редиректами — они в 2 раза быстрее будут расходовать краулинговый бюджет, что негативно скажется на индексации сайта. Нужные страницы медленнее будут индексироваться, соответственно сайт будет медленнее расти.

Найти ссылки с редиректами можно в отчете Response Codes — Redirection (3xx).

В нижней части экрана во вкладке будет представлен список страниц, где размещены ссылки с редиректами, а на вкладке Outlinks — список страниц, куда ведет редирект.

Как провести технический анализ сайта с помощью Screaming Frog

Анализ заголовков h1

На каждой странице сайта должен присутствовать основной заголовок, размеченные тегами

. Данный заголовок должен максимально точно, при этом кратко отражать содержание страницы.

Заголовок h1 позволяет поисковым системам более точно определить интент контента на странице.

При проведении технического анализа сайта необходимо проверить наличие основного заголовка на всех страницах сайта. Кроме того, тегами

должен быть размечен только один основной заголовок.

Как найти страницы, где отсутствует основной заголовок h1?

Необходимо справа выбрать раздел H1 — Missing. Вы увидите список страниц, где отсутствует заголовок h1.

В том же разделе во вкладке Multiple будут представлены страницы, где присутствует несколько заголовков, которые размечены тегами

. В таком случае необходимо удалить второй заголовок, если он дублирует первый либо в нём нет необходимости, или разметить заголовок тегами <h2> — <h6> в соответствии с его иерархией.

Как провести технический анализ сайта с помощью Screaming Frog

Проверка наличия и корректности формирования тега Canonical

В разделе Canonicals необходимо проверить, на всех ли страницах сайта заполнен тег Canonical и корректно ли заполнен тег.

В данном теге должна быть указана абсолютная ссылка на каноническую страницу без GET-параметров.

Как провести технический анализ сайта с помощью Screaming Frog

Поиск пустых или малоинформативных страниц

Наличие пустых или малоинформативных страниц может негативно сказаться на ранжировании сайта. Чаще всего такие страницы исключаются из индекса поисковых систем.

Пустые или малоинформативные страницы рекомендуется закрывать от индексации, удалять или дорабатывать таким образом, чтобы страница подробно отвечала на вопросы пользователя.

Для поиска пустых или малоинформативных страниц необходимо справа выбрать раздел Crawl Data — Internal — All.

Как провести технический анализ сайта с помощью Screaming Frog

Через форму поиска следует отфильтровать страницы с контентом.

Далее необходимо в поле со списком страниц найти столбец Word Count, отсортировать список страниц по убыванию количества слов и уже вручную проверить страницы с низким количеством слов в тексте страниц.

Как провести технический анализ сайта с помощью Screaming Frog

Спамный тег Keywords

Тег Keywords давно не учитывается поисковыми системами как фактор ранжирования и не оказывает положительного влияния. Однако при наличии на сайте спамных текстов и мета-тегов данный тег может стать одним из сигналов, что страница продвигается неестественными способами.Для избежания таких ситуаций, мы рекомендуем удалять теги Keywords со всех страниц сайта.

Чтобы найти страницы, где размещен данный тег, необходимо справа выбрать раздел Meta Keywords.

Как провести технический анализ сайта с помощью Screaming Frog

Анализ изображений

Неоходимо убедиться, что все изображения отдают 200 код ответа и доступны для индексации. Для этого необходимо перейти в разедл Internal — Images.

В этом же разделе вы сможете увидеть вес изображений. Проверьте, что на сайте отсутствуют изображения более 1,5 мб. Тяжелые изображения могут негативно повлять на скорость загрузки страниц. Поэтому необходимо использовать соверемнные форматы изображений и стремиться добавлять на сайт изображения менее 1,5 мб.

Как провести технический анализ сайта с помощью Screaming Frog

Извлечение элементов со страниц сайта

Для извлечения какого либо элемента со страниц сайта, необходимо определить, где находится нужный элемент на странице сайта, и скопировать XPath данного элемента.

Как провести технический анализ сайта с помощью Screaming Frog

В интерфейсе Screaming Frog необходимо выбрать вкладку Configuration — Custom — Extraction.

Как провести технический анализ сайта с помощью Screaming Frog

Далее необходимо добавить новый элемент, нажав на кнопку add, и выбрать способ извлечения — XPath и что извлекаем — Extract Text. Далее указываем XPath элемента, который ранее мы скопировали из кода сайта и ставим перед названием стиля точку.

Как провести технический анализ сайта с помощью Screaming Frog

Запускаем парсинг и получаем все нужные данные.

Как провести технический анализ сайта с помощью Screaming Frog

В данном примере мы разобрали извлечение элемента с помощью стилей CSS. Извлечь элемент также можно по селектору, XPath и другими способами.

Анализ трафика и CTR

Для анализа трафика и CTR на сайте должен быть установлен Google Search Console. Анализ данных можно будет провести в том случае, если в панели веб-мастера уже есть данные о трафике и CTR.

Чтобы выгрузить данные о трафике и CTR, перед запуском парсинга необходмио зайти в раздел меню Configuration — API Access и выбрать Google Search Console и авторизоваться с того аккаунта Google, на котором установлен Search Console.

Как провести технический анализ сайта с помощью Screaming Frog

Данная инструкция позволит провести базовый технический анализ сайта за час и выявить проблемы, затрудняющие ранжирование сайта.

Не стоит ограничиваться проверкой сайта только через Screaming Frog. Необходимо проводить копмлексную техническую проверку и использовать другие инструменты для анализа сайта.

77
6 комментариев

Спасибо большое! Очень полезно. Я с лягухой не очень уверенно управляюсь, а тут раз-раз и затратив минимум времени задачи для отчетика наклепала. Без всяких танцев с бубнами.

Ответить

Спасибо за обратную связь! ❤

Ответить

Спасибо! Правда, кратко и информативно)

Ответить

Очередная статья, которых на сайте уже множество.
Ничего нового.

Ответить

А что вы хотели бы узнать нового? Напишите, пожалуйста, может быть я подготовлю статью

Ответить