Как провести технический анализ сайта с помощью Screaming Frog

Наличие технических ошибок на сайте может негативно сказаться на ранжировании сайта в поисковых системах. Плохое ранжирование означает, что сайт будет иметь низкие позиции в поисковой выдаче и получать мало органического трафика. Это приведет с низкому показателю конверсий и продаж.

К наиболее распространенным техническим ошибкам относятся:

Многие технические ошибки можно выявить с помощью софта Screaming Frog.

Screaming Frog — это программа для сканирования сайта, которая устанавливается на компьютер. Ключевыми функциями софта Screaming Frog являются:

Ниже разберем некоторые этапы технического анализа сайта через Screaming Frog.

Чтобы запустить сканирование сайта, нужно просто добавить сайт в строку для ввода URL и нажать старт.

Но лучше перед запуском сканирования включить игнорирование robots.txt и установить количество одновременно запущенных потоков, в зависимости от можности сервера.

После завершения сканирования сайта необходимо проверить, все ли важные старницы открыты для индексации. Для этого необходимо перейти в раздел Response Codes — Blocked by Robots.txt. Необходимо убедиться, что нужные страницы не закрыты от индексации файлом robots.txt.

Далее необходимо перейти в раздел Directives — Noindex и проверить, не закрыты ли нужные страницы от индксации тегом Noindex.

Тег title является одним из важнейших тегов в SEO. Поэтому необходимо проверить, на всех ли страницах присутствует тег title. Также необходимо проверить, корректно ли формируется данный тег и нет ли явных проблем, например спам, лишние символы и т.д.

Для проверки тега title необходимо перейти в раздел Page Titles. Чтобы найти страницы, у которых отсутствует title, необходимо перейти в раздел Page Titles — Missing.

Дубли страниц могут возникать по многим причинам: появляются страницы с GET-параметрами и UTM-метками, одна и та же страница размещена в разных разделах каталога, у страниц дублируются мета-теги title и т.д. Причем, в случае с дублями title, контент страниц может значительно отличаться. Но так как title дублируется, такие страницы будут признаны поисковыми системами, как дубли.

Чтобы выявить дубли страниц, необходимо найти страницы, у которых дублируется тег title. Для этого необходимо перейти в раздел Page Titles — Duplicate.

Для проверки мета-тегов description, необходимо перейти в раздел Meta Description. Как и в случае с тегом title, необходимо проверить, на всех ли страницах заполнен мета-тег description и нет ли дублирующихся мета-тегов.

Проверить это можно в разделах Meta Description — Missing и Meta Description — Duplicate.

Одна, две или 10 битых ссылок на сайте не окажут значительного влияния на ранжирование. Однако большое количество битых ссылок и частое попадание пользователей на страницу 404 ошибки уже может затруднить ранжирование сайта.

В связи с этим важно проверить наличие битых ссылок на сайте, особенно в сквозных блоках, например главном меню или футере.

Для поиска битых ссылок необходимо перейти в раздел Response Codes — Client Error (4xx).

Если на сайте обнаружены битые сыслки, необходимо определить, на каких страницах размещены данные ссылки.

В нижней части экрана вы увиделе вкладку Inlinks. Там вы найдете страницы, где размещены битые ссылки.

Наличие небольшого количества ссылок с редиректами никак не скажется на ранжировании сайта. Однако большое количество таких ссылок на сайте может негативно повлиять на краулинговый бюджет.

У поисковых роботом есть определенные лимиты на сканирование сайта и в каждом случае — они индивидуальны.

Если поисковые роботы будут ходить по ссылкам с редиректами — они в 2 раза быстрее будут расходовать краулинговый бюджет, что негативно скажется на индексации сайта. Нужные страницы медленнее будут индексироваться, соответственно сайт будет медленнее расти.

Найти ссылки с редиректами можно в отчете Response Codes — Redirection (3xx).

В нижней части экрана во вкладке будет представлен список страниц, где размещены ссылки с редиректами, а на вкладке Outlinks — список страниц, куда ведет редирект.

На каждой странице сайта должен присутствовать основной заголовок, размеченные тегами

. Данный заголовок должен максимально точно, при этом кратко отражать содержание страницы.

Заголовок h1 позволяет поисковым системам более точно определить интент контента на странице.

При проведении технического анализа сайта необходимо проверить наличие основного заголовка на всех страницах сайта. Кроме того, тегами

должен быть размечен только один основной заголовок.

Как найти страницы, где отсутствует основной заголовок h1?

Необходимо справа выбрать раздел H1 — Missing. Вы увидите список страниц, где отсутствует заголовок h1.

В том же разделе во вкладке Multiple будут представлены страницы, где присутствует несколько заголовков, которые размечены тегами

. В таком случае необходимо удалить второй заголовок, если он дублирует первый либо в нём нет необходимости, или разметить заголовок тегами <h2> — <h6> в соответствии с его иерархией.

В разделе Canonicals необходимо проверить, на всех ли страницах сайта заполнен тег Canonical и корректно ли заполнен тег.

В данном теге должна быть указана абсолютная ссылка на каноническую страницу без GET-параметров.

Наличие пустых или малоинформативных страниц может негативно сказаться на ранжировании сайта. Чаще всего такие страницы исключаются из индекса поисковых систем.

Пустые или малоинформативные страницы рекомендуется закрывать от индексации, удалять или дорабатывать таким образом, чтобы страница подробно отвечала на вопросы пользователя.

Для поиска пустых или малоинформативных страниц необходимо справа выбрать раздел Crawl Data — Internal — All.

Через форму поиска следует отфильтровать страницы с контентом.

Далее необходимо в поле со списком страниц найти столбец Word Count, отсортировать список страниц по убыванию количества слов и уже вручную проверить страницы с низким количеством слов в тексте страниц.

Тег Keywords давно не учитывается поисковыми системами как фактор ранжирования и не оказывает положительного влияния. Однако при наличии на сайте спамных текстов и мета-тегов данный тег может стать одним из сигналов, что страница продвигается неестественными способами.Для избежания таких ситуаций, мы рекомендуем удалять теги Keywords со всех страниц сайта.

Чтобы найти страницы, где размещен данный тег, необходимо справа выбрать раздел Meta Keywords.

Неоходимо убедиться, что все изображения отдают 200 код ответа и доступны для индексации. Для этого необходимо перейти в разедл Internal — Images.

В этом же разделе вы сможете увидеть вес изображений. Проверьте, что на сайте отсутствуют изображения более 1,5 мб. Тяжелые изображения могут негативно повлять на скорость загрузки страниц. Поэтому необходимо использовать соверемнные форматы изображений и стремиться добавлять на сайт изображения менее 1,5 мб.

Для извлечения какого либо элемента со страниц сайта, необходимо определить, где находится нужный элемент на странице сайта, и скопировать XPath данного элемента.

В интерфейсе Screaming Frog необходимо выбрать вкладку Configuration — Custom — Extraction.

Далее необходимо добавить новый элемент, нажав на кнопку add, и выбрать способ извлечения — XPath и что извлекаем — Extract Text. Далее указываем XPath элемента, который ранее мы скопировали из кода сайта и ставим перед названием стиля точку.

Запускаем парсинг и получаем все нужные данные.

В данном примере мы разобрали извлечение элемента с помощью стилей CSS. Извлечь элемент также можно по селектору, XPath и другими способами.

Для анализа трафика и CTR на сайте должен быть установлен Google Search Console. Анализ данных можно будет провести в том случае, если в панели веб-мастера уже есть данные о трафике и CTR.

Чтобы выгрузить данные о трафике и CTR, перед запуском парсинга необходмио зайти в раздел меню Configuration — API Access и выбрать Google Search Console и авторизоваться с того аккаунта Google, на котором установлен Search Console.

Данная инструкция позволит провести базовый технический анализ сайта за час и выявить проблемы, затрудняющие ранжирование сайта.

Не стоит ограничиваться проверкой сайта только через Screaming Frog. Необходимо проводить копмлексную техническую проверку и использовать другие инструменты для анализа сайта.