Техническая SEO оптимизация сайта

Помимо того, что страницы сайта должны быть удобными и удовлетворять запросам, страницы сайта должны быть проиндексированы поисковыми системами и свободно открываться.

В индексе поисковых систем должны быть только ценные, полезные , важные (как угодно их можно назвать) страницы, а мусорные страницы (дубли, малоценные, пустые) должны быть закрыты от индексации либо оптимизированы.

Техническая оптимизация позволяет управлять индексацией сайта и упрощает взаимодействие поисковых систем с сайтом.

Программа позволяет спарсить страницы сайта и получить данные по каждой странице.

Нужно парсить сайт целиком

Mode - Spider

Для этого вставляем адрес сайта в поисковую строку Фрога

Когда сайт полностью спарсится, переходим к следующим пунктам.

1.2. Выгрузить битые, непрямые, внешние ссылки

Битые ссылки ссылки

Это ссылки на несуществующие страницы со статус-кодом 404.

Проверить статус-код страниц можно в сервисе https://bertal.ru/.

Bulk Export - Response Codes - Internal & External - Client Error (4xx) Inlinks

На выходе получается файл вида:

Нас интересуют 2 столбца - Source (На какой странице размещена битая ссылка) и Destination (Сама битая ссылка)

Непрямые ссылки (с редиректом)

Например, есть страница каталога site.ru/catalog/.

На этой странице может быть размещена ссылка, например, site.ru/catalog/velosipedy/.

При переходе по ссылке site.ru/catalog/velosipedy/ нас перенаправляет на страницу site.ru/catalog/velosipedy-stels/.

Перенаправить нас можно с помощью 301 редиректа.

Если у нас много таких ссылок с перенаправлением, это может негативно сказаться на ранжировании.

Необходимо такие ссылки с перенаправлением менять на их окончательный адрес.

В нашем примере необходимо на странице site.ru/catalog/ заменить ссылку с перенаправлением site.ru/catalog/velosipedy/ на ссылку site.ru/catalog/velosipedy-stels/.

Теперь как нам найти все ссылки с перенаправлением на нашем сайте?

Bulk Export - Response Codes - Internal & External - Redirection (3xx) Inlinks

На выходе получается файл вида:

Нас интересуют 2 столбца - Source (На какой странице размещена ссылка с редиректом) и Destination (Сама ссылка с редиректом)

Также мы можем получить страницу, на которую ведет редирект.

Для этого переходим на вкладку Responce Codes, фильтруем по Redirection (3xx)

На выходе получается файл вида:

Сначала необходимо отфильтровать страницы по столбцу Status Code. Нужен код 301.

Далее в столбце Address видим ссылка, которая редиректит на ссылку из столбца Redirect URL. В столбце Redirect URL указан окончательный адрес страниц после редиректов.

Таким образом можно совместить эти 2 файла и выявить, на каких страницах какие ссылки нужно заменить.

Совместить 2 таблицы можно с помощью формулы ВПР - подтягиваем к столбцу Desctination данные из столбца Redirect URL.

1.3. Внешние ссылки

Вкладка External

В файле будут указаны все исходящие с сайта ссылки.

Необходимо удалить битые ссылки, исправить ссылки с редиректом на ссылки с кодом 200 ОК, закрыть внешние ссылки в nofollow.

1.4. Выгрузить страницы с дублирующимися и пустыми метатегами

Переходим во вкладки Page Titles, Meta Description, H1

Фильтруем по:

Так найдем страницы без метатегов, с дублирующимися метатегами, со слишком объемными либо слишком короткими мета и тд.

Нас пока интересуют страницы без метатегов либо с дублирующимися метатегами. Такие страницы могут быть дублями и исключаться из индекса.

Их необходимо оптимизировать под запросы и уникализировать.

1.5. Проверить, не закрыты ли для индексации полезные важные страницы

Во вкладке Internal есть столбец Indexability

Если статус Non-Indexable, значит, страница не индексируется.

Нужно искать причину.

Самые распространенные - закрытие страницы в robots.txt либо закрытие метатегом meta name robots noindex.

Вкладка Responce Codes - фильтруем по Blocked by Robots.txt

Чтобы найти страницы, закрытые в meta name robots noindex:

Вкладка Directives - Фильтруем по Noindex

Важно, чтобы среди закрытых страниц не было важных и полезных. В то же время нужно закрыть от индексации мусорные страницы, которые никак нельзя уникализировать или оптимизировать.

Заходим в сервис. Если сайта нет в вебмастере, сайт нужно добавить и дождаться, пока Вебмастер соберет по сайту данные. Займет около недели.

2.1. Индексация страниц

Серьезным ограничением к продвижению будет плохая индексация сайта.

Важно, чтобы были проиндексированы все важные, уникальные страницы сайта.

А мусорные страницы должны быть закрыты от индексации.

Проиндексированные страницы

Заходим в раздел Индексирование - Страницы в поиске - Все страницы

Тут отмечены страницы сайта, которые находятся в индексе Яндекса.

Проверяем эти страницы, тут должны быть только полезные, уникальные, оптимизированные страницы сайта.

Если среди проиндексированных страниц есть полупустые, неуникальные страницы, их нужно либо дооптимизировать, либо закрыть от индексации.

Закрыть страницу от индексации можно следующими способами:

Исключенные из индекса страницы

Заходим в раздел Индексирование - Страницы в поиске - Исключенные страницы

Тут отмечены страницы сайта, которые выкинуты из индекса. Среди этих страниц не должно быть важных и полезных. Тут должны быть мусорные страницы, которые не нужны для продвижения.

Можно установить фильтр в столбце Статус, чтобы выделить, по каким причинам страницы выпадают из индекса.

Принудительная индексация

Если мы создали страницы, и они не индексируются, мы можем отправить их на индексацию принудительно.

Для этого заходим в раздел Индексирование - Переобход страниц

В это окно можно добавить страницы на принудительную индексацию.

2.2. Файл sitemap.xml

Переходим в раздел Индексирование - Файлы Sitemap

Сюда необходимо добавить адрес нашего файла sitemap.xml.

В этом файле должны быть ссылки на важные и полезные наши страницы, чтобы робот быстрее мог их найти и проиндексировать.

Все ссылки должны быть со статус-кодом 200 ок

2.3. Дубли title и description

В разделе Заголовки и описания можно найти страницы с дублирующимися title и description

2.4. Анализ robots.txt

robots.txt - файл, в котором мы прописываем директивы для поисковых систем по индексации сайта. С помощью этого файла можно запретить индексацию страниц.

Если мы нашли в индексе мусорные страницы, их можно закрыть в robots.txt.

При этом нужно быть уверенным, что мы не закрыли важные страницы.

В вебмастере есть симулятор robots.txt по адресу Инструменты - Анализ robots.txt

В нем вы можете вписывать и удалять директивы из robots и проверять, закрыли ли вы мусорные страницы и не закрыли ли важные страницы

В этом окне можно сконструировать ваш тестовый robots.txt и проверить, закрывают ли директивы лишние страницы и не закрывают ли важные

В этом окне проверяем URL страниц на закрытие

Вводим url страниц и проверяем, закрыты ли они в роботс или нет.

3.1. Индексация страниц

Проверяем индексацию в разделе Индексирование - Страницы

Проверяем окна Не проиндексировано и Проиндексировано

Проиндексированные страницы

В разделе Проиндексировано должны быть только важные полезные страницы.

Не проиндексировано

В разделе Не проиндексировано должны быть только мусорные страницы, не нужные для индексации. Если там есть полезные страницы, нужно работать над их индексацией.

Промотав ниже, видим причины того, почему страницы не индексируются

можем раскрыть каждое окно и проверить конкретные URL адреса.

3.2. Файл sitemap.xml

Переходим в раздел Индексирование - Файлы Sitemap

Сюда необходимо добавить адрес нашего файла sitemap.xml.

В этом файле должны быть ссылки на важные и полезные наши страницы, чтобы робот быстрее мог их найти и проиндексировать.

Прочие инструменты

3.3. Удобство страниц

Качество - Удобство страниц

В данном отчете можно проверить страницы на основные интернет-показатели

3.4. Удобство для мобильных

В данном отчете можно проверить страницы на мобилопригодность. Если есть ошибки на важных страницах, их нужно исправить.

Прогоняем типовые страницы (главная, категория, карточка, услуга, статья), проверяем скорость каждой и выписываем рекомендации от page speed insights https://pagespeed.web.dev/

Пример рекомендаций по ускорению загрузки страниц:

Надеюсь, было полезно, спасибо за внимание.