Технический аудит сайта: чек-лист технической проверки

Техническая составляющая сайта важна при поисковом продвижении, так как технические ошибки влияют на конверсии, поведение пользователей и на ранжирование сайта в поисковых системах. Чтобы устранить технические ошибки необходимо провести подробный анализ сайта и сформировать технические задания для устранения проблем.

Технический аудит – это комплексная проверка всех значимых модулей, элементов и параметров сайта, которые обеспечивают эффективность работы сайта. Это один из основных этапов поискового продвижения сайта. Наличие технических проблем может напрямую влиять на ранжирование сайта. Решение технических проблем может значительно улучшить положение сайта в поисковых системах, что приведет к росту поискового трафика и конверсий.

Более того работоспособность сайта важна не только при SEO-продвижении, но и в целом. Например, медленная скорость загрузки страниц или отсутствие адаптивности сайта к мобильным устройствам может негативно сказать на прямом и рекламном трафике и на количестве постоянных пользователей.

Технический аудит необходимо проводить для того, чтобы выявить проблемы и ошибки, которые негативно влияют на ранжирование сайта и затрудняют взаимодействие с ним.

Технический анализ позволяет проверить доступность всего контента для поисковых роботов, проверить наличие важных тегов и заголовков, выявить проблемы, которые затрудняют взаимодействие пользователей с сайтом, а также выявить другие ошибки, которые затрудняют продвижение сайта.

• Новому сайту перед релизом. Это позволит устранить технические ошибки перед запуском и обеспечить быструю индексацию страниц сайта и контента. Технический анализ на начальном этапе позволит заложить прочный фундамент и сконцентрироваться на решении других SEO-задач;

• Сайтам, у которых техническая проверка не проводилась более 6 месяцев. Даже если над сайтом не ведутся работы, могут возникать технические ошибки, в особенности на больших проектах. В связи с этим как минимум раз в 6 месяцев необходимо проводить технический анализ сайта;

• При резком снижении поискового трафика или видимости и позиций сайта в поисковых системах. Если нет явной причины снижения трафика и видимости, проблема может быть связана с наличием технических ошибок;

• При переезде сайта на другую CMS систему. В данном случае необходимо провести техническую проверку, как до переезда, так и после. Это позволит устранить все ошибки до переезда на другую CMS и проверить, не возникло ли ошибок при переезде;

• Трафик с поиска идет, но нет конверсий. Отсутствие конверсий может быть также связано с наличием технических проблем.

Даже если у вас нет проблем и сайт хорошо ранжируется, рекомендуем регулярно проводить техническую проверку. Так вы сможете получить информацию об изменении алгоритмов ранжирования поисковых систем, а также получить рекомендации по улучшению сайта в соответствии с новыми трендами SEO.

Наиболее оптимальным форматом технического аудита будет формат таблицы со следующим содержанием:

• Пункт проверки
• Статус (обнаружены или не обнаружены проблемы)
• Ход проверки (тезисно описать, как проводилась проверка)
• Результат проверки
• Рекомендация (техническое задание на исправление ошибки)
• Приоритет (на сколько сильно влияет проблема на ранжирование сайта)
• Результат (к чему приведет решение проблемы)

Данный чек-лист позволит провести подробную проверку вашего сайта и выявить ошибки, которые мешают ранжированию сайта в поисковых системах. В ходе проверки сайта необходимо зафиксировать все найденные проблемы и сформировать технические задания для устранения ошибок.

Необходимо проверить наличие и корректность составления файла robots.txt.

Robots.txt – это файл, который разрешает или запрещает поисковым системам индексировать страницы сайта. Этот файл позволяет закрыть от поисковых системы дубли страниц (например, страницы сортировки или страницы с utm-метками), закрыть служебные или мусорные страницы.

Данный файл размещается на сервере по адресу https://site.ru/robots.txt. Он не является обязательным, но в ряде случаев может значительно повлиять на ранжирование сайта.

Подробнее о том, как составить файл robots.txt вы можете прочитать в нашей статье.

Проверить robots.txt можно с помощью https://webmaster.yandex.ru/tools/robotstxt/

Пример содержимого файла robots.txt:

Необходимо проверить наличие и корректность составления xml-карты сайта.

Карта сайта Sitemap.xml может улучшить индексацию сайта. В данном файле должны содержаться ссылки на все продвигаемые страницы сайта.

Разместить xml-карту сайта необходимо в корневой папке по адресу https://site.ru/sitemap.xml.

Описание формата сайта можно найти по ссылке.

В карте сайта должны присутствовать только ссылки на существующие канонические страницы с 200 кодом ответа. Не следует включать в карту сайта страницы с GET-параметрами и страницы пагинации.

В карте сайта необходимо разместить ссылку на страницу и дату последнего обновления.

Рекомендуем реализовать автоматическую генерацию карты сайта (чтобы при добавлении на сайт новых страниц они добавлялись в карту сайта). Также рекомендуем автоматически обновлять карту сайта раз в неделю.

Пример формата и оформления xml-карты сайта представлен ниже:

Индексация страницы – один из первых шагов в SEO-продвижении.

Для того, чтобы страницы сайта ранжировались в поисковых системах, они должны попасть в индекс Яндекса и Google.

В индекс должны попасть все информативные страницы сайта. Кроме того, в индекс должен попасть весь контент, который представлен на данных страницах.

От полноты индексации зависит положение сайта в поисковых системах.

В связи с этим необходимо уделить индексации сайта особое внимание и убедиться, что все необходимые страницы попали в индекс.

С помощью Яндекс Вебмастера можно проверить, какие страницы попадают или исключаются из индекса.

Необходимо убедиться, что все нужные страницы находятся в индексе и отдают 200 код ответа сервера, а ненужные (например, служебные страницы, страницы с 301 или 404 кодом ответа, страницы, закрытые в robots.txt и неканонические страницы) исключаются из индекса.

Необходимо зайти в раздел «Индексирование» – «Страницы в поиске». В данном отчете будут отражены страницы, которые попали в индекс или были исключены из индекса, а также статус страницы (например, неканоническая) и причина попадания или исключения из индекса.

Через Google Search Console можно проверить, как индексируется сайт в Google.

В ряде случаев страницы могут быть просканированы поисковыми роботами, но не проиндексированы. В таком случае необходимо выявить причину, почему страницы не проиндексированы и устранить проблему.

Все информативные страницы сайта должны быть просканированы и проиндексированы Google.

Наличие служебных страниц и поддоменов в индексе может негативно сказать на ранжировании сайта.

Наличие таких страниц в индексе можно проверить через Google Search Console и Яндекс Вебмастер.

Выявить наличие служебных поддоменов можно также с помощью сервиса https://be1.ru/uznat-poddomeni-saita/.

При наличии служебных поддоменов необходимо проверить, закрыты ли поддомены обязательной авторизацией или файлом robots.txt.

Некоторые страницы, ссылки или определенные элементы страницы могут быть закрыты от индексации и сканирования тегами noindex и nofollow.

При наличии данных тегов на сайте необходимо проверить, не закрыты ли от индексации важные для продвижения страницы или контент.

На всех страницах сайта желательно указывать тег Canonical, указывающий основной адрес страницы без GET-параметров. Данный тег следует разместить в коде сайта в раздел <head></head>..

Canonical является рекомендацией для поисковой системы Яндекс и не является обязательным. При этом в некоторых случаях указание основной страницы может положительно повлиять на индексацию и избежать появление дублей страниц.

При размещении тега необходимо соблюсти последовательность атрибутов:

Наличие у одной компании двух или более сайтов одной тематики может стать причиной наложения фильтра Аффилиат в Яндексе. После чего в поисковой выдаче по каждому конкретному запросу сможет присутствовать только один из сайтов компании.

Меры, которые следует предпринять во избежание попадания под фильтр:

1. Закрыть все второстепенные сайты и настроить 301 редирект на соответствующие разделы основного сайта компании (при этом необходимо будет поддерживать этот 301 редирект и сохранять регистрацию доменов за компанией). Тем самым объединить все ресурсы в один и сконцентрироваться на его продвижении.

2. Закрыть все второстепенные сайты от индексации через файл robots.txt.

Это самое простое решение, и поможет минимизировать вероятность помех дочерних сайтов при продвижении основного ресурса. Однако данный способ не гарантирует того, что Яндекс будет показывать в выдаче только основной домен. Например, по брендовым запросам, Яндекс может отдавать предпочтение второстепенным ресурсам.

Чтобы обеспечить показы в выдаче лишь вашего основного сайта необходимо на всех дочерних проектах настроить ответ сервера 404 для всех роботов Яндекса (подробнее по ссылке – https://yandex.ru/support/webmaster/robot-workings/check-yandex-robots.html). В этом случае можно гарантировать, что дочерние сайты не будут показываться в выдаче вместо основного.

Все существующие и продвигаемые страницы сайта должны отдавать 200 код ответа сервера. Также все ссылки, размещенные на сайте, должны отдавать 200 код ответа сервера. Кроме того, страница должна быть доступна только по одному адресу.

В каких случаях страница может быть доступна по нескольким адресам:

https://site.ru/ – главное зеркало

http://site.ru/ – страница с http протоколом

https://www.site.ru/ – страница с www

http://www.site.ru/ – страницы с www и http протоколом

https://site.ru – страница без / в конце

Если все 5 страниц отдают 200 код ответа, они являются дублями и могут попасть в индекс поисковых систем. Наличие дублей может негативно сказаться на ранжировании сайта.

В связи с этим для всех типов страниц необходимо настроить серверные 301 редиректы со страницы с http на https, с www на без www, со страницы без / в конце на страницу со / в конце. Чаще всего такие редиректы настраиваются в файле .htaccess на сервере.

Для всех несуществующих страниц необходимо настроить 404 код ответа сервера и при переходе на такие страницы необходимо выводить страницу 404 ошибки.

При попадании на несуществующие страницы необходимо выводить страницу 404 ошибки.

Рекомендуем оформить страницу с 404 ошибкой следующим образом:

1. Название: “Страница 404”

2. Изображение

3. Текст: “К сожалению, запрашиваемой вами страницы не существует на сайте. Возможно, страница была удалена или адрес страницы виден с ошибкой. Вы можете перейти на главную страницу [ссылка] или воспользоваться поиском [ссылка]. Получите скидку 3% на заказ нашем сайте по коду — [промо-код]”.

4. Блок с популярными товарами или категориями.

Мета-тег title для страницы 404 ошибки рекомендуем сформировать следующим образом:

“Страница не найдена – Ошибка 404”.

Все страницы сайта должны быть наполнены контентом и отдавать 200 код ответа.

На сайте не должно быть битых ссылок (ссылок на несуществующие страницы с 404 кодом ответа сервера).

Такие ссылки могут появляться в случае, если адрес страницы был изменен или введен с ошибкой, либо страница была удалена, но ссылка осталась на сайте.

Необходимо проверить сайт на наличие битых ссылок и при обнаружении удалить данные ссылки, либо заменить на существующие страницы. Часто такие ссылки могут содержаться в сквозных блоках, например в подвале сайта или в главном меню.

Для поиска ссылок можно использовать софт для ПК Screaming Frog.

Подробнее о том, как провести технические анализ в Screaming Frog, вы можете прочитать в статье.

Все внутренние ссылки на сайте должны быть размещены с 200 кодом ответа.

Необходимо проверять сайт на наличие ссылок с 301 редиректом и при наличии таких ссылок необходимо заменить их на ссылки с 200 кодом ответа сервера.

Найти ссылки с 301 редиректом можно с помощью софта Screaming Frog.

Подробнее о том, как провести технические анализ в Screaming Frog, вы можете прочитать в статье.

На сайте не должно быть пустых страниц. Наличие большого количества пустых страниц может негативно сказаться на ранжировании сайта. Так как пустые страницы бесполезны для пользователей, они снижают релевантность и полезность сайта, а также могут привести к росту числа отказов.

Пустые страницы можно найти через программу Screaming Frog.

Подробнее о том, как провести технические анализ в Screaming Frog, вы можете прочитать в статье.

При формировании URL адресов на сайте необходимо придерживаться следующих правил:

• Создавать ЧПУ (человекопонятные URL) адреса
• Включать в URL основные ключевые слова (можно дублировать содержание заголовка h1)
• При формировании URL использовать транслитерацию
• Использовать только символы нижнего регистра
• В качестве разделителя использовать только тире –
• Закрывать все URL адреса / в конце
• Указывать путь к странице в URL в соответствии с иерархией и уровнем вложенности страницы
• Не использовать GET-параметры для канонических страниц
• Если URL получается длинным, старайтесь сокращать адрес страницы

Ряд страниц могут иметь разные мета-теги и заголовки, при этом текст и содержание страниц может дублироваться.

Наличие таких страниц может негативно сказаться на ранжировании сайта, в связи с чем рекомендуем избавлять от дублей страниц.

При обнаружении таких страниц необходимо скорректировать контент и переписать тексты, если они дублируют друг друга.

Подробнее о том, как провести технические анализ в Screaming Frog, вы можете прочитать в статье.

На разных страницах сайта может быть размещен дублирующийся контент.

Это может негативно сказаться на ранжировании сайта, так как поисковым система будет сложнее определить, какая страница наиболее релевантна поисковым запросам.

Необходимо размещать на всех страницах сайта уникальный контент. Исключением могут быть сквозные блоки, элементы для перелинковки, типовые блоки (например, преимущества, гарантии, доставка и т.д.).

Контент должен быть уникальным не только внутри сайта, но и в целом.

Необходимо проверить тексты на уникальность, чтобы они не дублировали содержание страниц с других сайтов. Неуникальный контент может негативно сказаться на ранжировании сайта.

Тег title – это заголовок страницы, который отображается в поисковой выдаче.

Title должен быть уникальным. В случае, когда тег title дублируется, такие страницы могут восприниматься поисковыми системами как дубли. Соответственно это может негативно сказаться на ранжировании, так как поисковым системам сложнее определить, какая страница должна ранжироваться по соответствующим поисковым запросам.

Дубли title можно найти через программу Screaming Frog или через панель вебмастера https://webmaster.yandex.ru/.

Подробнее о том, как правильно составить тег title читайте в статье.

Мета-тег description не оказывает прямого влияния на ранжирование сайта.

При этом description формирует сниппет в поисковых системах и может повлиять на CTR. Необходимо проверить корректность заполнения тега на всех страницах сайта.

В мета-тегах description не должно быть спама, лишних спецсимволов.

Яндекс рекомендует заполнять мета-тег description на всех страницах сайта.

На каждой странице сайта должен быть размещен основной заголовок в тегах

Необходимо проверить наличие данного заголовка на всех страницах сайта, а также проверить, нет ли страниц, где тегом <h1> размечено несколько заголовков.

Также необходимо проверить, нет ли большого количества дублей заголовков h1. Желательно уникализировать заголовки, чтобы они отражали основное содержание страницы.

Проверить корректность формирования заголовков h1 можно с помощью софта Screaming Frog.

Для разметки заголовков на страницах сайта рекомендуем использовать теги <h2> и <h3>.

Данные заголовки должны отражать структуру и содержание страницы. Правильно структурированные данные позволят повысить релевантность страницы, что может положительно сказаться на ранжировании сайта.

Тегом <h2> рекомендуем обозначать важные элементы, например в карточках товаров “Описание товара”, “Характеристики”, “Отзывы”.

Тегом <h3> рекомендуем обозначать менее важные блоки, например “Похожие товары”, “С этим товаром покупают”. Подзаголовки, которые находятся внутри блоков, рекомендуется оформлять текстом и выделять жирным шрифтом.

В статьях рекомендуется использовать заголовки <h2> для обозначения основных разделов статьи, а заголовками <h3> обозначать подразделы. Внутри подразделов заголовки рекомендуем оформлять в виде текста и выделять их жирным шрифтом.

Страницы пагинации должны быть доступны для индексации. В связи с этим необходимо убедиться, что в html-коде сайта присутствуют ссылки на все страницы пагинации.

Также во избежание возникновения дублей страницы рекомендуем провести следующие работы.

1. На страницах пагинации рекомендуем разместить тег Canonical в разделе <head></head>, указывающий адрес страницы пагинации.

Пример:

2. На страницах пагинации необходимо уникализировать тег title. во избежание дублей страниц.

Пример шаблона:

[title] – Страница [номер страницы] Купить кроссовки в интернет-магазине – Страница 2

3. Для первых страниц пагинации рекомендуем настроить 301 редирект на основные страницы без GET-параметров.

Например, со страницы https://www.site/catalog/page-1/ на https://www.site/catalog/

При этом в html-коде необходимо разместить ссылку на основную каноническую страницу с 200 кодом ответа.

4. Также рекомендуем деоптимизировать страницы пагинации, чтобы не снижать релевантность основной страницы:

• Сократить title, например, продублировав заголовок h1;
• Удалить SEO-текст или описание категории (если текст присутствует на странице).

Сайт должен корректно отображаться как с ПК, так и с мобильных устройств. Кроме того, в мобильной и адаптивной версии сайта должны присутствовать все ссылки, кнопки, тексты и прочие элементы, которые есть в версии для ПК.

Мобильная и адаптивная версия должны быть удобными с точки зрения юзабилити, быстро работать, не быть перегруженными.

Есть несколько онлайн сервисов для проверки адаптивности сайта. Основной – это https://search.google.com/test/mobile-friendly.

Наличие адаптивной или мобильной версии сайта – важный фактор ранжирования. Анализу мобильной версии стоит уделить особое внимание.

Скорость загрузки страниц является важным фактором ранжирования, в особенности в поисковой системе Google.

Необходимо стремиться попасть в зеленую зону по данным сервиса https://pagespeed.web.dev/.

Для обеспечения удобства работы пользователей необходимо стремиться у следующим показателям скорости загрузки страниц:

• CLS не выше 0,1
• LCP не выше 2,5 сек.
• FID не выше 100 мс.

При низкой скорости загрузки страниц рекомендуем следовать рекомендациям сервисов.

Сервисы для проверки:

https://pagespeed.web.dev/

https://gtmetrix.com/

https://sitespeed.ru/

https://loading.express/

Желательно время скорости загрузки сервера 200-300 мс. Если скорость ответа сервера ниже, рекомендуем увеличить скорость загрузки сервера.

Сервер для проверки – https://webmaster.yandex.ru/tools/server-response/

Скорость ответа сервера напрямую влияет на скорость загрузки страниц.

Необходимо проверить вес изображений. Оптимальный вес для картинок – 100-200 кб.

Желательно использовать современные форматы изображений:

• Lля оформления значков, иконок и других подобных элементов рекомендуем использовать векторные изображения в формате .svg
• Lля растровых изображений (картинок) рекомендуем использовать форматы .png, .jpeg, .jpg

У изображений должен быть корректно заполнен атрибут alt.

Для улучшения индексации изображений рекомендуем сгенерировать xml-карту для картинок и разместить её в корневой папке сайта.

Favicon – значок веб-сайта, который отображается в поисковой выдаче и в заголовке окна в браузере.

Наличие иконки Favicon – одна из рекомендаций Яндекса.

Иконка размещается на каждой странице в header.

Стандартный размер иконки, поддерживаемый большинством браузеров и устройств — 16×16 px в формате .ico.

Рекомендуем настроить заголовки Last Modified и If-Modified-Since.

HTTP заголовок Last-Modified сообщает клиенту (браузеру, поисковому роботу) время последнего изменения страницы. Если клиент получил заголовок Last-Modified, то при следующем обращении к адресу, при условии, что страница есть в локальном кэше, он добавит запрос If-Modified-Since (не изменилась ли страница после даты, полученной в Last-Modified). В свою очередь, сервер, получив запрос If-Modified-Since, должен сверить полученную временную метку с временем последнего изменения страницы и, если страница не изменялась, ответить 304 Not Modified.

Таким образом, если поисковый робот получит ответ 304 Not Modified, то он не будет обходить страницу, а будет обрабатывать только страницы с изменениями, тем самым повышая эффективность обхода сайта.

Подробнее: https://last-modified.com/ru/if-modified-since.html

После внедрения микроразметки https://schema.org/Article для страниц статей, рекомендуем настроить для статей Турбо-страницы для Яндекса и AMP страницы для Google. Внедрение данных технологий позволит увеличить скорость загрузки страниц.

Подробнее с технологиями AMP и Турбо можно ознакомиться по ссылкам: Справка Google

Справка Яндекса

Весь контент должен быть оформлен в html-коде и размечен соответствующими тегами.

Критично важно, чтобы в html-коде отображался следующий контент:

• Мета-теги title, description, h1
• Заголовки h2-h6
• Все ссылки (в том числе атрибуты ссылок)
• Вся графическая информация (изображения и теги для изображений alt и title)
• Весь текстовый контент (в том числе дополнительные элементы: навигационные блоки, меню и т.д.)
• Текст кнопок
• Микроразметка Schema.org
• Выпадающее меню в шапке

При загрузке страницы необходимо сначала загружать весь контент, шрифты и стили, затем скрипты.

Дополнительный функционал, например всплывающие баннеры и т.д., необходимо загружать после первого взаимодействия с сайтом.

Для проверки доступности контента необходимо отключить JavaScript через расширение браузера и изучить код страниц без скриптов. Все ссылки, тексты, изображения и другой важный контент должны отображаться в коде.

Также проверить как видят сайт поисковые роботы с JS и без JS можно с помощью нового инструмента Яндекс Вебмастера Рендеринг страниц JavaScript (β).

Необходимо проверить код на наличие ошибок, которые могут затруднять взаимодействие пользователей с сайтом и ухудшать внешний вид страниц.

Например:

• Неработающие кнопки
• Незакрытые теги
• Фрагменты html-кода на страницах сайта
• Слетевшая верстка элементов

Проверить код на валидность можно с помощью сервиса https://validator.w3.org/

Микроразметка данных необходима для того, чтобы улучшить представление сайта в поисковых системах и сделать сниппет более привлекательным. При наличии микроразметки поисковые системы на свое усмотрение могут подтянуть в сниппет дополнительную информацию, которая может быть полезна пользователям, например:

• Цены
• Номер телефона
• Рейтинг и количество отзывов
• Навигационную цепочку ссылок

Необходимо проверить, присутствует ли на сайте микроразметка данных и нет ли ошибок в микроразметке.

Проверить наличие микроразметки и ошибок в коде микроразметки можно с помощью инструментов https://webmaster.yandex.ru/tools/microtest/ и https://validator.schema.org/

Примеры стандартных элементов, которые необходимо разметить микроразметкой:

• Хлебные крошки – https://schema.org/BreadcrumbList
• Рейтинг – https://schema.org/AggregateRating
• Контакты – https://schema.org/Organization
• Новости – https://schema.org/NewsArticle
• Товары – https://schema.org/Product
• Отзывы – https://schema.org/Review
• Статьи – https://schema.org/Article

Наличие технических ошибок может негативно влиять на ранжирование сайта и давать преимущества вашим конкурентом. Кроме того, технические ошибки могут ухудшать поведенческие факторы, затрудняя взаимодействие пользователей с сайтом. Поэтому необходимо регулярно проводить технический аудит сайта.