Техническая оптимизация сайта, часть первая

Пошаговый план от руководителя оптимизаторов в «Ашманов и партнёры» Никиты Тарасова.

В предыдущих статьях мы говорили об актуальных методах сбора семантики и текстовой оптимизации. Теперь речь пойдёт о технической, или о внутренней, оптимизации. Она значительно влияет на правильную индексацию и ранжирование и ещё помогает обезопасить сайт от утечки непубличных данных в выдачу поисковых систем.

В первой части статьи разберём:

Для правильной индексации важно, чтобы страницы сайта отражали его структуру. Поэтому уровни вложенности URL должны соответствовать уровню вложенности страниц относительно корня сайта. Но не стоит впадать в крайность и делать адреса c пятью уровнями вложенности и более.

При формировании адресов следует придерживаться простых правил:

Возьмём в качестве примера интернет-магазин мебели. В каталоге магазина существует раздел «Угловые диваны». Правильный URL-адрес этого раздела выглядит так: domain.ru/catalog/uglovye-divany/.

Частая проблема, особенно среди интернет-магазинов, — когда одна страница доступна по нескольким адресам. Например, для одного товара создают несколько адресов в зависимости раздела, в котором он расположен. С точки зрения поисковых систем такие страницы считаются дублями и негативно влияют на индексацию.

Некоторые решают эту проблему при помощи тега link с атрибутом rel=”canonical”. Но этот тег служит рекомендательным и не всегда учитывается поисковыми системами. Лучше задать универсальный адрес. Например, адрес карточки товара для условного дивана «Амстердам» будет выглядеть так: domain.ru/product/amsterdam.

Внедрение данного алгоритма формирования псевдостатических адресов для страниц карточек товаров позволит:

Важно: после внедрения или корректировки псевдостатической адресации со всех старых URL на новые настройте редиректы 301. При переходе на страницы по новым адресам сервер не должен выдавать промежуточный код ответа 301. В ответ на запрос страницы сервер должен выдавать содержимое страницы с кодом ответа 200 без перенаправлений.

Поисковые системы не любят, когда у сайта есть «зеркала», то есть точные копии, размещённые на других доменах.

«Зеркала» обычно возникают по следующим причинам:

Несколько шагов, которые помогут обнаружить дубли:

Первый столбец данных из «Яндекс.Метрики» нужно скопировать в отдельную вкладку и объединить с данными, которые мы получили в ходе первых двух шагов. Затем в таблице с помощью функции «Заменить на» удалите протоколы HTTP и HTTPS и префиксы WWW. Затем из списка нужно удалить дубли.

Далее, при помощи SeoAG генерируем список всех возможных сочетаний (с WWW и без, с HTTP и без, c HTTPS и без) при помощи функции {http:|https:}{//|//www.}{domain1.ru|domain2.ru}, где domain1.ru|domain2.ru — уникальный список доменов, полученный ранее. Добавляем список доменов при помощи «Мастер ввода».

Затем сгенерированный список доменов добавляем в Screaming Frog Seo Spider и переключаемся в режим List. Настраиваем учёт директив robots.txt. Загружаем итоговый список доменов.

Далее все URL c кодом ответа 200 Ok проверяем вручную и выясняем, что именно находится по таким адресам.

Найти зеркало можно с помощью поиска по текстовым фрагментам. Для этого необходимо ввести часть текста с сайта (пять-восемь слов, идущих подряд) в поисковую строку и заключить их в кавычки.

Список зеркал нужно закрыть от индексации, разместив в корне каждого из них файл robots.txt следующего содержания:

В случае с доменными алиасами нужно настроить постраничный редирект 301 с дубля на соответствующий сайт.

Данный файл содержит набор директив, позволяющих управлять индексацией сайта. Например, указывать поисковым системам, какие директории сайта должны присутствовать в поиске, а какие нет.

В файле robots.txt закрывают от индексации служебные страницы:

Сервис Screaming Frog Seo Spider поможет определить, какие ещё страницы стоит исключить из индексации. В данном случае помогут фильтры по дублям метатегов title/h1/description.

Часто большая часть служебных страниц имеет дублирующиеся метатеги.

Ещё стоит выгрузить проиндексированные страницы сайта из сервиса «Яндекс.Вебмастер» и проверить, какие из них стоит исключить из индекса.

Одним из требований поисковых систем служат открытые для индексации файлы JavaScript и CSS, изображения. Определить список ресурсов, которые необходимо открыть для индексации, можно при помощи сервиса от Google.

Актуальные требования основных поисковых систем к файлу robots.txt можно найти в справочных «Яндекса» и Google.

Есть ещё несколько распространённых ошибок. Например, если проект разрабатывают с нуля или переделывают на тестовом домене (например, test.domain.ru или dev.domain.ru), то разработчики часто забывают закрыть тестовую версию сайта от индексации.

На текущий момент поисковые роботы не отличают тестовый домен от основного и считают его за дубль, что обычно ухудшает позиции основного сайта.

Тестовую версию сайта следует закрывать от индексации при помощи следующего набора директив.

Также распространена обратная ситуация, когда после разработки тестовую версию выкладывают на основной домен и забывают скорректировать содержимое файла robots.txt. Если сайт новый, то он не индексируется, а в случае редизайна пропадает из результатов поиска.

После переноса сайта с тестового домена на основной или завершения разработки всегда проверяйте содержимое файла robots.txt.

На текущий момент существуют такие средства отладки robots.txt:

Дубли — точные копии страниц сайта, доступные одновременно по нескольким адресам.

Типичные примеры:

Варианты дублей могут варьироваться в зависимости от системы управления вашего сайта. От дублей нужно избавляться, и все страницы сайта следует привести к единому виду, например https://www.domain.ru/.

Выбор вида страниц для индексации зависит от того, насколько много страниц этого вида уже находится в индексе поисковых систем.

Для убирания дублей со всех остальных адресов страниц существует несколько способов (можно воспользоваться одним из них или скомбинировать несколько):

Для индексации важно, чтобы контент и основные ссылки на страницах были доступны при отключенном JavaScript. Тогда поисковые системы могут проиндексировать информацию на страницах полностью и правильно определить её ссылочный вес.

Существует два основных способа проверки работы сайта с отключенным JavaScript.

Если после отключения JS вы видите на сайте белый экран, это не значит, что сайт не работает при отключённых скриптах. Возможно, просто «поехала» вёрстка. Если после отключения JS на странице пропали важные элементы (карточки товаров, цены), стоит открыть исходный код страницы и при помощи поиска найти элементы по фрагментам текста.

Выясните, какой контент не выводится на странице и насколько это критично.

Иногда ошибка 404 обрабатывается некорректно и для несуществующей страницы выдаётся, например, код 200 Ok. В подобных случаях могут возникнут проблемы с индексацией страниц вплоть до того, что сайт полностью выпадет из поиска.

Так как сайты обычно состоят из шаблонов страниц, то для проверки корректной обработки ошибки 404 достаточно добавить метку test к каждой из страниц:

А затем проверить код ответа для каждой страницы из списка в Screaming Frog Seo Spider.

Настройте сервер так, чтобы при обращении к несуществующей странице он выдавал ответ HTTP/1.1 404 Not Found без перенаправлений.

Проработайте страницу, выдаваемую пользователю при ошибке 404, так, чтобы она была информативной и имела ссылки на основные разделы меню и главную страницу сайта.

Далее мы разберём:

Для погружения в тему технической оптимизации советую ознакомиться с чек-листом, опубликованным в блоге Texterra. Также рекомендую чек-лист от Collaborator в онлайне, который поможет фиксировать внесённые коррективы и оценивать проделанный объём работ относительного всех предстоящих задач.

#оптимизация