Техническое SEO: как проверить и правильно настроить сайт

Можно правильно настроить `<title>`, заголовки H1-H3 и внутреннюю перелинковку. На бумаге всё будет выглядеть красиво и логично, но технические ошибки всё равно способны превратить сайт в тот самый ХАОС ☄

Поисковик может не найти часть страниц, неправильно понять их содержание или обнаружить несколько почти одинаковых версий. Владелец при этом смотрит на хороший дизайн и думает: «А почему клиентов из поиска нет?»

Поэтому технический SEO-аудит я начинаю не с волшебных сервисов и отчётов на сотню страниц. Сначала нужно понять, что вообще находится на сайте, какие страницы видят поисковые роботы и что указано в основных SEO-элементах.

Для каждой страницы я записываю:

Так сразу видно, где страницы повторяют друг друга, где заголовки не соответствуют содержанию, а где в `<title>` поселилась какая-то чепуха, мешающая Яндексу и Google понять смысл страницы.

Получается своеобразный скелет сайта. По нему уже можно проверить структуру, найти дубли и решить, какие страницы исправить, объединить, закрыть от поисковых роботов или вообще удалить.

После проверки структуры нужно разобраться, как поисковые роботы находят страницы.

Сначала робот должен узнать, что страница существует: перейти на неё по внутренней или внешней ссылке либо обнаружить адрес в Sitemap. Затем он загружает страницу, анализирует текст, заголовки, ссылки и технические настройки, после чего передаёт информацию в поисковую базу.

Но успешный обход ещё не означает, что Яндекс или Google обязательно добавят страницу в выдачу.

Можно открыть поисковым роботам все двери, накрыть стол и ждать гостей. Но если они увидят несколько одинаковых или почти одинаковых страниц, то могут выбрать одну, а остальные посчитать дублями и не добавлять в поиск ☠☠☠

На сайте есть файл robots.txt - своеобразный охранник у входа. Он подсказывает поисковым роботам, какие разделы можно обходить, а куда заходить не нужно 🚪

Иногда одной неправильной строки достаточно, чтобы случайно закрыть от Яндекса и Google важную страницу, каталог или вообще весь сайт. Для посетителя всё продолжит работать, а поисковый робот просто не получит нормального доступа к содержанию.

Чтобы потом не разгребать очередной ХАОС, лучше заранее составить план развития сайта.

Например, выписать существующие страницы услуг, определить, какие ещё нужны, для каких городов действительно стоит создавать отдельные версии и чем они будут отличаться.

Если страница для Казани полностью повторяет страницу для Чебоксар и отличается только названием города, поисковик может посчитать её дублем. Поэтому у каждой новой страницы должны быть собственное содержание, предложение и польза для конкретной аудитории.

Я выбрал Astro, потому что при сборке он превращает страницы в готовый HTML. Поисковый робот открывает страницу и сразу видит `<title>`, заголовки, текст, ссылки и другие важные элементы. Ему не приходится ждать, пока загрузится большое количество JavaScript и появится основное содержание.

В Astro я могу контролировать практически весь технический скелет страницы: `<title>`, description, заголовки H1-H6, canonical, URL-адреса, внутренние ссылки и Sitemap.

Это позволяет заранее задать общую схему сайта и следить, чтобы у каждой страницы были своё назначение, понятный адрес и отдельное содержание.

Конечно, сам Astro не выведет сайт в ТОП. Он не напишет полезный текст, не создаст спрос и не сделает компанию авторитетной. Но он помогает убрать технический ХАОС и нормально показать поисковику всё, что находится на странице.

Astro по умолчанию отправляет в браузер минимум JavaScript и подключает его только там, где действительно нужна интерактивность. Благодаря этому страницы быстрее загружаются, а основное содержание раньше появляется на экране.

Скорость и удобство важны для SEO, но это не волшебный билет в ТОП. Быстрый сайт с бесполезным текстом поисковику тоже не нужен.

AI-поиск не существует отдельно от обычного поиска. Сначала поисковая система должна найти страницу, получить доступ к содержанию, проиндексировать его и понять, о чём идёт речь. Только после этого информация может использоваться при формировании AI-ответа.

Поэтому готовый HTML в Astro полезен и для AI-поиска: текст, заголовки и ссылки сразу доступны поисковой системе и собраны в понятную структуру.

На сайте RM Systems я решил быстро создать страницы услуг сразу для нескольких городов. Основа оставалась почти одинаковой: менялись URL, название города в `<title>`, H1-H3 и несколько фраз внутри текста.

Тогда мне казалось, что схема отличная: один раз всё настроить и сразу получить десятки страниц под региональные SEO-запросы.

Для каждой услуги автоматически создавались отдельные версии под Чебоксары, Казань, Москву и другие города.

Например: «Лендинг под SEO и AI-поиск в Чебоксарах», «Лендинг под SEO и AI-поиск в Казани» и «Лендинг под SEO и AI-поиск в Москве».

У каждого города был свой адрес:

Технически всё выглядело аккуратно: отдельные URL, разные заголовки и нужный город на каждой странице. Но основное содержание почти не менялось, поэтому для поисковика это оставались очень похожие страницы.

На этом я не остановился. Раз схема работала автоматически, я решил таким же способом создать английские версии для зарубежных городов.

Так появились страницы под Алматы, Дубай, Абу-Даби и другие города. В `<title>`, заголовки и URL подставлялось нужное название, но основа контента снова оставалась практически одинаковой.

Российские и английские версии создавались автоматически по одной схеме. С технической стороны всё работало. Вопрос был в том, насколько полезными получались сами страницы.

После автоматической генерации региональные страницы нужно было показать Яндексу и Google. Для этого использовался Sitemap - файл со списком URL, которые поисковым роботам предлагается обойти.

В моём проекте Sitemap создавался автоматически при каждой сборке. Добавил новые маршруты, пересобрал сайт - и свежие страницы уже появились в карте.

Казалось бы, красота: поисковому роботу не нужно случайно искать каждый адрес по внутренним ссылкам. Мы сами отдаём ему готовый список и говорим:

«Вот все наши страницы. Заходи, изучай, добавляй в поиск!» 🤖)

Но здесь и находится главный подвох. Sitemap помогает поисковику обнаружить URL, но не заставляет его добавлять каждую найденную страницу в выдачу

В моём случае карта сайта честно показала роботам практически весь созданный ХАОС: сотни страниц услуг, версии для разных городов, русские и английские URL.

Технически страницы существовали. Они открывались, имели собственные адреса, `<title>`, H1-H3 и находились в Sitemap. Но поисковик оценивал не только наличие отдельных URL. Он сравнивал содержание и видел, что многие страницы отличаются в основном названием города.

Получилось примерно так:

Я поменял несколько слов, но не создал несколько сотен действительно разных и полезных страниц.

Сначала всё выглядело неплохо. Часть страниц появилась в поисковой базе, и я уже мысленно праздновал победу:

«Неплохо. Около 400 страниц почти за один раз)))» 🥳

Но радость оказалась недолгой. Через несколько дней значительная часть страниц начала выпадать из индекса. Особенно быстро это происходило в Яндексе.

Поисковики нашли страницы, обошли их, сравнили между собой и, судя по результату, решили, что показывать все версии нет особого смысла.

Подмена города в URL, `<title>`, H1-H3 и нескольких предложениях не сделала каждую страницу уникальной и полезной для конкретного региона.

При этом я не могу утверждать, что причиной выпадения стала только автоматическая подстановка городов. На индексацию одновременно влияют:

Но именно после массового создания похожих региональных версий структура сайта превратилась в тот самый ХАОС, который мне затем пришлось долго разгребать.

Сама идея региональных страниц нормальная. Если компания действительно работает в нескольких городах, отдельные страницы могут показывать пользователю подходящие условия, цены, сроки и предложения.

Проблема начинается тогда, когда для каждого города создаётся один и тот же материал, а название населённого пункта просто меняется в нескольких местах.

У региональной страницы должна быть причина существовать.

Например, на ней могут отличаться:

Если страница для Казани ничем не отличается от страницы для Чебоксар, кроме слова «Казань», возникает простой вопрос: зачем поисковику хранить и показывать обе версии?

Осваивать регионы лучше постепенно. Сначала сделать одну общую страницу и одну полноценную городскую версию. Затем посмотреть, приносит ли она показы, переходы и обращения. И только после этого переходить к следующему городу.

Иначе можно быстро создать 400 URL, а потом ещё быстрее получить 400 новых проблем ☠🪦

После эксперимента нужно было решить, что делать со всей этой конструкцией.

Одни страницы вообще не попадали в поиск. Другие сначала индексировались, а затем исчезали. Города, языковые версии и услуги перемешались между собой. В английский раздел мне уже самому было страшно заходить 🕯)

Сразу всё исправить не получилось. Сайт продолжал работать, времени заниматься им не хватало, а ХАОС тем временем спокойно пускал корни.

Постепенно я поменял стратегию.

Вместо десятков почти одинаковых региональных направлений я оставил:

Чебоксары я выбрал не потому, что поисковик особенно любит этот город. Просто я тут живу.

Для Чебоксар оставил главную страницу и несколько основных страниц услуг. Остальные материалы сохранил в общей версии без автоматического размножения под каждый город.

Ненужные региональные страницы сначала закрыл, а затем удалил.

После удаления URL история не заканчивается.

Поисковики уже успели узнать об этих страницах, сохранить информацию о них и добавить часть адресов в свою базу. Поэтому удалённая страница не исчезает из памяти Яндекса или Google мгновенно.

Роботу нужно снова зайти на сайт, проверить старый URL, увидеть изменения и обновить поисковый индекс.

Из-за этого некоторое время в сервисах для веб-мастеров могут оставаться:

Саму структуру можно привести в порядок за один день, но поисковым системам потребуется время, чтобы заново обойти страницы и обновить индекс.

Для общей версии сайта и раздела Чебоксар я сделал разные блоки каталога и отдельные тексты.

Теперь региональная страница отличается не только названием города в заголовке. У неё есть собственная задача, своё содержание и понятная польза для местной аудитории.

Структура стала проще:

Отдельно перестраивать сайт под AI-поиск не нужно. Сначала поисковая система всё равно должна найти страницу, получить доступ к содержанию, проиндексировать его и понять, о чём вообще идёт речь.

Поэтому основа остаётся прежней: доступный HTML, понятная структура, нормальные заголовки, внутренняя перелинковка и самостоятельный текст.

Если на странице находится копия другого материала или очередная чепуха, никакая специальная AI-разметка её не спасёт.

Astro здесь помогает технически: поисковая система сразу получает готовый HTML с текстом, ссылками и заголовками. Но сам фреймворк не решает, насколько полезной и уникальной получилась страница.

Создать сотни страниц автоматически оказалось несложно. Сложнее было объяснить поисковику, зачем каждая из них вообще нужна)

У меня были отдельные URL, `<title>`, заголовки H1-H3, быстрый HTML и автоматически созданный Sitemap. Технически всё выглядело аккуратно. Но внутри находились практически одинаковые страницы, в которых менялось в основном название города.

В результате часть страниц не попала в индекс, часть появилась и затем исчезла, а мне пришлось разбирать весь созданный ХАОС.

Поэтому теперь я не размножаю страницы заранее. Сначала делаю одну полноценную версию, добавляю собственный текст, предложение и пользу для конкретной аудитории.

Следующую страницу создаю только тогда, когда она действительно отличается от уже существующей.

Техническое SEO помогает поисковику найти сайт, правильно его обойти и понять структуру. Но даже идеально настроенный сайт ещё не становится авторитетным автоматически.

ВСЕ!