«Яндекс не видит сайт»: как мы находим причину за первый час

Фраза «Яндекс нас не видит» в первом письме клиента означает одну из двух очень разных проблем. Либо сайта нет в индексе, и тогда никакие тексты не помогут, пока робот не доберётся до страниц. Либо сайт в индексе, но проигрывает конкурентам по нужным запросам и в нужном регионе. Лечатся эти ситуации по-разному, поэтому первым делом мы выясняем, какая из них перед нами.

Ниже порядок, по которому идём в первый час. Он подходит и для самостоятельной проверки: почти всё делается в бесплатном Яндекс Вебмастере, без разработчика.

Набираем в Яндексе site:домен-клиента.ru. Пустая выдача или пара документов там, где на сайте сотня разделов, указывают на проблему с индексацией. Если страницы находятся, но по услугам их не видно, сайт в индексе и вопрос в ранжировании.

Оператор даёт грубую картину. Точные цифры смотрим в Вебмастере: «Индексирование» → «Страницы в поиске», вкладка с исключёнными страницами. Там видно, сколько адресов в поиске, сколько выброшено и по какой причине.

Причины повторяются из проекта в проект. Вот что встречаем чаще всего, примерно в порядке частоты.

Тестовую версию закрыли от поисковиков строкой Disallow: / в robots.txt или мета-тегом noindex, а при переезде на основной домен запрет так и остался. На Тильде и других конструкторах запрет индексации включается отдельной галочкой в настройках, и её тоже регулярно забывают снять. Проверяется в Вебмастере: «Инструменты» → «Анализ robots.txt» и «Проверка статуса URL» для главной.

В браузере сайт открывается, а роботу сервер отдаёт 403 или 5xx. Чаще всего виновата защита от ботов на хостинге, которая заодно режет и поисковых роботов. Смотрим в «Инструменты» → «Проверка ответа сервера»: нормальный ответ 200.

Если текст и ссылки подгружаются скриптом, робот может увидеть почти пустую страницу. На глаз это не заметно, нужно смотреть, что получает робот.

В списке исключённых это статусы «Дубль», «Неканоническая» и «Малоценная или маловостребованная страница». Последний получают шаблонные разделы, пустые карточки товаров и страницы фильтров, которые никто не ищет.

Добавление в поиск занимает от нескольких дней до нескольких недель. Ускоряют процесс sitemap.xml в разделе «Индексирование» → «Файлы Sitemap» и отправка главных страниц на «Переобход». Если через месяц страниц в поиске всё ещё нет, ищем техническую причину из списка выше.

Здесь самая частая причина банальна: под запрос нет подходящей страницы. Клиент хочет быть по запросу «ремонт ноутбуков в Химках», а у него главная с общим списком из двадцати услуг. Яндекс ищет страницу именно про ремонт ноутбуков в Химках и находит её у конкурентов.

Дальше проверяем регион. Для запросов вроде «ремонт» или «доставка цветов» Яндекс показывает местные компании, и сайт без привязки к городу проигрывает. Регион задаётся в Вебмастере в «Представление в поиске» → «Региональность» и подтверждается адресом в Яндекс Бизнесе.

Третье, на что смотрим, коммерческая информация: цены, телефон, адрес, реквизиты, оплата, доставка, отзывы. Страница услуги без цены и контактов проигрывает такой же странице, где всё это есть.

И последнее: по широким запросам первые места часто заняты агрегаторами. Небольшому бизнесу разумнее начинать с узких формулировок, где гиганты не конкурируют.

Клиенты подозревают фильтр гораздо чаще, чем он бывает на самом деле. О большей части санкций Яндекс сообщает в Вебмастере, в разделе «Безопасность и нарушения». Если там пусто, а трафик упал резко, сравниваем дату падения с изменениями на сайте: переезд на новый движок, смена адресов страниц, новый шаблон. Такие события объясняют падение намного чаще.

На выходе у нас короткий список: что мешает индексации, какие запросы не закрыты страницами, чего не хватает по региону и коммерческой информации. Технические причины обычно устраняются за день-два. Работа со структурой, текстами и доверием занимает месяцы, и честный прогноз здесь звучит как диапазон сроков: обещать топ к конкретной дате не может никто.

Проверить свой сайт можно прямо сейчас: наберите в Яндексе site:ваш-домен.ru и сравните число найденных страниц с реальным. Если разница больше чем вдвое, откройте в Вебмастере список исключённых страниц и посмотрите, какая причина встречается чаще всего.

А какая причина попадалась вам? Мне кажется, забытый noindex после разработки до сих пор держит первое место, но интересно сравнить с вашим опытом.