Яндекс перестал обходить сайты как раньше: считаю, что это значит для новых статей, цен и карточек товаров

С 7 по 11 октября роботы Яндекса почти перестали ходить по сайтам, а к 14 октября сеть вернулась примерно к 85 процентам обычного объёма. Для отдела маркетинга это вопрос не про поиск, а про то, когда выдача узнает о новой цене и новой статье. Считаю, что здесь стоит измерить и что поменять в процессе.

На прошлой неделе я открыл логи сайта не ради SEO, а ради отчёта по контенту. Мне нужно было объяснить, почему две статьи из последних восьми до сих пор не видно в поиске.

Причина оказалась не в текстах. В логах за 8-13 октября визитов основного робота Яндекса почти нет, а заказать переобход вручную было негде: Вебмастер лежал вместе с остальными сервисами.

С 7 по 11 октября сообщалось о повреждениях дата-центров Яндекса, 11 октября сервисы компании перестали отвечать массово, вечером того же дня началось восстановление. Это публичная хронология, и сама по себе она отделу маркетинга ничего не говорит. Говорят цифры обхода.

По данным Cloudflare, 11 октября трафик из сети поиска Яндекса упал на 99 процентов ниже базового уровня, у второй сети падение составило 90 процентов. К 13 октября оба сегмента оставались на 86-90 процентов ниже нормы. К 14 октября объём восстановился примерно до 85 процентов от обычного.

Из чего состоял этот трафик. 99,5 процента запросов из сети поиска это автоматизированные обращения, из них 93,6 процента квалифицированы как проверенные боты. В выборке 78,1 процента приходилось на YandexBot, 11,5 на YandexRenderResourcesBot и 1,9 на YandexImages.

Отдельная цифра для медиа. Издания и новостные сайты потеряли 44 процента трафика с этого ASN. Это не потеря читателей, это потеря обхода: к ним просто перестал приходить робот.

Сведу два счёта. Со стороны инфраструктуры это история про восстановление до 85 процентов за неделю. Со стороны сайта это неделя, в которую новая страница могла вообще не попасть в очередь на обход. Второй счёт для отдела маркетинга дороже первого, потому что он измеряется не процентами сети, а конкретными материалами и карточками.

Здесь важно разделить три вещи, которые в разговорах склеивают в одну. Обход это приход робота на страницу. Индексация это решение положить страницу в базу. Ранжирование это место в выдаче. Если робот не пришёл, не случилось даже первого, и обсуждать позиции бессмысленно.

Путей обнаружения изменений ровно два, и их полезно считать отдельно.

Робот приходит сам. Частота обхода у каждого сайта своя и складывается из истории: как часто страницы менялись раньше, сколько их, как быстро отвечает сервер, что указано в sitemap в поле lastmod. Магазин с живым каталогом робот навещает чаще, чем страницу «О компании», и это нормальная экономия его ресурса.

Мы толкаем сами. Это sitemap с честными датами изменения, протокол IndexNow, которым можно пингануть об обновлении конкретных адресов, и ручной переобход в Вебмастере с его лимитом страниц в сутки.

В октябре из этих двух путей выбило оба сразу. Робот не приходил, потому что сеть не работала, а второй канал частично упёрся в недоступный Вебмастер. Остались sitemap и IndexNow, то есть способы оставить заявку на будущее, а не ускорить момент.

Вот здесь и вылезло главное. Задержка обхода не равна потере страницы. Она равна сдвигу момента, когда информация в выдаче совпадёт с информацией на сайте. Для разных бизнесов цена этого сдвига отличается в разы.

Интернет-магазины. Самое дорогое здесь не новые товары, а цена и наличие. Пока выдача показывает старую цену и старый статус, человек приходит на карточку с одним ожиданием и видит другое. Трафик идёт, а конверсия падает, и в отчёте это выглядит как проблема сайта, а не как задержка обхода.

СМИ и всё, что живёт новостями. У новости узкое окно, и если обход сдвинулся на несколько дней, материал выходит из окна до того, как его увидят в поиске. Цифра про 44 процента потерянного трафика у новостных сайтов ровно про это.

Компании с меняющимися условиями услуг. Тарифы, география работы, сроки, состав пакетов. Такие страницы меняют редко, поэтому робот ходит на них реже обычного, и наложенная сверху просадка растягивает устаревание дольше всего.

План против факта в нашем случае. Планировали, что материал появляется в поиске в пределах нескольких дней после публикации. По факту в середине октября часть страниц ждала обхода заметно дольше, и точного срока я не назову: мы раньше не вели отдельного лога по визитам роботов, поэтому базы сравнения за прошлые месяцы у меня нет.

Самый частый вывод, который я прочитал на прошлой неделе, звучал так: раз робот не ходит, бренд пропадает из ответов нейросетей. Это верно только для части из них, и путаница тут дорогая.

Ответы, собранные на инфраструктуре Яндекса, зависят от неё напрямую. Это Алиса и Поиск с Алисой: свежесть того, что они расскажут про ваш товар, связана с тем же контуром, который и лежал.

Остальные нейросети живут на своих источниках. ChatGPT, Gemini, Perplexity, Claude ходят по сайтам своими краулерами и опираются на своих поставщиков поиска. Просадка YandexBot на их свежесть не влияет никак.

И третье, про что забывают. Значительная часть ответов любой модели собирается не из свежего обхода, а из того, что она уже знает, и из цитируемых источников. Поэтому упоминание бренда может жить в ответе ещё долго после того, как страница изменилась, и наоборот, новая страница не появится в ответе сразу, даже когда обход в порядке.

Теперь то, ради чего я это считал.

Если у вас в отделе выходит поток материалов и меняется каталог, вы сейчас не знаете, какая часть задержки это вы, а какая внешний контур. Мы не знали тоже, потому что никогда не держали эту задержку отдельной строкой.

Замерить это дешево и без бюджета. Попросите у админа выгрузку из логов сервера по визитам поисковых роботов за последний месяц, разложите её по дням и сопоставьте с датами своих публикаций. Один такой график отвечает на вопрос, который иначе обсуждают на планёрках неделями.

Дальше про инструменты. Мониторинг обхода мы оставили в логах и в sitemap, потому что это бесплатно и честно. Отдельно встал вопрос, как наблюдать за тем, что про компанию отвечают нейросети, когда вокруг технические перебои. Ручную проверку по списку запросов мы вели сами, силами двух человек, и на сорока запросах по четырём сетям это стабильно уходило в полдня работы раз в неделю. Из платформ мониторинга AI-ответов смотрели brandfound: она опрашивает нейросети по вашим запросам, включая Алису и Поиск с Алисой рядом с западными моделями, и показывает динамику упоминаний по каждой сети отдельно, биллинг у неё авансовый, старт от 1 900 рублей без тарифной сетки. Третий сервис из нашего списка отвалился на том, что не показывал российские сети вообще, а это ровно половина вопроса.

Оговорка, без которой этот абзац читается неправильно. Ни один такой инструмент не рассказывает, что происходит с поисковым роботом и с вашим обходом. Он отвечает на другой вопрос: что нейросети говорят про бренд сейчас и изменилось ли это по сравнению с прошлой неделей. Диагностику обхода он не заменяет, и ждать от него этого не надо.

Вывод одной фразой. Видимость в поиске и видимость в нейросетях сломались бы по разным причинам, поэтому и мерить их надо раздельно.

Подтвердилось, что внешний сбой обхода бьёт по отделу маркетинга не через позиции, а через рассинхрон: сайт уже новый, выдача ещё старая. Не подтвердилось, что это одинаково задевает все каналы, где нас ищут: по нейросетям на российской инфраструктуре связь прямая, по остальным её нет.

Для тех, кто защищает бюджет, формулировка такая. Отдельная строка «срок от публикации до появления в выдаче» в отчёте стоит ноль рублей и пары часов админа, а объяснять потом просадку квартала без этой строки придётся вслепую.

Спрошу и вас. Что у вас сдвинулось в октябре заметнее всего: появление новых статей в поиске, обновление цен в карточках или ничего не заметили?

Если расчёт пригодился, поставьте плюс. Так материал увидят те, кто сейчас разбирается с тем же рассинхроном.