Cloudflare представил инструмент для проверки готовности сайтов к AI-агентам

В середине апреля 2026 года Cloudflare выпустил публичный сканер isitagentready.com - он показывает, насколько сайт готов к чтению и использованию AI-агентами. На момент написания статьи инструмент доступен бесплатно и без регистрации.

В блоге Cloudflare говорит: веб уже учился говорить с браузерами, потом - с поисковыми системами. Теперь ему нужно научиться говорить с AI-агентами. Подробнее можно почитать здесь - https://blog.cloudflare.com/agent-readiness/

Инструмент проверяет несколько зон: виден ли сайт агентам, доступен ли основной контент без лишних препятствий, понятны ли правила для ботов, можно ли автоматически найти API, способы авторизации и другие машино-читаемые точки входа.

В основе - уже знакомые вещи вроде robots.txt и sitemap.xml, но появляются и новые практики. Например: отдельная текстовая версия страницы в Markdown, специальная ссылка на неё в технических заголовках ответа сервера, а также возможность запросить у сайта не обычную HTML-страницу, а более удобный для машин текстовый формат.

По данным Cloudflare, большинство сайтов пока слабо подготовлены к такому сценарию. Компания просканировала 200 000 популярных доменов: robots.txt есть у 78% сайтов, но в основном он написан под традиционных поисковых роботов. Выдача Markdown-версии страницы по специальному запросу работает только у 3,9% сайтов, а новые стандарты вроде MCP Server Cards и API Catalog встречаются меньше чем на 15 сайтах во всём датасете.

Здесь интересно не само наличие сканера - инструменты для проверки поисковой доступности сайтов существуют давно. Интереснее то, что теперь похожая логика переносится из SEO в агентскую среду.

Раньше сайт в основном проверяли на то, насколько он понятен поисковому боту: видит ли он страницы, может ли их проиндексировать, не закрыт ли важный контент. Теперь добавляется другой вопрос: сможет ли агент не просто «прочитать» сайт, а использовать его - найти нужные данные, понять структуру, пройти форму, обнаружить API, разобраться с авторизацией и получить контент в удобном для машины виде.

Сайт постепенно перестаёт быть только страницей для человека и документом для поискового индекса. Он становится интерфейсом для нескольких типов клиентов: человека, которому важны типографика, дизайн и анимации; crawler’а, которому нужен понятный HTML; и агента, которому нужны структурированные данные, предсказуемые сценарии и машино-читаемый контент.

Многие AI-crawlers работают не как полноценный браузер: они не всегда исполняют JavaScript и часто ориентируются на исходный HTML. Поэтому сайт, где важный контент появляется только после клиентской гидратации, для таких систем может выглядеть неполным или почти пустым.

Браузерные агенты вроде Atlas и Comet устроены иначе: они работают на базе Chromium и исполняют JavaScript. Но это не снимает вопрос производительности. Если агенту нужно пройти десятки или сотни страниц в одном workflow, тяжёлая гидратация, нестабильные интерфейсы и лишние задержки становятся не просто UX-проблемой, а ограничением для автоматизированного использования сайта.

Получается, то, что раньше подразумевалось под технической SEO-гигиеной, постепенно превращается в инфраструктурный вопрос. Он не обязательно критичен прямо сейчас: AI-трафик (или трафик из нейросетей) пока остаётся небольшим по сравнению с классическим поиском. Но он уже измерим, и вокруг него появляются отдельные инструменты, метрики и best practices

Раньше разговор о готовности сайта к агентам был абстрактным. Теперь его можно начать с простой проверки: открыть сканер, посмотреть на метрики и понять, что улучшать в первую очередь.