Как закрыть сайт от обучения нейросетей: единый policy token в robots.txt от инженеров Anthropic и IETF

Как закрыть сайт от обучения нейросетей: единый policy token в robots.txt от инженеров Anthropic и IETF

Технический лид Anthropic опубликовал черновик стандарта IETF, который поддержали OpenAI, Google и Microsoft.

30 октября 2026 года крупнейшие разработчики искусственного интеллекта — Anthropic, Google, Microsoft и OpenAI — договорились о переходе на единый стандарт запрета сбора веб-контента для обучения нейросетей. Механизм призван заменить десятки разрозненных директив в файле robots.txt общим сигналом policy token.

Проблема десятков краулеров

До сих пор владельцам сайтов приходилось отслеживать и блокировать роботов каждой компании по отдельности. Для запрета сбора данных со стороны OpenAI требовалось указывать GPTBot, для Anthropic — ClaudeBot, для Google — Google-Extended, а для других лабораторий — Bytespider, CCBot и десятки менее известных парсеров.

С появлением новых ИИ-лабораторий список ботов непрерывно разрастался. Если сайт запрещал доступ пяти популярным краулерам, контент оставался доступен для парсеров сотен других проектов, которые не раскрывали официальные названия своих сборщиков. В результате веб-мастерам приходилось вручную обновлять списки запретов или закрывать инфраструктуру сетевыми блокировками.

Как устроен единый сигнал: токен __usage_ai-training

Автором спецификации стал Кевин Келли, технический лид по стандартизации в Anthropic. Документ оформлен в виде интернет-черновика IETF в рабочей группе AIPREF (AI Preferences). Предложение не меняет синтаксис протокола исключений роботов и строго следует стандарту RFC 9309.

Вместо названия конкретного поискового робота в директиве User-Agent указывается единый токен политики: __usage_ai-training. Чтобы запретить обучение нейросетей на всех страницах домена, достаточно добавить две строки:

User-Agent: __usage_ai-training Disallow: /

Стандарт сохраняет правила старшинства путей из RFC 9309. Если сайт планирует запретить обучение моделей на закрытых статьях, но открыть доступ к открытым материалам или пресс-киту, директива Allow комбинируется с общим запретом:

User-Agent: __usage_ai-training Allow: /press-kit/ Disallow: /

Разделение обучения, поиска и генерации ответов

Сигнал __usage_ai-training регулирует исключительно использование контента для обучения базовых моделей — то есть обновление весов нейросети. Он не влияет на обычную поисковую индексацию сайтов.

В корпорации Microsoft подтвердили, что сайты с запретом обучения продолжат отображаться в результатах поиска Bing. При этом Microsoft разделяет два процесса: обучение моделей (AI training) и заземление ответов в реальном времени (AI grounding). Заземление используется в Copilot и поиске, чтобы отвечать на вопросы пользователей по актуальным источникам со ссылкой на сайт. Владельцы ресурсов смогут отдельно запретить обучение моделей, оставив контент доступным для цитирования в ИИ-выдаче.

Аналогичный подход сохраняет и Google: управление обучением через единый токен не отразится на видимости страниц в основном поисковом индексе Google Поиска.

Данные: The Verge, IETF draft-kelley-aipref-training-preference-signal-00
Данные: The Verge, IETF draft-kelley-aipref-training-preference-signal-00

График внедрения компаниями

Поддержка стандарта разворачивается поэтапно в конце 2026 и начале 2027 года:

  • Anthropic: технический лид компании создал спецификацию, и компания уже учитывает токен в октябре 2026 года.
  • OpenAI: разработчики ChatGPT объявили, что поддержка единого сигнала появится в ближайшие месяцы.
  • Microsoft: начнёт учитывать __usage_ai-training с 1 февраля 2027 года. С 1 марта 2027 года старые директивы NoArchive и NoCache перестанут работать как запрет на обучение.
  • Google: планирует внедрить проверку сигнала в начале 2027 года.
  • Meta: глава по коммуникациям Энди Стоун поддержал инициативу единого сигнала, однако точные сроки технической поддержки компания пока не назвала.

Ограничения и рекомендации по настройке

Файл robots.txt остаётся протоколом добровольного согласия. Сигнал __usage_ai-training обязаны соблюдать компании, подписавшие соглашение, однако он технически не блокирует недобросовестные парсеры. Для блокировки неавторизованного сбора данных по-прежнему требуются ограничения на сетевом уровне — фаерволы веб-приложений (WAF) или автоматическая защита от ботов уровня Cloudflare.

До тех пор пока OpenAI, Google и Microsoft не активируют полную поддержку стандарта в начале 2027 года, в файле robots.txt необходимо сохранять и токен __usage_ai-training, и традиционные правила для конкретных ботов (GPTBot, ClaudeBot, Google-Extended). После вступления правил в силу эти директивы можно будет сократить до одного блока.

Всё самое интересное — в нашем Telegram-канале «Claude без воды».

11