Запретить обучение ИИ — не значит закрыть сайт от Google. Что меняет Cloudflare
Вы оплачиваете статьи и инструкции для сайта, хотите получать переходы из поиска, но не хотите автоматически отдавать эти материалы на обучение нейросетей. Это разные решения. С 15 сентября Cloudflare разделяет их новой настройкой Disallow AI Training. При этом обычный Block теперь может перекрыть и поисковый обход — название кнопки здесь действительно важно.
Поиск и обучение моделей: два разных решения владельца сайта
Редакционная иллюстрация, созданная через Provod. Не скриншот настроек Cloudflare.
Что изменилось для владельца сайта
Cloudflare предлагает запретить использование контента для обучения, сохранив поисковый доступ для смешанных краулеров, которые выполняют оба вида работы и соблюдают соответствующие обязательства. Краулер — программа, которая автоматически обходит страницы сайта.
По официальному анонсу, Disallow AI Training публикует соответствующие предпочтения в robots.txt через Bot Preference Sync. Другие обучающие краулеры блокируются. А режим Block теперь распространяется и на смешанные Applebot, Bingbot и Googlebot: поиск тоже оказывается под блокировкой.
Для большинства существующих сайтов настройки перенесутся автоматически. Поэтому новость не означает «срочно переключите всё вручную». Сначала стоит посмотреть, какие правила уже действуют на вашем домене.
Есть важное исключение: Bing пока выражает отказ от обучения через NOARCHIVE. Поддержка такого предпочтения в robots.txt запланирована на начало 2027 года. Одного выбора Disallow AI Training сегодня недостаточно, чтобы автоматически передать Bing этот запрет через robots.txt.
Разве Google и обучение Gemini — не одно и то же?
Нет. В документации Google Google-Extended описан как отдельный управляющий токен. Он регулирует использование контента для обучения будущих Gemini и для подстановки материалов из поискового индекса в ответы определённых продуктов Gemini.
Google прямо указывает: Google-Extended не определяет включение сайта в Google Search и не служит сигналом ранжирования. Но это не обещание, что трафик останется неизменным при любых действиях с сайтом. Заблокировать сам Googlebot — другое действие, с другими последствиями.
Решение «не обучать на моём контенте» и решение «не показывать мой сайт в поиске» нельзя принимать одной неразборчивой кнопкой.
Ещё один отдельный вопрос — краткие ИИ-ответы в поиске. Запрет обучения не стоит считать универсальным выключателем любых пересказов ваших страниц. У обучения, поискового обхода и использования материала в ответе разные механизмы контроля.
Что поручить маркетологу и администратору
Начать стоит с инвентаризации текущих правил. Наш практический список для команды:
- Запишите цель: ограничить обучение, сохранить поиск или запретить конкретному боту любой доступ. Не подменяйте одну задачу другой.
- Сохраните текущие настройки и robots.txt перед изменением. Отдельно проверьте правила на стороне сайта, CDN и защиты трафика.
- Посмотрите, какой именно бот и какое назначение указаны в ограничении. Фраза «все AI-боты» слишком мало говорит о последствиях.
- После изменения проверьте доступность важных страниц и наблюдайте за обходом и переходами. Сравнивайте одинаковые периоды; одиночный скачок трафика ещё не объясняет причину.
- Зафиксируйте ответственного и дату следующей проверки: поддержка директив поставщиками меняется.
Это план проверки, а не проведённый нами эксперимент. Мы не меняли настройки чужого сайта и не измеряли влияние новых правил на его позиции. Сам robots.txt также не является технической преградой для программы, которая его игнорирует.
А пользоваться нейросетями для своих материалов можно?
Политика внешнего обхода сайта и ваша собственная работа с моделями — разные задачи. Например, редакция может выбрать разрешённую к передаче инструкцию и сравнить, как разные модели превращают её в краткий ответ клиенту. Критерии простые: сохранены ли условия, не добавлены ли вымышленные обещания, понятно ли написан текст.
Для такого сравнения можно использовать модели в Provod. Не нужно выдавать ему роль защиты сайта: Provod не настраивает Cloudflare и не заменяет проверку условий обработки данных выбранной модели. Конфиденциальные материалы не стоит передавать без отдельной проверки допустимости.
provod.ai — обновляйте AI-стек, не переписывая продукт
В каталоге Provod можно подобрать модели для текста и изображений; текущую доступность и цены проверяйте перед запуском. Для редактора практический старт — одна собственная инструкция, один запрос и сравнение ответов по заранее выбранным критериям.
Зарегистрируйтесь и сравните ответы моделей на своём разрешённом материале. Это проверка полезности ИИ для вашей команды, а не согласие на бесконтрольное использование всех текстов сайта.
А у вас за правила доступа AI-ботов отвечает маркетинг, редакция или администратор сайта?