Cloudflare начал блокировать ИИ-краулеры по умолчанию и разрешит владельцам сайтов брать с них плату за парсинг
С 1 июля 2025 года функция блокировки распространяется на всех клиентов компании, включая новых.
- ИИ-краулеры сканируют сайты, чтобы найти контент для обучения ИИ-моделей. И делают это чаще других: по данным Cloudflare, на одного «живого» посетителя сайта приходится 14 поисковых роботов Google, 1700 ботов OpenAI и 73 тысячи ботов Anthropic.
- Cloudflare начала борьбу с ИИ-краулерами ещё в 2023 году. Вначале компания разрешала сайтам блокировать их, прописывая соответствующие правила в robots.txt, а в 2024 году — уже и без этого файла. Также с марта 2025 года ИИ-парсеров стали отправлять в «лабиринт» — сгенерированные нейросетями страницы с «бессмысленным» контентом, чтобы замедлить ботов.
- Открыть ИИ-ботам платный доступ к сайту, работающем на Cloudflare, позволит новая опция Pay Per Crawl. Владельцы сайтов смогут установить собственную цену за каждый запрос бота. Пока функция тестируется в закрытом режиме.
- Cloudflare также назвали 1 июля Днём независимого контента, отметив, что «создатели должны получать компенсацию за обучение нейросетей на их труде». И поделились планами запуска маркетплейса для ИИ-компаний и издателей.
- К ограничениям Cloudflare присоединились The Associated Press, The Atlantic, Fortune, Stack Overflow, Quora и другие издания.
10 комментариев