Компания бывшего вице-президента Yahoo разработала стандарт, который позволит издателям установить цену за вход ИИ-ботов на сайты
Она ведёт переговоры с партнёрами и законодателями.
- Новый стандарт RSL для лицензирования контента на открытых сайтах «поддержали» Reddit, Yahoo, Medium, Quora и People. Он позволит «заставить» разработчиков ИИ-моделей платить за сбор данных для их обучения
- RSL дополняет протокол robots.txt, который блокирует доступ краулеров к определённому контенту. Теперь издатели смогут прописать в файле размер выплаты за вход бота на сайт. Стандарт также можно будет применять для онлайн-книг и видео.
- Организацию RSL Collective основали бывший вице-президент Yahoo Экарт Вальтер и бывший гендиректор Ask.com Дуг Лидс. Сейчас она ведёт переговоры с поставщиком облачных вычислений Fastly, чтобы он обеспечивал блокировку ботов, которые «не согласились» с условиями лицензирования контента на сайтах.
- RSL также консультируется с законодателями. «Есть все основания полагать», что разработчики ИИ-моделей «будут вынуждены признать» стандарт, сказал Лидс изданию Ars Technica.
- По данным Cloudflare, на одного «живого» посетителя сайтов приходится 14 поисковых роботов Google, 1700 ботов OpenAI и 73 тысячи ботов Anthropic. 1 июля 2025 года компания начала блокировать ИИ-краулеры по умолчанию. Также она в закрытом режиме тестирует опцию Pay Per Crawl, которая тоже позволит издателям установить цену за каждый запрос бота.