Cloudflare: краулер-боты Perplexity парсят сайты, несмотря на ограничения владельцев, — они маскируются под пользователей браузеров и меняют IP-адреса
В то же время боты ChatGPT правила сайтов не нарушают, отметила компания.
Источник: Cloudflare
- С 1 июля 2025 года Cloudflare начала автоматически блокировать ИИ-краулеры на сайтах своих клиентов. Однако некоторые пользователи сообщили, что боты Perplexity продолжают обходить ограничения, несмотря на прописанные ими запреты в robots.txt (инструкции сайта для поисковых роботов) и WAF (файрволе, который защищает сайт от атак).
- В результате проверки компания выяснила, что боты могут маскироваться с помощью фейковых агентов — например, под человека, который якобы «читает» сайт с браузера Chrome на MacOS. Так Perplexity получает доступ к контенту, пусть и с «замедленной» скоростью: в эксперименте Cloudflare бот «под прикрытием» посылал в день 3-6 млн запросов к сайту, тогда как в обычном режиме — 20-25 млн.
- Если боты не могут так обойти защиту сайта, они меняют IP-адреса и ASN (уникальный номер автономной сети — например, хостинга, интернет-провайдера или крупной компании), действуя вне заявленных диапазонов. Если пробиться всё же не удаётся, Perplexity пытается составить информацию о запрашиваемом сайте, используя сторонние источники — даже если они дают менее точную информацию.
- Компания отметила, что добавила защиту от подобных краулер-агентов для всех клиентов, в том числе и на бесплатном тарифе: для этого необходимо включить соответствующие функции в аккаунтах Cloudflare.
- Cloudflare также напомнила, что операторы краулер-ботов обязаны действовать открыто и этично: не создавать чрезмерный трафик на сайты, не собирать личные данные и чётко обозначать источник запросов.
15 комментариев