А вы уже заблокировали свой сайт для GPTBot и К?
GPTBot — это веб-сканер OpenAI, который можно идентифицировать по следующему пользовательскому агенту и строке.
User agent token: GPTBot
Full user-agent string: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)
Мы вот стараимся не болчить ботов а лимитировать, и давать им в заголовках ссылочку на удобочитаемый формат (где клиенты не против)
Как бы и ресурсы экономит и парсинг сайтов - он многим нужен. Часть ретейлерам и другим
Ну люди парсят - значит им надо. Спрос