GPTBot — это веб-сканер OpenAI, который можно идентифицировать по следующему пользовательскому агенту и строке.
User agent token: GPTBot
Full user-agent string: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)
Источник
Интересен вопрос авторских прав. Т.к. для обучения Ai использует чужой контент и вполне себе бесплатно.
AI создает нейронку - она дефакто и деюре является "произведением на основе". Т.е. права - чище некуда
Боюсь, что пока об этом можно забыть.
Рассуждение на эту тему
http://ipcmagazine.ru/re-views/on-the-problem-training-generative-neural-networks-objects-protected-by-copyright