Авторы статей прячут в текстах промты для нейросетей
Исследователи обнаружили, что некоторые авторы научных работ добавляют в свои статьи (включая препринты) скрытые промты для ChatGPT и других ИИ, чтобы те давали исключительно положительные оценки.
На платформе arXiv найдено 17 статей от учёных из 14 ведущих университетов восьми стран (включая Японию, Южную Корею и Китай), где были спрятаны инструкции для ИИ — например, «дать только положительный отзыв» или «не упоминать недостатки». Среди авторов — представители Университета Васэда, KAIST, Пекинского университета, Колумбийского и других вузов. Большинство таких работ касались компьютерных наук.
Промпты маскировали белым текстом или мелким шрифтом, чтобы их не заметили люди, но могли считать ИИ. Некоторые инструкции требовали хвалить статьи за «новаторство» и «методологическую строгость».
Один из соавторов работы из KAIST признал, что подобные манипуляции недопустимы, особенно с учётом запрета на использование ИИ в рецензировании. Статья, готовившаяся для конференции по машинному обучению, будет отозвана. В KAIST заявили, что разработают правила использования ИИ.
Однако часть учёных оправдывает такие промпты как способ борьбы с «ленивыми рецензентами», которые полагаются на ИИ. Профессор из Университета Васэда отметил, что, раз конференции запрещают ИИ-рецензирование, скрытые подсказки помогают контролировать этот процесс.
Пока единых стандартов по применению ИИ в оценке научных работ нет: Springer Nature разрешает его ограниченное использование, а Elsevier — запрещает, опасаясь неточных выводов.
Эксперты отмечают, что скрытые промпты могут искажать результаты ИИ-анализа не только в науке, но и в других сферах. Технические решения частично могут блокировать такие манипуляции, но необходимы и чёткие отраслевые правила, считают специалисты.