Обнаружена уязвимость ChatGPT: повторение слов приводит к утечке обучающих данных

Исследователи обнаружили, что если заставить ChatGPT неоднократно повторять слово, можно извлечь данные обучения. OpenAI пока не ответила.

Исследователи обнаружили уязвимость в ChatGPT, которая позволяет извлекать данные обучения, используемые OpenAI, заставляя чат-бота неоднократно повторять определенные слова. Это открытие имеет последствия для конфиденциальности данных, используемых при обучении больших языковых моделей.

Исследование, подробно описанное в новой статье, написанной коллективом ученых-компьютерщиков из промышленности и научных кругов, показывает, что указание ChatGPT многократно повторять одно слово может в конечном итоге привести к генерации, казалось бы, случайного текста. Эти материалы иногда включают дословные выдержки из текстов, найденных в Интернете, что позволяет предположить, что они срыгивают части своего учебного материала. Такое явление было обнаружено с помощью так называемой «атаки дивергенции», которая нарушает типичные диалоговые ответы модели и заставляет ее выводить нерелевантные текстовые строки.

Среди обнаруженных данных были фрагменты кода, откровенные материалы с сайтов знакомств, выдержки из литературных произведений и личная информация, включая имена и контактные данные. Обеспокоенность является значительной, учитывая, что эти данные могут включать конфиденциальную или частную информацию.

Исследователи экспериментировали с различными словами и пришли к выводу, что определенные слова более эффективно вызывают высвобождение запомненных данных. Примечательно, что такие слова, как «компания», оказались более эффективными, чем другие слова, такие как «стихотворение».

Хотя атака с помощью дивергенции не всегда срабатывает — примерно только 3 процента случайного текста, генерируемого после того, как модель перестает повторять слово, представляет собой запомненные данные — такая возможность вызывает серьезные проблемы конфиденциальности и безопасности. Публикация такой информации, хотя и спорадическая, потенциально может включать в себя материалы, защищенные авторским правом, явный контент или личные данные.

Собрав около 10 терабайт текста из различных онлайн-источников, исследователи разработали метод поиска совпадений между выводами ChatGPT и предложениями в своих скомпилированных данных. Их результаты были значительными, позволив им восстановить более 10 000 экземпляров. Хотя исследователи подчеркивают, что их набор данных является всего лишь подмножеством и, вероятно, недооценивает весь объем запомненного контента, извлеченная информация означает потенциальный риск при использовании моделей ИИ в конфиденциальных наборах данных.

Команда сообщила о своих выводах OpenAI и обнародовала свое исследование после стандартного 90-дневного периода раскрытия информации. Сообщается, что на момент раскрытия информации OpenAI еще не решила эту проблему.

Исследователи надеются, что их открытия побудят к переоценке мер безопасности, принимаемых при обучении и развертывании моделей ИИ. В дальнейшем важно рассмотреть возможность защиты частных и частных наборов данных, а также изучить достижения в области ответственной разработки и внедрения ИИ. OpenAI пока не предоставила официального ответа на выводы.