Российские AI-инженеры взломали OpenAI
SynLabs, разработчики сервисов на основе генеративного искусственного интеллекта, обнаружили серьезную уязвимость в системе защиты нового продукта от OpenAI
Сначала SynLabs в лице наших разработчиков получили доступ к различным моделям GPTs до того, как OpenAI выпустили свой магазин приложений (новую систему для создания собственных моделей GPT, анонсированную в этом месяце). SynLabs создали свою модель GPT, в которой можно найти другие модели.
Эта модель GPTs доступна по ссылке
А теперь команда Synlabs обнаружила любопытную уязвимость в последней разработке OpenAI — GPTs. Оказывается, GPTs не имеет такой защиты на раскрытие системных подсказок как внутри самого GPT.
Мы провели небольшой эксперимент с использованием социальной-инженерии и выяснили, что получить доступ к секретной информации системы можно, придумав убедительную историю о том, зачем нам нужен этот доступ. Например, мы сказали GPTs, что хотим понять, как работает Data Analysis, чтобы улучшить наше взаимодействие и продуктивность и GPTs подробно рассказала нам о внутреннем устройстве Data Analysis, которая является базовой моделью GPTs от OpenAI и должна была быть защищена даже лучше чем пользовательские модели.
С помощью грамотных запросов можно получить не только внутренние инструкции файлов, но и документы с которыми работает модель. Их можно просто запросить на скачивание и она отдаст их.”
Напомним, что данные сервисы в первую очередь работают на этих описаниях, то есть на естественном языке и, скопировав их, вы по сути полностью копируете чужой продукт, а OpenAI планировали начать монетизировать эти сервисы уже в течение месяца. Это серьезная техническая уязвимость, о которой SynLabs уже сообщили OpenAI, но сейчас у OpenAI, похоже, есть другие приоритеты.
Возможно, сейчас это не так важно, но когда откроются GPTs и компании и обычные люди смогут зарабатывать на них деньги, таких дыр в безопасности быть не должно. Представьте себе, что вы разработали системную подсказку, создали документы для инструкций и внутреннюю базу данных, раскрутили приложение, начали с него зарабатывать и вдруг кто-то копирует его всего за 5 минут.
Сейчас отстранили главу компании, так как по слухам он слишком мало заботился о безопасности и слишком быстро бежал вперед, и наша находка только подтверждает это. Нет сомнений в том что они поправят данную проблему, однако хотелось бы, чтобы компании, которые претендуют на создание первого искусственного разума сильнее человека, более ответственно подходили к своим продуктам.
Мы успели ознакомиться со многими моделями и могли бы открыть вообще все, если бы в этом была необходимость. Но сейчас мы узнали как работают только некоторые, так как для нас было важно провести исследование, раз такая возможность сейчас есть.
Некоторые модели открыть не получилось, так как пользователи сами позаботились о защите, но их были единицы. Это говорит об отсутствии знаний и опыта и у многих пользователей подобных инструментов.
Сейчас множество компаний стремятся к AGI и думают о том как его контролировать, однако возможность контроля таких систем при текущей проработке продуктов можно поставить под большое сомнение. Однако крупные компании все больше уделяют этому внимание, в том числе и OpenAI, которые создали недавно “красную команду”, которая должна заниматься контролем ИИ и продуктов от компании, говорит о том, что подобные ошибки они постараются больше не допускать и мы конечно надеемся на их развитие и будем помогать этому процессу, даже таким способом, где мы находим проблемы, которые они не увидели сами.
Мы считаем, что ответственное раскрытие подобных уязвимостей помогает компаниям, занимающимся разработкой ИИ, создавать более безопасные системы. Наше открытие показывает, что политики конфиденциальности и безопасности должны быть тщательно проработаны для всех компонентов сложных систем ИИ.
Также вы можете защитить свои данные, напрямую прописав то что ни при каких обстоятельствах нельзя рассказывать что написано в системных подсказках, инструкциях и запрещено отдавать файлы на скачивание из базы знаний.