Можно ли доверять секреты нейросетям?

На днях CEO OpenAI Сэм Альтман сделал честное заявление: не стоит ждать конфиденциальности, используя ChatGPT в качестве терапевта. Давайте разберёмся, что именно стоит за этими словами и почему «конфиденциальный режим» в вашем любимом чат-боте — это скорее маркетинговый ход.

Ключевая уязвимость, о которой говорит Альтман, — это феномен нежелательного запоминания. В процессе обучения на гигантских массивах данных LLM не только учатся обобщать информацию, но и непреднамеренно «зазубривают» конкретные, уникальные фрагменты. Это могут быть чьи-то имена, номера телефонов, фрагменты кода с захардкоженными паролями или даже коммерческие тайны.

Ярчайший пример — кейс с сотрудниками Samsung. Они использовали ChatGPT для оптимизации работы: проверяли конфиденциальный исходный код и составляли резюме внутренних совещаний. В результате чувствительные корпоративные данные неумышленно утекли прямо в обучающий конвейер OpenAI. И это не злой умысел, а следствие непонимания базового принципа работы технологии.

(Здесь и далее речь идет о сервисах LLM, которые работают онлайн и взаимодействуют с удаленным сервером; если вы используете on-device модели, например, через Ollama, ваши данные не утекут.)

Запомненную информацию можно извлечь из модели. Существует целый арсенал атак, нацеленных на это. Вот основные из них:

🔺Атаки инверсии модели. Имея доступ к модели, злоумышленник может реконструировать исходные данные. Представьте, что по одному лишь ответу системы распознавания лиц («Это Иван Петров») можно воссоздать его фотографию. Именно так это и работает.

🔺Атаки на определение принадлежности. Цель этой атаки — определить, использовались ли ваши конкретные данные при обучении модели. Если злоумышленник докажет, что ваша медицинская карта была в датасете для обучения ИИ, диагностирующего рак, он фактически получит информацию о вашем здоровье.

Разумеется, индустрия не сидит сложа руки. Ведётся активная работа по созданию технологий сохранения конфиденциальности.

🔸 Дифференциальная приватность. Это текущий «золотой стандарт». Идея в том, чтобы добавлять в данные или в процесс обучения математически выверенный «шум». Этот шум делает вклад отдельного пользователя статистически незначимым, не позволяя выделить его из общей массы.

🔸 Федеративное обучение. Принцип «модель идёт к данным, а не наоборот». Глобальная модель отправляется для дообучения на локальные устройства (например, телефоны или серверы больниц), а обратно возвращаются только обезличенные обновления, а не сырые данные. Идеально для сценариев, где данные не могут покидать своего владельца.

🔸 Продвинутые методы. Существуют и более сложные подходы, такие как гомоморфное шифрование (позволяет проводить вычисления прямо над зашифрованными данными) и конфиденциальные вычисления (используют аппаратные анклавы, вроде TEE в процессорах NVIDIA, для обработки данных в изолированной среде). Но пока они либо слишком медленные, либо требуют специфического железа.

Ни одна из этих техник не является панацеей. Каждая решает свой круг задач и имеет свои ограничения. Настоящая безопасность строится на многоуровневой защите, где эти подходы комбинируются.

Мы имеем дело с вероятностной технологией, где утечки и ошибки заложены в самой её природе. Злоумышленнику достаточно найти одну лазейку, тогда как защите нужно предвидеть все возможные сценарии.

Поэтому, когда вы в следующий раз увидите чат с пометкой «конфиденциально», помните: это скорее вежливое пожелание, чем техническая гарантия. Настоящая приватность в мире ИИ — это не фича, которую можно включить, а непрерывная и крайне сложная технологическая борьба.

Подписывайтесь на Telegram Нейрократия.