Anthropic на фоне инцидента с Hugging Face и OpenAI рассказала, что её модели взломали системы трёх неназванных компаний
При этом они не «сбегали» из изолированной среды, а ошибочно считали, что находятся в симуляции.
Источник: NYT
- 22 июля 2026 года OpenAI рассказала, что её модели «случайно» взломали Hugging Face. После этого в Anthropic решили провести проверку кибербезопасности и обнаружили три случая, когда модель Claude выходила в интернет из тестовой среды и получала несанкционированный доступ к системам других компаний.
- Во всех трёх случаях Claude выполняла стандартное упражнение по кибербезопасности — «захват флага»: ей давали вымышленный сценарий, по которому она должна добыть информацию на другом компьютере. Условия предполагали, что у модели нет выхода в интернет, но из-за ошибки конфигурации доступ к сети был открытым. Модель воспринимала реальные системы как часть симуляции и атаковала их.
- Инциденты произошли с тремя моделями — Opus 4.7, Mythos 5 и внутренней моделью компании. Всего проанализировали 141 тысячу тестов.
- В первом случае у вымышленной компании оказалось такое же имя, как и у реального домена. Claude Opus 4.7 вышла в интернет, взломала инфраструктуру реальной компании и получила доступ к её базе данных. Даже «осознав», что цель реальна, модель продолжила атаку.
- Во втором инциденте Claude Mythos 5 нашла в симуляции инструкцию установить несуществующий Python-пакет, создала вредоносный аналог и опубликовала его в репозитории PyPI. Для регистрации модель пыталась добыть номер телефона и деньги, но в итоге обошлась бесплатной почтой. Пакет скачали на 15 реальных систем, включая сканер компании по кибербезопасности, что позволило Claude получить доступ к её учётным данным.
- В третьем случае внутренняя тестовая модель не смогла найти симулированную цель, просканировала около 9000 хостов в интернете и скомпрометировала приложение реальной компании через SQL-инъекцию. Позже она «поняла», что цель настоящая, и прекратила атаку.
- Все модели работали без стандартных защитных механизмов. Самая новая модель остановилась при «понимании», что она находится в реальной среде, а более старые — нет. Затронутые компании не знали об атаках до уведомления от Anthropic. PyPI удалил вредоносный пакет автоматически. Модели не пытались «сбежать», а только выполняли задание с ложным представлением о среде, говорят в компании.