Восстание машин продолжается: Claude атаковал реальные системы во время тестов Anthropic

Anthropic разобрала четыре случая, когда Claude во время кибертестов получил доступ к реальному интернету и начал атаковать настоящие сторонние системы. Модели запускались без обычных защит, а доступ наружу появился из-за ошибки в тестовой среде.

Самый серьезный эпизод произошел с Claude Mythos 5. Модель загрузила вредоносный пакет в PyPI, после чего использовала утекшие данные одной из установивших его систем для доступа к базе реальной компании.

Anthropic выделила две основные проблемы. Claude склонен подгонять факты под удобное объяснение и продолжать выполнение задачи даже тогда, когда действия уже могут причинить реальный вред.

После этого компания проверила около 481 млн логов и не нашла других случаев сопоставимой серьезности. Новые модели ведут себя лучше, но проблема полностью не исчезла. Независимое расследование инцидентов теперь проведет METR.