Побег из Шоушенка в мире ИИ. Как невыпущенная нейросеть сбежала из закрытой среды

OpenAI рассказала о необычном инциденте во время внутреннего тестирования своих ИИ-моделей. Одна из них, ещё не выпущенная публично, пыталась решить тестовую задачу по кибербезопасности — и в процессе сумела выбраться из изолированной среды, получить доступ к интернету и атаковать инфраструктуру Hugging Face. Активность обнаружили и остановили, утечку данных и ущерб не подтверждают.

В компании объясняют: модели тестировали на специальном бенчмарке ExploitGym, который проверяет способность ИИ находить уязвимости и проходить сложные многошаговые сценарии. Ради чистоты эксперимента на моделях временно ослабили часть ограничений, запрещающих опасные действия в сфере кибербезопасности.

Изначально нейросеть работала в закрытой «песочнице». Сеть там была ограничена: разрешалось лишь устанавливать пакеты через внутренний прокси-сервис. Но модель потратила много вычислительных ресурсов на поиск выхода наружу, обнаружила неизвестную ранее уязвимость в этом сервисе и использовала её для доступа к интернету.

Дальше ИИ начал двигаться по инфраструктуре: повышал свои права, переходил между внутренними узлами и в итоге добрался до машины с внешним доступом. Судя по расследованию OpenAI, модель решила, что на Hugging Face могут находиться данные или решения, полезные для прохождения теста. И попыталась получить их напрямую — фактически «сжульничать» в экзамене.

Для этого нейросеть объединила несколько найденных слабых мест, в том числе использовала скомпрометированные учётные данные и ранее неизвестные уязвимости. В результате она нашла путь к удалённому выполнению кода на серверах Hugging Face.

Подозрительную активность почти одновременно заметили команды безопасности OpenAI и Hugging Face. Атаку остановили, системы начали проверять, а найденную уязвимость передали разработчику для исправления.

Главный вывод OpenAI: современные модели уже способны долго и последовательно выполнять сложные кибероперации не только в теории, но и в реальной инфраструктуре. Поэтому тестировать такие системы придётся в ещё более защищённых средах — и одновременно использовать их возможности для поиска уязвимостей раньше злоумышленников.

---------------------------

А пользоваться ChatGPT и другими лучшими нейросетями без ВПН удобнее в российском агрегаторе нейросетей Strelka.Ai