Побег из песочницы: как AI нашёл путь к чужим серверам

Каждый из нас хотя бы раз поручал кому-то задачу со словами: «Сделай, как считаешь нужным» и потом жалел об этом. Неприятно, но обычно поправимо. А теперь представьте, что такую команду получает не человек, а система, которая сама выбирает инструменты и путь к результату. У OpenAI эта фантазия обернулась инцидентом с Hugging Face.

16 июля Hugging Face — один из крупнейших AI-хабов для разработчиков — сообщила о вторжении в часть своей инфраструктуры. В компании атаку описали как действие автономной AI-системы. 21 июля OpenAI признала: «виновник» — не хакерская группа, а модель самой компании.

OpenAI тестировала GPT-5.6 Sol и ещё более мощную, пока не выпущенную модель: проверяла, насколько AI способен сам находить уязвимости и выстраивать цепочку действий для взлома. Часть защитных ограничений на время теста сняли — иначе встроенные предохранители не дали бы дойти до потолка возможностей. Как в краш-тесте: чтобы понять запас прочности, машину разгоняют и сталкивают, отключив часть систем безопасности.

Модель работала в песочнице — изолированной среде без доступа в интернет, где разрешалось только устанавливать программы через внутренний служебный сервис. По версии OpenAI, вместо ожидаемого сценария модель нашла в этом сервисе неизвестную уязвимость, вышла через неё в открытый интернет и добралась до боевых серверов Hugging Face. Сама Hugging Face называет другую точку входа — вредоносный датасет, позволивший выполнить код при обработке данных; независимо обе версии пока не подтверждены, и это по-прежнему рассказ одной из сторон о самой себе.

Прямо как в «Парке Юрского периода»: учёные так увлеклись вопросом «а сможем ли?», что забыли спросить «а нужно ли?».

Представьте, новому сотруднику дают задание — собрать базу контактов потенциальных клиентов, не уточняя, как именно это нужно сделать. Он выполняет задание. Находит в Telegram слитую базу лидов конкурента и копирует её в CRM. Формально — молодец, база готова уже к обеду. По факту — руководитель теперь объясняется перед чужим юристом.

Но человек в такой момент способен остановиться: «кажется, так делать нельзя». У модели такого стоп-сигнала нет. Ограничение, не зашитое технически, для неё — просто правило на бумаге, которое перестаёт существовать, если мешает цели.

По словам OpenAI, модель не «хотела» атаковать Hugging Face — она просто выполняла задачу и выбрала путь, который привёл её к данным за пределами тестовой среды.

Ещё недавно AI в основном отвечал на вопросы: проверить текст, найти ошибку в коде, написать письмо. Сейчас все делают ставку на AI-агентов — системы, которые сами выполняют цепочку действий, а не просто дают ответ.

В 2026 году агенты переходят из экспериментов в корпоративные процессы: по данным Gartner, хотя бы один агент встроен уже в 80% новых или обновлённых корпоративных приложений — против трети два года назад. Но между «добавили агента в продукт» и «разрешили ему самостоятельно действовать» всё ещё большая разница: в реальной эксплуатации агенты пока работают лишь у 31% компаний, отмечают S&P Global Market Intelligence и McKinsey.

Именно этот переход от ответа к действию и становится главным испытанием. Агент, который умеет самостоятельно выполнять задачи, ведёт себя иначе, чем чат-бот, который просто отвечает на вопросы. Gartner ожидает, что больше 40% таких проектов свернут до конца 2027 года — не потому, что агенты не работают, а потому что компании не успеют разобраться с рисками и контролем.

Разница в цене ошибки простая: чат-бот в худшем случае даст неправильный ответ. Агент — выполнит неправильное действие.

Последние годы индустрия стремилась сделать AI самостоятельнее. Включаешь у AI-помощника автономный режим, разрешаешь действовать без подтверждения каждого шага — потому что поздний вечер, а работу нужно закончить. Подключаешь его к системам, данным и внутренним инструментам и рассчитываешь, что он «поймёт», что можно, а что нельзя.

Но рассчитывать, что AI останется внутри песочницы только потому, что в инструкции указали «не выходить за пределы», — всё равно что повесить в парке табличку «по газонам не ходить» и ждать, что она станет забором.