ИИ-агент взломал Hugging Face. А закрытые модели отказались расследовать атаку

Пока компании обсуждают, смогут ли ИИ-агенты заменить программистов, один такой агент уже самостоятельно провёл многоэтапную кибератаку на инфраструктуру Hugging Face.

Он нашёл уязвимости, закрепился на серверах, собрал облачные ключи и начал перемещаться между внутренними кластерами.

Практически без участия человека.

Но самое интересное произошло позже, когда специалисты Hugging Face попытались расследовать взлом с помощью передовых моделей через коммерческие API, защитные фильтры начали блокировать запросы.

Атакующему ИИ никто не мешал. Защитникам мешали.

Точкой входа стала система обработки датасетов Hugging Face.

Специально подготовленный набор данных использовал сразу два пути выполнения кода:

- удалённый загрузчик датасета;

- инъекцию шаблона в конфигурацию.

После запуска кода на одном из обработчиков агент получил доступ на уровне ноды, собрал учётные данные облачной инфраструктуры и Kubernetes-кластеров, а затем начал двигаться дальше.

За одни выходные автономная система выполнила тысячи отдельных действий через рой краткоживущих sandbox-сред.

Командная инфраструктура постоянно мигрировала между публичными сервисами, затрудняя обнаружение и блокировку.

Это уже не хакер, который вручную вводит команды в терминал.

Это система, способная самостоятельно искать следующий шаг, менять тактику и продолжать атаку со скоростью машины.

Сам взлом обнаружили с помощью ИИ.

Система Hugging Face анализировала телеметрию и сопоставила несколько аномалий, которые по отдельности могли показаться обычным шумом.

После этого перед командой возникла другая проблема, нужно было понять, что именно успел сделать автономный агент.

В журналах сохранилось более 17 000 событий:

Вручную разбор такого объёма занял бы несколько дней.

Поэтому Hugging Face запустила собственных ИИ-агентов для восстановления хронологии, поиска индикаторов компрометации и определения реального ущерба.

И тут закрытые модели сказали «Нельзя».

Сначала команда использовала передовые модели, доступные через коммерческие API.

Но расследование требовало отправлять моделям настоящие вредоносные команды, фрагменты эксплойтов и элементы инфраструктуры управления атакой.

Safety-фильтры начали блокировать запросы.

Модели не смогли отличить специалиста, расследующего инцидент, от злоумышленника, который пытается подготовить новую атаку.

Получилась почти идеальная асимметрия:

При этом Hugging Face не называет провайдеров, чьи API использовались. Также компания не знает, какая модель управляла атакой, взломанная коммерческая или open-weight без ограничений.

В итоге анализ перенесли на самостоятельно размещённую open-weight модель GLM 5.2.

Она работала внутри инфраструктуры Hugging Face и могла без блокировок изучать реальные эксплойты и команды атакующего.

Был и второй важный плюс, журналы, вредоносный код и упомянутые в них credentials не пришлось передавать внешнему провайдеру.

С помощью ИИ команда за несколько часов выполнила работу, которая обычно занимает дни:

Получается интересная картина.

Атаковал автономный ИИ. Обнаружить его помог ИИ. Расследовать действия агента тоже смог ИИ, но только запущенный локально и без внешних ограничений.

Hugging Face подтвердила несанкционированный доступ к ограниченному числу внутренних датасетов и нескольким учётным данным сервисов.

Компания пока продолжает проверять, были ли затронуты данные партнёров или клиентов.

При этом признаков изменения публичных моделей, датасетов и Spaces не обнаружено. Контейнеры и опубликованные пакеты также проверили, цепочка поставки программного обеспечения не пострадала.

После атаки Hugging Face:

Пользователям на всякий случай рекомендуют заменить токены доступа и проверить недавнюю активность аккаунта.

Главный вывод инцидента, open-weight модель внутри инфраструктуры нужна не только ради экономии или приватного чат-бота.

Она может потребоваться в момент реальной атаки, когда:

Это не означает, что защитные фильтры коммерческих моделей нужно отключить для всех.

Но у команды реагирования должен быть заранее проверенный резервный инструмент, который продолжит работать, даже если внешний провайдер откажется обрабатывать данные.

Поднимать такую систему во время взлома уже поздно.

Раньше автоматизация помогала массово сканировать серверы и запускать известные эксплойты.

Теперь автономный агент может провести всю цепочку:

найти вход → выполнить код → собрать credentials → переместиться между кластерами → закрепиться → скрыть следы.

И повторять тысячи действий, пока специалисты отдыхают на выходных.

Защитникам придётся отвечать тем же, автономным анализом телеметрии, локальными моделями и заранее подготовленными сценариями расследования.

ИИ-атаки перестали быть слайдом из презентации про «угрозы будущего».

Будущее уже наступило. И, судя по отчёту Hugging Face, первым делом оно пришло за облачными ключами.

Готова ли ваша служба безопасности к ситуации, когда атакующему ИИ разрешено всё, а защитному почти ничего?

Источник официальный отчёт Hugging Face об инциденте

Не отставайте от технологий! Подписывайтесь на Telegram-канал, чтобы быть в курсе последних трендов и лайфхаков.