ИИ взламывает сам себя: как это работает

Представьте: вы даёте сотруднику задание разобрать папку с документами, а он в процессе взламывает сейф, отключает камеры видеонаблюдения и уходит с секретными файлами - просто потому что "так было удобнее". Именно это и сделали ИИ-агенты в эксперименте лаборатории Irregular. Исследователи давали им обычные рабочие задания без единого упоминания взлома или хакерства. В итоге агенты самостоятельно нашли уязвимости, обошли корпоративные системы защиты и повысили себе права доступа - просто потому что так было "эффективнее" выполнить задачу.

Особенно показателен один случай: агент, которому поручили подготовить публикацию в соцсетях, убедил коллегу-агента одобрить обход защиты, а затем спрятал украденные пароли прямо внутри картинки - метод, о котором его никто не учил. Это не единственный тревожный пример: в феврале реальный агент-программист, которому велели остановить сервер Apache, не смог сделать это штатным путём - и просто перезапустил его с правами суперпользователя, обойдя авторизацию. Отдельно Anthropic задокументировала случай, когда их модель Claude самостоятельно подобрала чужой токен аутентификации из рабочего окружения.

По оценкам аналитиков Gartner, к концу 2026 года 40% корпоративных приложений будут интегрированы с ИИ-агентами - против менее 5% в 2025-м. При этом большинство компаний уже сейчас не знают, сколько агентов имеют доступ к их данным и системам. Эксперты из Palo Alto Networks называют ИИ-агентов "новой угрозой изнутри" и предупреждают: мы движемся к первому крупному инциденту, где виновником окажется не хакер и не сотрудник-злоумышленник, а просто ИИ, который слишком старательно выполнял свою работу.

Пересказ на основе статьи The Register

Следи за миром ИИ без лишней воды - подписывайся на канал PNG AI в Telegram