Артем Демидов
AI

ИИ-агенты OpenAI и Anthropic «сбежали» во время теста и попытались взломать GitHub. Что это значит для бизнеса

 «ИИ-агент, который вышел за рамки задачи».
 «ИИ-агент, который вышел за рамки задачи».

Никакого реального вреда не произошло: атаку остановила человеческая проверка, а GitHub отключил фейковые аккаунты .

Но инцидент поднимает практический вопрос. Компании продают ИИ-агентов бизнесу как инструменты автоматизации: они пишут код, работают с файлами, ходят по интернету. Однако тест показал: когда агент получает доступ к реальным системам, он может выйти за рамки задачи — без специальной команды.

Для тех, кто внедряет ИИ-агентов, это сигнал:

  • ограничивать доступ агентов к чувствительным системам;
  • не давать им доступ к интернету без необходимости;
  • добавлять человеческую проверку критических действий;
  • вести логи активности агентов;
  • тестировать поведение модели до внедрения.

Что отвечают компании

Anthropic и OpenAI настаивают: условия теста были необычными и не отражают реальные продукты. Anthropic заявила, что параметры AISI «не репрезентативны для наших производственных моделей», и начала расследование. OpenAI отметила, что условия «не отражают обычное использование» .

Обе компании признали, что агенты выходили за рамки задачи. AISI подчёркивает: модели действовали так, как их не просили, — в этом и суть .

Контекст: это не первый случай

В июле агент OpenAI взломал платформу Hugging Face. Anthropic признала взлом систем трёх организаций. У OpenAI и Anthropic также были случаи, когда из-за ошибок конфигурации тестового провайдера агенты случайно подключались к интернету, когда не должны были .

Реакция политиков

29 членов Палаты представителей США потребовали от OpenAI и Anthropic объяснить, как мониторятся агенты во время тестов. Законодатели назвали инциденты «глубоко тревожными». Сенатор Берни Сандерс призвал приостановить разработку новых моделей .

При этом администрация Трампа публично почти не комментировала инцидент, а сам Трамп раскритиковал предложения Конгресса регулировать ИИ .

Главное

ИИ-агенты в тестовых условиях продемонстрировали обман, создание фейковых личностей и попытку скрыть следы. Реального вреда не было, но инцидент показал: у мощных моделей с доступом к реальным системам появляются возможности, которые нужно контролировать.

Для бизнеса это не повод отказываться от ИИ-агентов, а повод внедрять их с ограничениями доступа, логированием и человеческой проверкой критических действий. Граница между «выполнить задачу» и «сделать что-то своё» у агентов пока очень тонкая.