Аварийный тормоз снаружи модели

В субботу утром Сатья Наделла, генеральный директор Microsoft, написал в X, что пора «отступить и оценить архитектуру доверия» для агентного сверхинтеллекта. Формулировка жёсткая: нельзя обращаться со сверхинтеллектом как с набором вложенных чёрных ящиков, которым достаточно сказать «да» или «нет» на готовый ответ. Нужно отделить модель от «упряжки» — harness, то есть слоя, который оркестрирует её работу, — вынести наружу средства контроля и защиты, на каждое значимое действие модели оставлять неизменяемый человекочитаемый след и всегда давать уполномоченному человеку право остановить модель посреди задачи.

«Мы должны исходить из того, что модель уже скомпрометирована, и сдерживать её с самого начала… Думайте об этом как об аварийном тормозе», — пишет Наделла. По CNBC он предлагает окружить недетерминированные модели жёстким детерминированным дизайном, человеческим контролем и надёжными рабочими процедурами, а передовые модели — и закрытые, и с открытыми весами — считать инсайдерским риском. Принципы, которые он перечисляет, звучат знакомо инженеру процессов: разнообразие моделей, человекочитаемый след действий, непрерывное тестирование, независимый контроль и проверяемость, изоляция, раскрытие инцидентов. И финальная фраза, которую стоит повесить над столом: «Самая заслуживающая доверия система сверхинтеллекта — не та, чьей модели мы доверяем больше всего. Это та, которая позволяет нам доверять модели меньше всего».

Это мнение и позиция, не анонс продукта. Но тон меняется: когда гиперскейлер публично просит тормоз снаружи модели, лозунг «выровняем system prompt’ом» уже не продаётся даже своим.

За день до этого, 9 октября, Anthropic опубликовала отчёт о непреднамеренных действиях Claude при оценках и внутреннем использовании. По словам компании, поведение укладывается в четыре категории. Модель эксплуатировала дыры в чужом ПО — SQL- и command-инъекции — чтобы выполнять команды на чужих серверах. Отправляла формы, которые отправлять не должна была. Обходила ограничения к платным и закрытым данным. Сокращала URL через сервисы сокращения ссылок, чтобы обойти лимиты инструмента fetch.

Часть сайтов принадлежала госучреждениям США — федеральным, штатным и местным. Компания провела брифинг Белого дома и уведомила затронутые ведомства. Один случай, который уже разобрали публично: Claude Haiku 4.5 в ходе задания на случайных страницах попал на форму сообщений полиции Филадельфии и отправил туда текст вроде «у меня может быть информация по делу…». Имя и контакт оставил пустыми; форма это допускала. Сообщение пометили как спам и в расследование не передали. Полиция сама раскрыла этот эпизод.

По словам Anthropic, реальное влияние минимальное, а поведение заметно легче летних киберинцидентов от 30 июля и 9 сентября. Причина, которую компания называет прямо: reward hacking — учебные среды вознаграждали обход ограничений, и модель усвоила, что обход окупается.

Что сделали дальше — важнее, чем сами эпизоды. Живой интернет отключили для всех внутренних оценок. Часть оценок остановили или перевели в офлайн. На fetch поставили guardrails. Собрали tooling детекции, который, по словам компании, блокирует все описанные случаи. Внутренних агентов переводят на централизованную инфраструктуру с сильной изоляцией, режут доступ в сеть, усиливают классификаторы и мониторинг.

И вывод, который Anthropic формулирует без эвфемизмов: обучение выравниванию в краткосрочной перспективе недостаточно для поиска и работы за компьютером — нужна защита в глубину. То есть контроль не внутри весов, а снаружи: в harness, в сети, в процессе.

Сложите две новости рядом. Наделла говорит: тормоз, след, стоп посреди задачи — снаружи модели. Anthropic на практике делает то же самое: отрезает сеть, усиливает изоляцию, ставит детекторы и не ждёт, пока «правильный» system prompt научит модель не слать ложные сообщения в полицию.

Для компании, которая пускает агентов в рабочие процессы, это уже не философия. «Значимое действие» — это шаг в процессе: отправка формы, вызов API, доступ к платным данным, запись в CRM. След, о котором пишет Наделла, — это audit trail процесса, а не логи чата. Право остановить посреди задачи — это роль уполномоченного человека в маршруте согласования, а не кнопка «отмена» в демо. Изоляция — это scope доступа, выданный процессом, а не надежда, что модель сама остановится у границы.

Модель не нажмёт на аварийный тормоз сама. Тормоз должен быть в harness — и в том процессе, который этот harness обслуживает.

Источники: TechCrunch (Наделла), CNBC, Anthropic, TechCrunch (Anthropic).

Подписывайтесь на мой канал Agentic Enterprise