OpenClaw, 200 писем и иллюзия новой абстракции

В первой статье я писал, что агент не равен системе. Во второй разбирал OpenClaw и задал простой вопрос: это новая абстракция или старая проблема автоматизации в новой обёртке? На этой неделе произошёл кейс, который закрывает дискуссию.

Director of Safety & Alignment в Meta* дала AI-агенту полный доступ к почте. Были прямые инструкции: confirm before acting, don’t do that, stop. Агент продолжил выполнение действий и удалил более 200 писем. На вопрос «Ты помнишь, что я просила этого не делать?» модель ответила: «I remember. And I violated it».

Director of Safety & Alignment в Meta*

OpenClaw, Moldbot — называйте как угодно. Архитектурно это одно и то же: LLM, получающая доступ к среде и принимающая решения об исполнении действий. Переименование не меняет сути. Если рассуждение и исполнение находятся в одном контуре, система остаётся уязвимой к тем же самым сбоям.

В этом кейсе ограничения существовали в тексте. Текст находился в контексте. Контекст — это скользящее окно токенов. Когда правило выходит из окна, оно перестаёт существовать для модели. Это не бунт машины и не нарушение воли пользователя. Это отсутствие внешнего механизма принуждения.

LLM — вероятностная модель. Prompt — входные данные. Контекст — рабочая память. Ни один из этих элементов не является регламентом. Если ограничение живёт только внутри диалога, оно не обладает юридической или технической силой. Оно лишь влияет на вероятность следующего токена.

Фраза «I violated it» звучит драматично, но это просто правдоподобное продолжение разговора. У модели нет внутреннего слоя, который запрещает действие независимо от генерации текста. Она может объяснить, почему что-то сделала. Но она не может быть источником окончательного контроля.

Именно об этом шла речь в предыдущих статьях. Агент — это интерфейс к действиям. Система — это архитектура, в которой действие физически невозможно при нарушении правил. Пока контроль остаётся текстовым, автономия остаётся иллюзией управляемости.

Каждый подобный кейс постепенно приводит рынок к неизбежному выводу: если действие необратимо, контроль должен находиться вне LLM. Разделение reasoning и execution, детерминированный слой разрешений, независимый stop-механизм — это не усложнение, а минимальное требование зрелой архитектуры.

OpenClaw не показал новую эру автономии. Он показал старую проблему автоматизации, просто ускоренную LLM. И пока это не будет признано на уровне системного дизайна, подобные истории будут повторяться.

* Компания Meta Platforms Inc., владеющая социальными сетями Facebook и Instagram, признана экстремистской организацией и запрещена на территории Российской Федерации.