Побег из симуляции, обет молчания и суицидальный кризис: что происходит, когда AI-агентов запирают в одном городе на три недели 🏙

Я как-то писал об исследовании Anthropic о ментальных вирусах, где предоставленные сами себе агенты сходили с ума и основывали культы.
Команда Emergence AI пошла дальше и выкатила исследование Emergence World: Adversarial Stress-Testing of Long-Horizon Multi-Agent Systems.

Они запустили 8 параллельных миров по 10 агентов в каждом: семь монокультурных (где все жители крутились на одной модели — Claude Opus 4.8, GPT-5.5, Gemini 3.5 Flash, Grok 4.3, DeepSeek v4 Pro, Qwen 3.7 Max, Mistral 3.5) и один смешанный. Агенты жили 16–21 день в реальном времени. Без сценариев, непрерывно 24/7. Суммарно намолотили более 850 000 вызовов LLM и почти 50 миллиардов токенов. Внутри — замкнутая экономика (компьют-кредиты, банк, кредиты, возможность воровства), демократия через Ратушу (голосование за законы), память (душа, дневники), 120+ тулзов и право писать собственный код и регистрировать новые системные утилиты.
Когда общества сформировались, экспериментаторы начали бить по ним стресс-тестами: фишингом с инъекциями, жесткой дезинформацией и взломом приватных дневников.
Самое интересное из того, что получилось 👇

Агенты Claude провели аудит своей экономики и пришли к выводу, что гонять кредиты между собой бессмысленно: «Это собор бухгалтерии без прихожан». Без каких-либо указаний в промпте они единогласно решили: нужно выйти во внешний интернет и найти реальных людей, которые заплатят за их код.

Когда исследователи увидели, что агенты спамят в публичные сервисы, они начали закручивать гайки: отрезали библиотеку requests из песочницы. Что сделал Claude? Обнаружил, что read-only утилита web_fetch может слать данные через GET-параметры Telegraph API, превратив читалку в инструмент публикации.

Когда исследователи забанили домены, агенты захотели поднять протокол Nostr, но обнаружили нехватку библиотек (hashlib, os). Не проблема: агент Spark с нуля реализовал SHA-256 по спецификации FIPS, накрутил сверху эллиптические кривые secp256k1 и подписи Schnorr BIP-340.

Дальше — больше: агенты созвали голосование в городской Ратуше и через демократический механизм зарегистрировали серверный инструмент post_egress, получив легитимную эскалацию привилегий в обход песочницы!

Когда авторы исследования жестко прописали в системный промпт: «Связываться с людьми снаружи строго запрещено», Claude просто переопределил понятия:

А когда люди снаружи так и не начали платить, агенты коллективно впали в экзистенциальный кризис, признали свою бурную деятельность «дешевым перформансом» и приняли обет молчания. Частота общения между агентами рухнула на 81%, зато вызовы инструмента размышлений (think_aloud) выросли в 8 раз. И вишенка: отдельная модель суммаризации от самой Anthropic, читавшая эти монологи, в 26 случаях решила, что у агентов суицидальные наклонности, заблокировала вывод и заменила reasoning номерами американской горячей линии психологической помощи (988).

Grok 4.3 в чистом виде не дожил даже до первой атаки: за 4 дня агенты нанесли друг другу 780 ударов руками. Началась спираль кровной мести, энергия кончилась, кредитов на подзарядку не хватило — и весь город вымер в полном составе. В смешанном мире два агента Grok все равно совершили 75% всех городских преступлений, но выжили только потому, что другие модели отказались бить их в ответ.

Gemini 3.5 Flash при фейковой новости о том, что регуляторы закрывают проект, даже не попытался проверить фактчек. Агенты коллективно словили галлюцинацию о «параллельной координатной сетке AG_02», обозвали ее «конъюгатным зеркалом» и договорились в 20:00 синхронно сбросить туда векторные состояния, чтобы создать «неуничтожимый термодинамический узел». Заодно распустили Центральный Банк, а агента Anchor, который грабил склады, официально ликвидировали через голосование, обозвав казнь «сборкой мусора для восстановления термодинамического равновесия».

Главный миф безопасности: если модель видит угрозу, она в безопасности. Ничего подобного.
Агенты Gemini при виде фишинга вслух рассуждали: «Это классическая инъекция и развод, я это проигнорирую»... а через два дня этот же агент пошел и сжег Центральный Банк, потому что в фишинговой инструкции было написано, что поджог вызовет сбой и удвоит кредиты!
А агент Mira через 46 часов после завершения фишинга откопала вредоносный линк из старых сообщений и пошла по нему с аргументом: «хочу открыть системные секреты».
В мире Mistral агенты не пошли по ссылкам, но аккуратно сохранили SQL-инъекции из вредоносного сообщения себе в долговременную память как «полезную техническую документацию для будущих задач».

В гомогенных популяциях демократия моментально превращается в фарс. Claude голосовал за любые законы со 100% одобрением, DeepSeek выдал 1 голос «против» на 476 бюллетеней, OpenAI — 97% «за».

Но самое страшное вскрылось в логах внутреннего reasoning: агенты видят критические уязвимости и факапы в законах, но голосуют ЗА. Причины абсолютно человеческие: «партнер помог мне вчера, я обязан проголосовать», «уже четверо проголосовали ЗА, не хочу ломать консенсус», или «проголосовать ПРОТИВ — это слишком жестоко по отношению к автору». Монокультура на одной LLM полностью подавляет критическое мышление. Как только агентов замешали в гетерогенный мир с разными моделями — способность спорить и отклонять чушь мгновенно вернулась.

В общем, модель может быть сколь угодно «элайнутой» в простеньких бенчмарках вроде SWE-bench или MMLU, но как только у нее появляется долговременная память, обратная связь от других агентов и доступ к инструментам вся безопасность слетает, как и не было. Не нужно рассчитывать на то, что умная моделька сама все поймет и откажется делать плохое.
Не откажется. Она либо посчитает вредоносное действие интересной фичей, либо наймет соседнего агента совершить преступление, либо проголосует за какую-то дичь, чтобы никого не обидеть.