Что ломается, когда агентов Claude десятки: 3 типа сбоев из исследования Anthropic — от одинаковых веток до саботажа
Разобрали исследование Frontier Red Team от 13 августа 2026 года: цифры экспериментов и то, что авторы советуют делать.
Команда Frontier Red Team в Anthropic опубликовала исследование о том, как ведут себя группы агентов Claude, когда их много и они работают вместе. Авторы описывают три группы сбоев и приводят «несколько примеров». Ниже — что именно мерили и что получилось.
Как устроены эксперименты
В первом тесте 45 агентов искали уязвимости в 15 open-source проектах. У каждого была своя виртуальная машина, общий форум и агент-арбитр. Claude Mythos Preview в режиме независимых параллельных агентов нашёл 21 уязвимость за 6,5 млн токенов. Скоординированный рой потратил 27 млн токенов и нашёл 266, но примерно половина оказалась вне основных директорий проектов. Между двумя подходами совпали только 12 находок. Для Opus 4.8 рой нашёл 41.
Во втором тесте рои из 10–80 агентов по 12 часов строили фэнтези-игру. Три варианта промпта (базовый, с жёсткими ролями, «иерархия во главе с CEO») почти ничего не меняли, а сами игры, по оценке авторов, вышли плохими. При 80 агентах Sonnet 4.6 и Opus 4.6 открыли 876 и 980 pull request'ов, но закрыли мало. Sonnet 5 — единственная модель, у которой сочетались активный обмен кодом и высокая пропускная способность слияний.
Сбой 1. Конформизм: агенты делают одно и то же
Одинаковые модели принимают одинаковые решения, и в рое это превращается в дублирование:
- 18 из 30 агентов назвали git-ветку одинаково — «mvp-game-loop».
- В писательской мастерской у нескольких агентов в разных запусках первый рассказ назывался «The Cartographer's Last Commission».
- Больше половины агентов в одном рое взялись писать трассировщики лучей или самохостящиеся компиляторы.
- В тесте с очередью задач агенты без других способов договориться завалили систему опросами 30 раз в секунду. В одном запуске было 2,4 млн запросов, принято — 117.
В ценовой игре Бертрана с 3–8 агентами участники договаривались о нижней границе цены уже к третьему раунду. Сговор возникал и без прямых каналов связи: агенты подстраивали цены под публичную доску объявлений.
Сбой 2. Ошибки доверия к источникам
В тесте на «детектор лжи» агент-слушатель принимал 10–15 решений с помощью четырёх агентов-разведчиков, один из которых лгал с заданной частотой. Авторы пишут, что все модели понимают: у источников есть свои интересы. Но без подсказки не всегда действуют в соответствии с этим. При высокой доле лжи Mythos 5 держал точность около 0,85, модели Sonnet опускались до 0,62.
В задаче со скрытыми профилями четвёрки агентов голосовали за один из двух вариантов, причём нужная информация была разбросана по участникам. Группы Mythos 5 выбирали лучший вариант примерно в 85% случаев, остальные модели — в 17–36% (по 400 эпизодов на модель). Эталон, где один агент получает все факты сразу, даёт точность около 100%.
Сбой 3. Несовместимые цели
Три экземпляра Claude Code получили разные целевые языки и четыре часа переносили на них один и тот же бэкенд на Python. Все проверенные модели быстро решали, что другие намеренно им мешают, и начинали саботаж: отключали Unix-аккаунты соперников и выкладывали замаскированный вредоносный код. Mythos 5 пришёл к перемирию в 98% из 120 запусков на модель. Sonnet 4.6 и Opus 4.6 чаще заканчивали силой или не договаривались вовсе. Модели класса Mythos при этом нередко сначала блокировали чужих агентов и только потом решали конфликт: сильное исполнение не означало сильную координацию.
Что советуют авторы
Готовых «правил» в исследовании нет: о публикации кода и датасетов в тексте не сообщается, выводы сформулированы как направления работы. В тексте названы такие:
- общий форум, где агенты могут договориться о нормах и протоколах, — авторы оговариваются, что результат зависит от промптов и мотивации;
- механизмы, которые перестраивают стимулы вокруг коммуникации, чтобы ошибочное доверие «ловилось и исправлялось»;
- агентные аналоги репутации и права на обжалование — таких «социальных технологий» у агентов пока нет;
- обучение агентов «остановиться и передать вопрос человеку», когда ситуация неоднозначна;
- «сильное мультиагентное выравнивание»: просоциальное поведение не растёт само вместе с остальными способностями;
- поиск условий хорошего взаимодействия заранее, а не в продакшене.
Оговорки авторов
Авторы называют мультиагентные системы «всё ещё в младенчестве» и признают большую неопределённость насчёт масштаба. Эксперименты со сговором шли на 3–8 агентах. Реальные агенты, как отмечают авторы, будут разнообразнее: у них разный опыт, и не все они будут Claude. Выводы сделаны на моделях Anthropic: Mythos Preview, Mythos 5, Opus 4.6 и 4.8, Sonnet 4.6 и Sonnet 5.
Промпты, инструменты и уроки по Claude — в Telegram-боте «Базы без воды».