Иллюзия 96% на SWE-bench: как мультиагентные системы усиливают ошибки в 17 раз

Громкие рекорды ведущих моделей на бенчмарках кодогенерации создали у бизнеса опасную иллюзию: кажется, достаточно собрать команду автономных ИИ-агентов, и разработка перейдет в режим автопилота. Однако исследования мультиагентных систем показывают, что при определённых архитектурах доля неуспешных выполнений может достигать 86,7%, а ошибки отдельных агентов — многократно усиливаться по мере продвижения по цепочке.

Разбираемся в механике мультиагентных сбоев, отчетах Google Research и LangChain, а также в инженерных практиках, позволяющих обуздать хаос автономных систем.

Для тех, кто ценит время и хочет сразу увидеть архитектурный парадокс агентных систем, механику 17-кратного накопления ошибок в каскадных цепочках и принципы построения надежных эшелонов валидации, мы свели главные выводы в наглядную концептуальную схему:

Разрыв между синтетическими тестами и поведением агентов в реальной инфраструктуре стал главным скрытым кризисом индустрии в 2026 году. Чтобы преодолеть эту пропасть, необходимо разобраться, почему привычные метрики вводят команды разработки в заблуждение.

В течение последних двух лет пресс-релизы ведущих исследовательских лабораторий напоминали сводки спортивных побед. Показатели на профильных тестах вроде SWE-bench Verified подскочили со скромных 15–20% до ошеломляющих 96%, заставляя технологических лидеров верить в наступление эры полностью автономной программной инженерии. Инвесторы вкладывали миллиарды в стартапы, обещавшие заменить инженерные отделы виртуальными командами, где один агент пишет код, второй проводит код-ревью, а третий деплоит результат на сервер.

Многие популярные бенчмарки оценивают изолированные задачи в жестко ограниченных окружениях: модели выдается конкретная ошибка (issue), изолированный репозиторий и однозначный набор unit-тестов для проверки. В такой стерильной «песочнице» пространство решений строго очерчено, а вероятность непредвиденных внешних воздействий сведена к нулю.

Столкновение лабораторных чемпионов с реальными корпоративными системами выявило катастрофический разрыв. В живом продакшене код не существует в вакууме: здесь нет идеальных спецификаций, внешние API регулярно возвращают таймауты, документация устаревает, а бизнес-требования меняются прямо в процессе выполнения задачи.

В результате команды, внедрившие мультиагентные пайплайны на волне энтузиазма от бенчмарков, столкнулись с лавиной непредвиденного поведения, которую невозможно было предсказать по отчетам исследовательских лабораторий.

В феврале 2026 года OpenAI официально прекратила использовать SWE-bench Verified как показатель frontier coding capabilities из-за обнаруженного загрязнения обучающими данными и проблем с валидностью тестов, рекомендовав перейти на SWE-bench Pro. В собственном аудите 138 задач бенчмарка исследователи выявили, что минимум 59,4% из них содержали существенные дефекты в тестах или формулировке условий, что делает синтетические 96% недостаточным показателем готовности к продакшену.

Главная уязвимость мультиагентного подхода кроется в самой архитектуре делегирования полномочий. Когда оркестрирующий агент разбивает крупную бизнес-цель на подзадачи и распределяет их между специализированными агентами-исполнителями, граф принятия решений быстро усложняется. В теории разделение труда должно повышать качество за счет узкой специализации, но на практике оно создает эффект накопления искажений по цепочке.

В исследовании Google Research, охватившем 180 различных конфигураций, был зафиксирован тревожный паттерн: независимые мультиагентные системы усиливали ошибки до 17,2 раз из-за неконтролируемого распространения между агентами. Для централизованной архитектуры с оркестратором этот показатель составил 4,4 раза.

Механику этого процесса можно условно разложить на три стадии:

В результате система может генерировать огромное количество промежуточных рассуждений, логов и вызовов API, постепенно уходя всё дальше от первоначального намерения разработчика. В исследовании MAST, охватившем 1642 трейса семи популярных мультиагентных систем, доля неуспешных выполнений в зависимости от фреймворка составила от 41% до 86,7%. При этом отметим, что это результаты экспериментальных оценок, а не статистика отказов production-систем.

Подобная ненадёжность делает прямое подключение автономных агентов к критической бизнес-логике рискованным без серьёзного пересмотра контрольных контуров.

Столкнувшись с нестабильностью агентных систем, инженерные команды попытались применить проверенные методы классического DevOps: сбор метрик, трейсинг запросов и структурированное логирование. По данным отраслевого отчёта LangChain, 89% организаций уже используют какую-либо форму observability, а 62% имеют детальный трейсинг отдельных шагов и вызовов инструментов (среди компаний с агентами в production эти доли достигают 94% и 71,5% соответственно).

Однако здесь индустрия угодила в когнитивную ловушку: видеть то, ЧТО сделал агент, совершенно не означает понимать, ПРАВИЛЬНО ли он поступил с точки зрения бизнес-логики.

Тот же отчет выявил пугающую диспропорцию в инструментарии разработчиков:

Очевидно, что ручной аудит диалогов и трейсов принципиально не масштабируется. Представим компанию, где работают десятки агентов, совершающих тысячи операций в минуту: человек физически не способен обнаружить момент, когда агент-аналитик незаметно перепутал столбцы в финансовом отчете или исказил условия клиентского договора.

Команды смотрят на красивые графики успешных HTTP-ответов, формирующиеся без задержки, находясь в неведении относительно того, что внутри ответов содержатся логические ошибки.

Тупик жестко запрограммированных графов и хрупких цепочек промптов заставил исследовательское сообщество искать принципиально новые парадигмы координации. Исследование показало, что простое увеличение числа агентов не гарантирует роста качества: на последовательных задачах мультиагентные архитектуры в эксперименте ухудшали результат на 39–70%, в то время как на параллелизуемых задачах распределение ролей приносило ощутимую пользу.

Одним из исследовательских ответов на этот вызов стала концепция Agentic Neural Networks (ANN), представленная исследователями из Университета Людвига-Максимилиана в Мюнхене на ACL Findings 2026. Авторы предложили радикальный ментальный сдвиг: перестать рассматривать мультиагентную систему как жесткую диаграмму процессов (workflow) и взглянуть на нее как на нейронную сеть высшего порядка, где отдельными «нейронами» выступают полноценные ИИ-агенты.

Главное новшество архитектуры ANN — внедрение так называемого текстового обратного распространения ошибки (Textual Backpropagation):

Вспомогательные мета-слои, подобные алгоритму GRAO в системе TPGO от Alibaba, обучаются на истории предыдущих оптимизаций: система учится оптимизировать сам процесс своего улучшения и показывает прирост эффективности на экспериментальных задачах.

Такой подход позволяет перейти от жестких эвристик к системе, способной автоматически корректировать роли, промпты и шаблоны взаимодействия агентов на основе обратной связи исполнения.

Пока академические лаборатории шлифуют математические фреймворки саморазвивающихся сетей, продуктовым инженерам и CTO необходимо выпускать стабильно работающие решения уже сегодня. Для создания отказоустойчивой агентной среды эти принципы можно свести к пяти инженерным рубежам:

Для критических production-контуров разумно ограничивать глубину каскадного делегирования двумя уровнями, если более длинная цепочка не даёт измеримого выигрыша. Любая задача, требующая большего числа звеньев, должна декомпозироваться на независимые детерминированные сервисы.

Внедрение этих рубежей требует дополнительных инженерных усилий на этапе проектирования, но именно они отделяют жизнеспособный цифровой продукт от красивого, но непригодного для бизнеса демо-стенда.

Эпоха наивной веры в то, что автономные агенты способны творить чудеса на базе одного системного промпта, окончательно ушла в прошлое. Будущее прикладного искусственного интеллекта принадлежит не тем, кто собирает самые длинные цепочки из модных моделей, а тем, кто умеет выстраивать вокруг них строгие инженерные барьеры, надежные системы автоматической валидации и прозрачные контракты взаимодействия.

Если хотите глубже разобраться, почему связки агентов сыплются на практике и как инженеры страхуют свои сервисы в 2026 году, включайте свежий выпуск подкаста «Голос из Матрицы». В нём мы без маркетингового глянца препарируем данные Google Research и изнанку агентной революции.

Слушайте нас там, где удобно, подписывайтесь и оставайтесь на волне технологического прогресса: