Законы масштабирования агентных систем
Уже давненько ходит правило масштабирования LLM: больше параметров модели и больше данных практически гарантированно дают лучше результаты. Но есть ли подобные правила в агентных системах? Можно ли в сложных задачах просто навалить побольше агентов? Оказывается не все так просто.
Всего год назад была работа, которая говорила: "да, просто делайте больше агентов с голосованием, и это даст в среднем всегда более высокие результаты". Но с тех пор много агентов утекло.
В новой статье от Google DeepMind и MIT "Towards a Science of Scaling Agent Systems" авторы провели исследование на 180 конфигурациях, собираемых при стандартизированных структурах промптов, наборах тулов и бюджетах токенов на ризонинг. Исследовали конфигурации из:
• моделей семейств GPT, Gemini, Claude
• 5 агентных архитектур: Моноагентная система (SAS) и четырех Мультиагентных систем (MAS): Независимая, Централизованная, Децентрализованная, Гибридная (см картинку с различиями архитектур).
А качество замеряли на 4- бенчмарках:
• Finance-Agent (финансовый ризонинг)
• BrowseComp-Plus (навигация по вебу)
• PlanCraft (планирование)
• Workbench (использование тулов).
См результаты на скриншоте из статьи.
Три основных принципа
Именно столько рисерчеры сформулировали по итогам исследования. Вот они:
- Трейд‑офф «инструменты vs координация». Чем больше инструментов и сложнее пайплайн, тем сильнее он страдает от мультиагентности. Все из-за того, что расходы на оркестрацию системы растут быстрее, чем прирост качества результата. Все как у людей, в общем-то 😈
- «Потолок способности». Когда одиночный агент уже достигает ~45%+ точности, добавление агентов чаще вредит, чем помогает
- Мультипликация ошибок в зависимости от архитектуры. Если уровень ошибок SAS взять за единицу, то Независимая MAS увеличивает ошибку в более чем 17 раз! Меньше всего увеличивает ошибку Централизованная MAS — в 4,4 раза
Из разряда "спасибо кеп" также сделали вывод, что мультиагентные архитектуры дают сильный профит на хорошо декомпозируемых аналитических задачах (на финансах MAS дает прирост до ~80% по сравнению с SAS), умеренный — на веб-браузинге и офисных сценариях, и стабильный ущерб (ухудшение на 39−70%) на жёстко последовательных задачах типа PlanCraft. Все потому, что на жестко последовательных задачах AI агенты не нужны! Они только вносят ошибки.
Круто, что теперь при создании мультиагентных систем у нас появляются хотя бы примерные ориентиры, когда как лучше делать. Это поможет сэкономить время и токены на экспериментах! 👨 🔬
Поделитесь с вашими командами, которые трудятся над мультиагентными системами.
Подписывайтесь на Telegram Заместители.