Anthropic показала, как сократить расходы на ИИ-агентов в 3 раза: дорогие модели не должны выполнять всю работу самостоятельно

Предлагается разделить задачи между двумя уровнями моделей. Мощная LLM отвечает за планирование, постановку задач и финальную сборку ответа, а дешевые модели берут на себя всю рутинную работу: поиск информации, чтение документов и подготовку кратких выводов.

По результатам тестов такой подход оказался примерно в 2,5 раза дешевле и почти в 3 раза быстрее, чем использование одной большой модели для всего процесса.

Практически любой ИИ-агент выполняет два совершенно разных типа задач.

Первая требует высокого уровня интеллекта. Нужно понять запрос пользователя, придумать стратегию решения, разбить работу на части и затем объединить результаты.

Вторая намного проще. Это чтение сотен страниц документов, поиск информации в интернете, проверка фактов, просмотр логов, анализ большого объема текста. Здесь модель в основном тратит огромное количество токенов на механическую обработку данных.

Именно эта часть сегодня чаще всего становится самой дорогой.

На вершине находится координатор на базе флагманской модели. У него вообще нет инструментов поиска. Его задача только думать.

Он получает запрос пользователя, разбивает его на небольшие независимые задачи и отправляет их рабочим агентам.

Рабочие агенты используют более дешевую модель. Именно они получают доступ к поиску, открывают сайты, читают документы, собирают факты и возвращают координатору короткие отчеты.

После этого координатор анализирует уже готовые результаты и формирует итоговый ответ. При этом огромные объемы текста никогда не попадают в его контекстное окно.

Необходимо было проверить для десяти крупнейших национальных парков США стоимость въезда и наличие обязательного бронирования. Каждый факт нужно было подтвердить только официальными страницами.

Для этого координатор одновременно запустил десять рабочих агентов. Каждый исследовал только один парк.

Затем компания повторила тот же эксперимент с единственным агентом на флагманской модели, который самостоятельно выполнил всю работу.

Результаты оказались показательными.

Мультиагентная система закончила исследование примерно за 194 секунды, тогда как один агент справился только примерно за 608 секунд.

Стоимость выполнения также сильно отличалась.

При этом около 84% всех входных токенов обрабатывались именно дешевыми рабочими моделями.

Подход особенно хорошо работает в задачах, где нужно обработать большое количество информации.

Например:

Во всех этих сценариях основная стоимость возникает именно из-за объема прочитанного текста, а не сложности рассуждений.

Если задача небольшая, создание нескольких агентов может оказаться дороже обычного вызова модели.

Если требуется глубокий анализ самого документа, а не просто извлечение фактов, использование дешевой модели может привести к потере важных деталей.

Кроме того, эффективность зависит от правильного разбиения задачи. В одном из экспериментов исследователи обнаружили, что модель ошиблась уже на этапе определения списка крупнейших парков. Все последующие факты были тщательно проверены, но исходное предположение оказалось неверным. Поэтому иногда стоит выделять отдельного агента даже для проверки первоначальной гипотезы.

Если интересны технические детали, код и реализация мультиагентной схемы, посмотреть можно здесь: CMA_plan_big_execute_small.ipynb