Как я снизил потребление токенов агентами в 2 раза

Мой кодинговый пайплайн — это большое количество агентов, работающих друг за другом в цепочке. Каждый из них тщательно готовится и снабжается текущим актуальным контекстом, соответствующим именно этому этапу задачи.

Запрос пользователя -> Архитектура -> Планирование -> Написание кода <-> Ревью -> Финальная интеграция

В одном месте стрелочка идет не только вправо, но и влево.

Ревьюер может возвратить работу кодеру с просьбой переделать то-то и то-то.

И для сложных задач это бывает регулярно. Вчера публиковал результат работы по внедрению авторизации, ревьюер возвращал задачу в доработку 8 раз!

Маленький лайфхак — большой эффект

И вот тут крылась проблема. На каждой такой итерации накапливался рабочий контекст задачи. Так как и кодер и ревьюер могут попросить оркестратор подкинуть им дополнительных файлов для анализа. Но не было механизмов убрать их из контекста.

Ерунда?

Я тоже так думал.

Пока очередная таска не переполнила мне контекстное окно.

Поэтому я внедрил простейшую штуку. Ревьюер стал не просто возвращать задачи в доработку, а прямо говорил, какие файлы еще актуальны в контексте, а какие можно убрать.

Результат — экономия токенов на длительных задачах более чем в 2 раза. Очень доволен.

И в качестве общего наблюдения. Система из агентов гораздо лучше работает, когда они следят друг за другом и делают кросс-проверку результатов. Этап код-ревью резко снижает шансы на классическое "я сделяль, насяльника", в то время как там конь не валялся. Пользуюсь этим паттернам постоянно.

Подписывайтесь на Telegram Глеб про AI.