Asana оптимизировала ИИ-агента, снизив стоимость задач в 29 раз

Команда Asana 8 октября поделилась результатами оптимизации своего браузерного ИИ-агента в платформе StackAI, которая автоматизирует работу с сайтами и веб-формами. После исправления кэша истории запросов, расходы на выполнение одной задачи снизились в 29 раз по сравнению с исходной моделью. При этом, если сравнивать с оптимизированным вариантом на модели GPT-6.1 Sol, экономия составила 76 раз.

Проблема заключалась в том, что агент сохранял в кэше системные инструкции и описания инструментов, но при каждом новом запросе изменял накопленную историю страниц и скриншотов. Это приводило к тому, что значительная часть уже обработанных токенов не могла быть повторно использована, и история оплачивалась как новый ввод.

Инженеры Asana увеличили объём кэша с 120 до 480 тысяч символов и заменили поштучное удаление скриншотов на пакетное. В одной из проверенных политик агент мог накапливать до 20 снимков, оставляя только последний. Это позволило сохранить большую часть префикса запроса неизменной между очистками.

На анонимизированной модели B оценка стоимости выполнения задачи упала с 36,21 до 1,24 доллара. Для оптимизированного GPT-6.1 Sol средняя оценка составила $0,47 с временем выполнения около четырёх минут. В исследовании было проведено 144 основных запуска и 12 дополнительных на четырёх моделях, каждая из которых решала одну задачу, собирая данные о 32 книгах из демонстрационного каталога.