Отладка агентов в кодинге: сложности и решения

Я говорил, что самая сложная фигня в агентском кодинге — это диффы.

Так вот, я вас обманул. На самом деле самая сложная часть — это отладка агентов.

Нечеткие агентские пайплайны склонны ломаться на чем угодно, а тестируются очень тяжело, ибо вариативность которую может подкидывать живая апишка LLM бесконечна.

В итоге, в пайплайнах, могут возникать какие-то абсолютно сумрачные состояния, которые непонятно откуда и почему вообще взялись. И оптимизации промптов чтобы добиться "нужной" логики упираются в то, что полноценно описать, что же мы считаем нужным поведением крайне сложно, да и гонять этот датасет каждый раз весьма накладно.

Грубо говоря, промпты агентов — это код, который тоже нужно тестировать, только он еще и динамически генерится по ходу, то есть ну капец вообще что такое.

Послушаю ваши умные мысли, как бы вы подходили к этой проблеме, и может люди уже все придумали и порешали.

Подписывайтесь на Telegram Глеб про AI.