Флоу итераций команды AI-агентов

Чтобы получить желаемый по качеству результат от агентской команды, необходимо прокрутить ряд итераций, корректируя работу агентов. Эти итерации, по-хорошему, нужно правильно документировать, чтобы процесс настройки команды был управляемым.

Я хочу поделиться своим текущим подходом. Возможно, кто-то может дополнить или предложить нечто иное, более удобное.

Я строю агентские команды на фреймворке CrewAI, поэтому флоу в первую очередь под него, но подойдет и под другие фреймворки в том числе.

Пока пришел к такому флоу:

ставлю гипотезу и формулирую задачу
формирую команду, цели и задачи
запускаю команду -> получаю логи
скармливаю логи в ChatGPT -> получаю саммари и описание флоу работы по логам
фиксирую в Notion-таблице для каждой итерации: a) Python-скрипт команды, b) исходные логи, c) обработку логов из ChatGPT, d) стек технологий (например, CrewAI + Groq + Llama-3-8b), e) дополнительный контекст итерации
корректирую гипотезу / ставлю новую -> продолжаю цикл