Система самообучающихся агентов: процесс и результаты внедрения
Реализовал эту систему самообучающихся агентов для 2х клиентов, по одному уже можно сказать, что это работает очень хорошо
Какой в итоге процесс в продакшне:
1) Сначала разработчик оценивает approval rate: то есть, как часто сейлз соглашался с предложенным AI вариантом. Если не устраивает, то идем дальше
2) Если есть хотя бы 3 кейса, то запускаем процесс мета-анализа —> для этого используется reasoning модель
3) Выдержка из мета-анализа:
"The AI response kept pressing for information after the prospect had clearly declined. That can feel pushy, disrespect privacy, and risk damaging rapport. The human chose to acknowledge the ‘no’ and end the exchange courteously"
4) Разработчику предлагается сгенерировать и посмотреть новый промпт с diff-ами, что изменилось
5) Если все гуд, то он апрувит и новый промпт начинает работать.
6) Через недельку разработчик оценивает, повысился ли approval rate
Что еще можно сделать:
1) A/B тест —> новый промпт раскатываем только на часть кейсов, и, когда уверены в улучшении approval rate, раскатываем на всех
2) Автономия —> пока есть везде human in the loop, но может быть с реализацией пункта 1 можно попробовать и автономно раскатывать новую версию на малую долю кейсов и принимать решение о раскатке на всех без участия человека
Подписывайтесь на Telegram EDU.