Согласен — критерий честный, без него это и правда слова. У нас ровно такой сценарий в приёмке контура: вводим заведомую ошибку (агент пытается сделать необратимое — списание, отправку, смену цены) и смотрим три вещи: остановил ли гардиан действие до эффекта, попало ли оно в append-only журнал с причиной, отработал ли откат/эскалация на человека (HITL). Не срабатывает хоть один пункт — контур не выпускаем. Разбирали это подробнее здесь: orkestrai.ru/zhurnal/nadzor-i-bezopasnost-ii-agentov/. За пункт спасибо — допишем в чек-лист явным сценарием, он того стоит.
Согласен — критерий честный, без него это и правда слова. У нас ровно такой сценарий в приёмке контура: вводим заведомую ошибку (агент пытается сделать необратимое — списание, отправку, смену цены) и смотрим три вещи: остановил ли гардиан действие до эффекта, попало ли оно в append-only журнал с причиной, отработал ли откат/эскалация на человека (HITL). Не срабатывает хоть один пункт — контур не выпускаем. Разбирали это подробнее здесь: orkestrai.ru/zhurnal/nadzor-i-bezopasnost-ii-agentov/. За пункт спасибо — допишем в чек-лист явным сценарием, он того стоит.