Какие права выдать ИИ-агенту: граница по обратимости, лимиты и выборочная проверка

Меня зовут Карим, я занимаюсь автоматизацией в NODA. Под моей статьёй про стоимость ИИ-операции собралась ветка, из которой выросло то, чего в статье не хватало: ответ на вопрос «а какие права вообще давать агенту». Этот текст — каркас, который мы теперь используем на старте каждого агентного проекта, с указанием, откуда он взялся.

Короткий ответ. Права агента раздаются не по задачам, а по последствиям: всё, что он может сделать, раскладывается в три корзины по обратимости и цене ошибки. Обратимое и дешёвое — делает сам в лимитах. Обратимое, но заметное снаружи — готовит, человек подтверждает одним действием. Необратимое и денежное — только человек, агент собирает пакет. Плюс два элемента, без которых корзины разваливаются за квартал: выборочная проверка первой корзины и владелец границы. Ниже — как это раскладывается за день и где ломается.

Обычный разговор о внедрении агента начинается с задач: «пусть отвечает клиентам», «пусть ведёт карточки в CRM». Это описание работы, а не границ. Права при этом выдаются по принципу «сколько нужно для задачи», и агент получает доступ к письмам, деньгам и удалению разом — потому что задача «вести клиента» формально включает всё.

Разворот простой и дорогой в последствиях: сначала границы, потом задачи. Агент может делать что угодно внутри корзины и ничего за её пределами, а список задач — это уже наполнение, которое меняется без пересмотра прав.

Формулировку границы я беру у Антона Фокина из той самой ветки, с его разрешения по сути сказанного публично: «обратимое и дешёвое агент делает сам в лимитах». Остальное — развёртка.

Корзина первая: сам, в лимитах. Действия, которые можно отменить за минуту и которые стоят копейки, если пошли не так: черновик ответа по базе знаний, заполнение полей карточки, присвоение тега, внутренняя заметка, напоминание сотруднику. Лимиты здесь — не бюрократия, а техника: число операций в час, суточный потолок, запрет на массовые изменения одним действием. Лимиты живут в правах доступа систем, а не в регламенте на бумаге — бумага агента не останавливает.

Корзина вторая: готовит, человек подтверждает. Обратимое, но заметное за пределами компании или массовое внутри неё: письмо клиенту, изменение статуса сделки, рассылка, правка цены в каталоге. Агент делает всю работу до последнего шага, человек подтверждает одним действием — не редактирует, а принимает или отклоняет. Если подтверждение превращается в переписывание, задача лежит не в той корзине.

Корзина третья: только человек. Деньги, удаление, обязательства перед контрагентами, персональные данные наружу, доступы. Агент здесь полезен как сборщик пакета: подтянуть историю, проверить реквизиты, сверить с правилом — и остановиться. Про это была статья об агентах: цена ошибки решает больше, чем способность модели. Самые зрелые внедрения, которые я видел, держат третью корзину жёстко даже при идеальных метриках первой.

Выборочная проверка первой корзины. «Не проверять каждый ответ» не значит «не измерять». Из операций, которые агент делает сам, несколько процентов случайных уходят человеку на проверку — не для согласования, а как датчик. База знаний протухает тихо, и доля ошибок в дешёвом обратимом растёт раньше, чем кто-то заметит её в дорогом необратимом. Выборка стоит копейки, очереди не создаёт и ловит дрейф за недели до жалоб.

Владелец границы. Корзины — не константа. Агент, который три месяца безошибочно готовит письма, может переехать из второй корзины в первую; агент, у которого доля переделок поползла вверх, едет обратно. Это решение должен кто-то принимать по цифрам — доле переделанных операций, доле незавершённых, повторным обращениям. У границы есть имя и ежемесячный слот, иначе она утверждена один раз и живёт, пока не рванёт.

Список операций, которые агент будет делать, обычно укладывается в двадцать-тридцать строк. По каждой — два вопроса: можно ли отменить за минуту и сколько стоит ошибка, если не отменить. Два ответа дают корзину. На практике первая корзина получается самой длинной, третья — самой короткой, и это нормально: автономия достаётся дешёвому и обратимому, а не важному.

Дольше одного дня занимает не раскладка, а лимиты в системах: права доступа, потолки, журнал действий агента. Это неделя работы, и она же — главная строка сметы, потому что без журнала третий элемент, владелец границы, работает вслепую.

Корзины считают цену ошибки, а не вероятность. Агент может делать необратимые вещи почти всегда правильно — и всё равно сидеть в третьей корзине, потому что редкая ошибка там дороже всей экономии. Для кого-то это избыточная осторожность; для меня — единственный способ не считать вероятности, которых никто не знает.

И второе: каркас собран на внедрениях в малом и среднем бизнесе, где агент один и владелец границы — конкретный человек. В большой компании с десятком агентов корзины превращаются в политику доступа, и там нужна другая механика; я её не разбирал.

Вопрос в комментарии: какая операция у вас лежит не в своей корзине — агент делает сам то, что стоило бы подтверждать, или человек подтверждает то, что можно отпустить? Второе встречается чаще, чем первое, и стоит дороже, чем кажется.