Какие права нельзя выдавать ИИ-агенту сразу
Короткий ответ: человеческие. Новому ИИ-агенту не следует сразу разрешать отправлять деньги, удалять данные, менять права доступа и совершать юридически значимые действия. Безопасный принцип прост: сначала чтение, затем подготовка черновика и только потом ограниченное выполнение.
Часто агент подключается через аккаунт конкретного сотрудника. Получается, что вместе с доступом к одному процессу он наследует десятки полномочий, которые ему не нужны.
Например, для проверки статуса заказа агенту достаточно прочитать карточку клиента. Ему не требуется право менять реквизиты, удалять сделку или выгружать всю базу.
Четыре уровня риска
Низкий риск: поиск, классификация, сокращение текста и извлечение данных. Здесь обычно достаточно выборочной проверки.
Средний риск: подготовка письма, отчёта, договора или коммерческого предложения. Каждый результат перед использованием проверяет человек.
Высокий риск: отправка сообщений, публикация, изменение или удаление информации. Перед выполнением необходимо явное подтверждение.
Критический риск: платёж, выдача доступа, подписание документа или действие с юридическими последствиями. Такие операции лучше запретить либо проводить через отдельное согласование.
Что проверить перед подключением
Нужно определить:
- к каким системам обращается агент;
- какие данные он может прочитать;
- какие действия способен выполнять;
- от чьего имени он работает;
- как быстро можно отозвать доступ;
- где сохраняется журнал операций;
- что произойдёт после ошибки или сбоя.
Особенно опасны общие учётные записи. Если человек и агент используют один аккаунт, расследовать инцидент будет почти невозможно.
Правильная автоматизация начинается не с вопроса «Что ещё разрешить ИИ?», а с вопроса «Без какого права он всё ещё может выполнить задачу?».
Разборы уровней риска и человеческого контроля собраны в Daturum AI.