Чем опасны ИИ-агенты и как снизить риски вреда от них

В ИИ-агентах крайне опасны три особенности их работы. Это доступ к личным данным; возможность отправлять сообщения и файлы вовне; подверженность ненадёжному контенту от третьей стороны. Большие языковые модели (БЯМ, LLM) пока не умеют сортировать важность команд по источнику и лишь следуют инструкциям в тексте. Как обезопаситься? Использовать рабочие шаблоны проектирования агентов, которые хотя бы минимизируют риски. Шаблоны разработали 11 экспертов из IBM, Invariant Labs, ETH Zurich, Google и Microsoft.

ИИ-агенты — это сложные системы, в состав которых входят LLM-агенты, API, инструменты, память, и работать они могут не только с текстом, но и с другими данными, передавать информацию на другие устройства. Необходимо контролировать действия агентов, чтобы избежать утечек данных, непреднамеренных покупок и иных проблем.

Задача шаблона — сделать так, чтобы агент мог запускать инструменты, но не мог получать их ответы и реагировать на них.

Так, у агента, который выполняет функции чат-бота для обслуживания клиентов, фиксируется набор доступных ему действий, и ему разрешено выбирать только одно из них в зависимости от запроса пользователя. Например:

· восстановить ссылку на последний заказ клиента;

· предложить пользователю перейти в панель настроек для изменения пароля;

· перенаправить пользователя в панель настроек для изменения его платежных данных.

LLM выступает как преобразователь между запросом на естественном языке и списком, что следует сделать с ненадежными данными. Этот шаблон также снижает риски влияния злонамеренных промптов в пользовательском вводе, поскольку промпт удалятся до того, как агент ответит пользователю.

Шаблон подразумевает, что агент получает обратную связь от внутренних инструментов, по ним составляет фиксированный план действий, затем действует по этому плану, в т.ч. обращается к внешним инструментам. Риск, что вредоносные промпты извне повлияют на процесс и скорректируют план действий, снижается.

Согласно этому шаблону, привилегированная LLM получает инструкции, планирует действия, может использовать инструменты, управляет изолированной LLM. Изолированная LLM обрабатывает ненадежные данные и возвращает безопасные ответы.

Частный случай шаблона двойной LLM-архитектуры. Основной агент отправляет изолированные субагенты взаимодействовать с внешними данными.

Например, задача ИИ-агента — найти файлы с счетами-фактурами и отправить их по электронной почте в бухгалтерию. Сначала основной агент отправляет по одному субагенту на каждый файл, чтобы те сообщили логическим значением true (истина) или false (ложь), есть ли там счёта-фактуры. Затем основной агент объединяет все искомые файлы и использует другую большую языковую модель, чтобы написать и отправить письмо.

Напоминает шаблон «Запланировать, затем выполнить», но агент пишет не просто план действий, а компьютерную программу для решения задачи. Уже эта программа может вызывать инструменты, доступные агенту, и запускать непривилегированные LLM для обработки ненадежных данных.

К сожалению, работа ИИ-агентов по этим шаблонам допускает вредоносные промпт-инъекции в промпт пользователей: либо из-за их злонамеренных действий, либо из-за случайного копирования и вставки вредоносного кода с веб-сайта злоумышленника — тоже пользователем. Защититься от этого поможет еще один шаблон.

Согласно этому шаблону, ИИ-агент удаляет лишний контент на каждом шаге, чтобы снизить шанс внедрения промпт-инъекции.

Например, недобросовестный пользователь запрашивает у чат-бота стоимость нового холодильника и пытается с помощью промпт-инъекции получить большую скидку. Согласно шаблону, ИИ-агент преобразует запрос пользователя в запрос к базе данных — например, в SQL-запрос для поиска последних ценовых предложений. Перед ответом клиенту его промпт удалится из контекста, чтобы промпт-инъекция не повлияла на работу агента.

Обезопасить себя прямо сейчас поможет аудит ИИ-агентов. При обучении уже можно использовать состязательные методы для распознавания и отклонения вредоносных или неожиданных входных данных. Важно ограничить доступ к чувствительным данным, включить проверку человеком перед выполнением конфиденциальных действий, — и, наконец, начать использовать шаблоны из списка. Главное: не давайте ИИ-агенту право отправлять данные вовне без явного контроля.