BPMSoft — платформа безопасного ИИ. Обзор решения

Генеративный искусственный интеллект стремительно становится частью корпоративных бизнес-процессов. Однако вместе с новыми возможностями компании получают и новые риски: утечки данных, промпт-инъекции, нарушения требований информационной безопасности и комплаенса. Для решения этих задач BPMSoft развивает платформу ИИ-агентов со встроенными механизмами Guardrails, которые позволяют сделать использование больших языковых моделей (LLM) контролируемым и безопасным. О том, как устроена эта архитектура, рассказывает Михаил Варюхин старший архитектор BPMSoft (ИТ-холдинг LANSOFT).

По мере распространения больших языковых моделей меняется и характер угроз, связанных с их использованием в корпоративной среде. Давайте разберемся с ключевыми.

Еще недавно одной из главных проблем считались так называемые галлюцинации — ситуации, когда модель уверенно генерировала недостоверную информацию. С развитием современных LLM вероятность подобных ошибок существенно снизилась: актуальные модели научились признавать границы своих знаний.

Более актуальной угрозой остаются промпт-инъекции — попытки через специально сформированные запросы или последовательность диалогов заставить модель выйти за рамки предусмотренного сценария работы. По оценкам индустрии, до 70-90% таких атак успешно блокируется современными средствами защиты, но каждая пропущенная инъекция может привести к инциденту в компании.

Отдельную категорию составляют риски корпоративного комплаенса. Даже если модель не галлюцинирует и не подверглась атаке, она может сформировать ответ, содержащий чувствительную информацию, внутренние данные или контент, нарушающий внутренние политики организации.

Еще один важный аспект связан с обработкой персональных и конфиденциальных данных (ПДн) при взаимодействии с внешними облачными LLM. Для решения этой задачи применяется технология маскирования данных. Перед отправкой запроса в модель чувствительная информация заменяется специальными токенами. После получения ответа система автоматически восстанавливает исходные значения. Так ПДн не покидают защищенный контур. Однако на практике крупные компании все чаще выбирают сценарий полного размещения ИИ-инфраструктуры внутри собственного периметра безопасности. В этом случае и прикладная система, и LLM работают в едином защищенном контуре. Фокус защиты смещается с маскирования на контроль поведения модели и аудит ее действий.

В результате основным инструментом обеспечения безопасной эксплуатации корпоративного ИИ становятся механизмы Guardrails.

Guardrails — это набор механизмов контроля, который позволяет управлять поведением LLM. Для его реализации в BPMSoft используются открытые инструменты Microsoft Presidio и LLM Guard, каждый из которых решает свой класс задач

Presidio отвечает за выявление, анонимизацию и защиту чувствительной информации. Инструмент в составе BPMSoft обнаруживает ПДн, финансовые реквизиты, контактную информацию и другие конфиденциальные сведения, и при необходимости автоматически маскирует их перед передачей в языковую модель с последующим демаскированием при получении ответа.

LLM Guard обеспечивает контроль взаимодействия с LLM на уровне запросов и ответов. Инструмент анализирует входящие промпты и исходящие результаты генерации, выявляя потенциально опасные сценарии: промпт-инъекции, неприемлемый контент, запрещенные темы.

В BPMSoft механизмы Guardrails являются элементом архитектуры. Вся коммуникация между прикладной системой и языковыми моделями проходит через единый контур контроля. Пользователь или разработчик не могут обойти этот уровень защиты. При этом гибкая система настроек в BPMSoft дает возможность адаптировать защитные механизмы под требования конкретной организации. Например, можно настроить автоматическое маскирование определенных типов данных, блокировку ответов с запрещенными темами, применение специальных корпоративных правил комплаенса.

В четвертом квартале 2026 года BPMSoft представит новую платформу ИИ-агентов, которая станет единым центром взаимодействия между бизнес-приложениями BPMSoft и большими языковыми моделями.

Платформа ИИ-агентов берет на себя функции Guardrails и обеспечивает проверку запросов и ответов на всех этапах взаимодействия с моделью. Дополнительно осуществляется мониторинг потребления токенов через open-source платформу Langfuse, ведется журналирование операций и формируется аудит взаимодействия пользователей с ИИ-сервисами.

Аналогичные механизмы применяются и при работе с внешними инструментами через протокол MCP (Model Context Protocol) – открытый стандарт, который определяет способ подключения внешних источников данных и инструментов к ИИ-агентам.

Одновременно с выходом платформы ИИ-агентов в BPMSoft будет расширен инструментарий low-code-разработки. В конструкторе бизнес-процессов появится новый элемент — «ИИ-агент». Если в текущих версиях BPMSoft разработчик взаимодействует с LLM через настройку отдельных запросов и промптов, то новая модель предполагает работу с полноценными агентами, способными выполнять сложные многошаговые задачи, использовать инструменты, обращаться к внешним источникам данных и самостоятельно выбирать оптимальный сценарий выполнения поставленной задачи, при этом используя базовые механизмы ядра безопасности BPMSoft и не заменяя их.

Платформа ИИ-агентов BPMSoft проектируется с учетом требований современных стандартов в области управления ИИ-системами. В частности, решение соответствует положениям ГОСТ ИСО/МЭК 23894-2023, определяющего подходы к управлению рисками при использовании иск

Соответствие этим стандартам особенно важно для заказчиков из госсектора и регулируемых отраслей, где требования к управляемости ИИ формализованы на уровне нормативных актов.

На первом этапе пользователям будут доступны преднастроенные агенты, каждый из которых ориентирован на решение определенного класса задач.
Базовым агентом станет Софья 2.0 — эволюция универсального помощника, хорошо знакомого пользователям BPMSoft. Новая версия получает агентную архитектуру: она не просто отвечает на вопросы, а способна использовать внешние сервисы и корпоративные инструменты для получения актуальной информации. Например, по запросу пользователя агент сможет получить сведения о контрагенте по ИНН через интеграцию с сервисом DaData.

Второй агент — @kbAgent (Knowledge Base Agent) — предназначен для работы с корпоративными базами знаний. Благодаря использованию технологии RAG (Retrieval-Augmented Generation) он находит информацию в нормативной документации, регламентах, инструкциях и других внутренних источниках данных компании, формируя ответы на основе проверенной информации, а не знаний языковой модели.

В последующих релизах BPMSoft предоставит UI-конструктор, который позволит заказчикам самостоятельно создавать и настраивать собственных ИИ-агентов, определять их роли, наборы инструментов, правила принятия решений и параметры безопасности. Например, агент для консультации клиентов, расчета скидок, проверки статуса заказов или выполнения специализированных отраслевых операций.

Рынок корпоративного ИИ в России стремительно растет, и большинство вендоров предлагают схожий набор возможностей: интеграция с LLM, RAG, ИИ-агенты. Ключевое различие — в зрелости подхода к безопасности и управляемости. BPMSoft делает ставку на то, что ИИ-агент — это не просто «еще одна кнопка в интерфейсе», а полноценный участник бизнес-процесса, который должен быть встроен в корпоративный контур безопасности так же, как любой другой сервис или сотрудник.

Речь идет о переходе BPMSoft к полноценной агентной архитектуре, где ИИ становится управляемым элементом корпоративных бизнес-процессов и при этом остается полностью контролируемым с точки зрения информационной безопасности и комплаенса.

Узнать больше о платформе ИИ-агентов BPMSoft, ознакомиться с техническими деталями реализации Guardrails и получить доступ к демо-стенду можно на сайте.