Ваши данные будут в безопасности, потому что исходный код Guardrails Filter теперь в open source
Можно бесплатно развернуть прозрачный прокси в своей инфраструктуре и использовать его с ИИ-моделями любых провайдеров.
Утечки персональных данных через языковые модели — это уже не теория, а ежедневная реальность. Пока сотрудники отдают нейросетям логи чатов, саммари созвонов, анализы или тексты договоров с именами, ИНН и реквизитами счетов, риск растет с каждым запросом. Надеяться на то, что люди сами вычистят чувствительную информацию из промптов, — не инженерный подход. Поэтому чтобы бизнес мог легально и безопасно использовать ИИ, мы выложили исходный код нашего Guardrails Filter в открытый доступ.
Как работает защита
Guardrails Filter — это прозрачный обратный прокси между вашим приложением и провайдером LLM. Он находит чувствительные данные в запросе до того, как они улетят во внешнюю модель, заменяет их маскированными значениями, отправляет «очищенный» текст нейросети, получает ответ и возвращает в него исходные значения.
Изначально мы разрабатывали инструмент для своей цифровой среды Evolution AI Factory, чтобы защищать запросы к моделям из каталога облачного сервиса Evolution Foundation Models. Опенсорс-версия не привязана ни к каким платформам и моделям в конкретном облаке. Бизнес может развернуть Guardrails Filter в своей инфраструктуре и самостоятельно управлять им через веб-интерфейс: настраивать и тестировать правила защиты, отсматривать логи и алерты.
С инженерной точки зрения создание базового механизма детекции и маскировки чувствительных данных с их последующим восстановлением — не такая сложная задача. Сложность кроется в мелочах вокруг. Например, в том, чтобы не сломать взаимодействие модели с ИИ-приложением или в том, чтобы сделать процесс маскировки быстрым и «дешевым».
И даже если эти задачи решены, остается вопрос с тем, как научиться правильно подставлять обратно исходные значения, даже когда ответ модели приходит не целиком, а маленькими кусочками. Мы с этой задачей справились и поделились со всеми.
Что внутри Guardrails Filter
На GitHub и GitVerse опубликованы две версии прокси-сервиса:
- Standalone service — один Go-бинарь и три порта (data-plane, конфиг API с веб-консолью и метрики Prometheus). Поднимаете упакованный докер-образ, указываете GUARDRAILS_UPSTREAM_BASE_URL и получаете полноценный прокси, который может быть шлюзом для работы с LLM-моделями любых поставщиков. При этом вы сами решаете, направлять туда весь трафик или только от отдельных приложений.
- ExtProc для Envoy — решение для продвинутых сетевых администраторов. Если трафик уже идет через Envoy, администратор подключает сайдкар ext_proc и логика детекции применяется централизованно ко всему трафику — переключать настройки в каждом приложении по отдельности не придется.
В каждой версии около 260 готовых правил для российских реалий: учетки, API-ключи, номера карт, СНИЛС, ОГРН, ИНН, IP-адреса. Одной операции на выполнение нужны микросекунды, 1 CPU и 1 RAM.
Кроме маскировки данных важно еще иметь возможность посмотреть, что именно пытается выйти за контур компании. Для этого есть встроенная веб-консоль — она показывает общую статистику срабатываний, типы данных и целевые адреса. Там же можно создать свои правила и обкатать их в песочнице.
Система предусматривает журналирование событий безопасности и тестовый режим Ghost Mode, чтобы проверить работу Guardrails Filter еще до его включения. То есть можно выключить маскирование, но оставить детекцию, чтобы посмотреть, как работает фильтр.
Сравнительные тесты и метрики качества
Высокое качество работы Guardrails Filter подтверждено на публичном бенчмарке pii-bench. Инструмент набрал 93,1 балла по комплексной метрике качества распознавания F1, а точность срабатываний достигла 99,9%. На практике это означает, что сервис надежно обнаруживает чувствительные данные и почти не принимает обычный текст за конфиденциальную информацию: примерно 999 из 1 000 его срабатываний оказываются верными.
Что еще важно — это проверка российских ПДн с контрольными суммами (СНИЛС, ИНН, ОГРН) и каталог секретов и API-ключей на основе gitleaks и других баз эвристических подходов.
Если сравнивать с альтернативами, то Guardrails Filter — единственное open source решение, которое полноценно восстанавливает данные в ответе модели прямо внутри потокового SSE-ответа токен за токеном и в аргументах вызова инструментов. У LiteLLM+Presidio, Kong AI Gateway, Portkey и NeMo Guardrails эта функция либо работает частично, либо отсутствует вовсе.
Что получает пользователь, а что провайдер
Банкам, страховым и e-comm особенно важно оставлять чувствительные данные в своем контуре. Поэтому им Guardrails Filter дает уверенность в том, что ничего не уйдет за границу и не будет использовано для атак.
Мы, как облачный провайдер, хотим снять барьер информационной безопасности, который сейчас тормозит внедрение ИИ. Многие хотели бы автоматизировать рутину с помощью моделей, но их останавливает комплаенс. Guardrails Filter даст отрасли импульс вперед.