Nvidia представила платформу Open Agent Safety для контроля ИИ-агентов — по словам компании, она могла бы предотвратить инциденты вроде взлома Hugging Face
Сторонние разработчики могут использовать технологии Nvidia для создания собственных решений.
- Open Agent Safety Platform — набор инструментов для обеспечения безопасной работы ИИ-агентов, пишет CNBC. С его помощью разработчики могут настраивать защитные механизмы, чтобы модели не могли выйти из изолированной среды.
- Один из компонентов платформы называется OpenShell. Он работает на центральных процессорах и «ограничивает возможности агентов». Компания также анонсировала инструмент Sentry, который отслеживает поведение агентов и работает на сетевых чипах, а не на CPU или GPU.
- Часть элементов платформы — это программы с открытым исходным кодом. Nvidia предлагает сторонним разработчикам создавать свои решения на основе её технологий. В числе партнёров она назвала Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, ARM и Intel. Компания также работает с Anthropic над интеграцией OpenShell.
- По словам Nvidia, использование инструментов Open Agent Safety позволит предотвращать инциденты вроде взлома Hugging Face агентами OpenAI и других случаев несанкционированного поведения моделей.