NVIDIA представила метод масштабирования агентов для команд

✦ NVIDIA поделилась опытом масштабирования своего ИИ-агента AI-Q для глубокого анализа данных

✦ Агент работает с документами, внутренними источниками и веб-поиском

✦ Инструмент позволяет анализировать конфиденциальные данные локально благодаря открытому исходному коду

✦ В основе агента фреймворк LangGraph и инструменты NeMo Agent Toolkit

✦ Постепенное развертывание позволило адаптировать систему под сотни пользователей

✦ Для масштабирования использовали нагрузочное тестирование с 10 до 50 пользователей

✦ Обнаружены и исправлены ошибки: перегрузка CPU и таймауты LLM

Подписывайтесь на Telegram EFEMERA: AI news.