NVIDIA выпустила Джарвиса: Nemotron VoiceChat — открытый голосовой агент с задержкой 480 мс

Это первая открытая полнодуплексная модель для преобразования речи в речь, которая объединяет в себе распознавание, понимание и генерацию голоса в единой архитектуре. Nemotron - здесь

Классические голосовые агенты — это цепочка из трёх независимых моделей: сначала одна преобразует речь в текст (ASR), затем большая языковая модель (LLM) обрабатывает запрос, и наконец, третья синтезирует голос (TTS). Это создаёт задержки, требует стыковки разных систем и увеличивает сложность.

NVIDIA пошла другим путём. Nemotron VoiceChat — это единая, сквозная модель, которая слушает, понимает и говорит в рамках одного архитектурного решения.

Технические характеристики:

· Архитектура: гибрид Mamba/Transformer

· Параметры: 11 миллиардов

· Обучение: около 550 000 часов реальной и синтетической речи

· Лицензия: OpenMDW 1.1 (для исследований и разработки)

· Дата релиза: 3 августа 2026 года

Nemotron - здесь

Благодаря единой архитектуре и полнодуплексному режиму, Nemotron VoiceChat может одновременно слушать и говорить. Это позволяет реализовать ключевую функцию естественного диалога — возможность прервать агента. При тестировании задержка при перебивании (barge-in) составила 480 мс, а показатель успешного перехвата (take-over rate) достиг 1.00. Время смены реплик (turn-taking) составляет около 448–450 мс. Это делает взаимодействие с агентом максимально приближенным к разговору с человеком.

Модель способна не только поддерживать диалог, но и вызывать внешние инструменты, не прерывая беседу. Например, можно попросить агента проверить погоду или статус заказа, и он сделает это, продолжая говорить.

Это стало возможным благодаря наличию отдельного выходного канала для скриптов вызова инструментов. Пока модель обрабатывает запрос, она может использовать заранее определённые фразы «на удержании», чтобы заполнить паузу и сделать диалог более естественным.

Nemotron VoiceChat — это важный шаг вперёд. Модель демонстрирует, как должен работать голосовой ИИ будущего: быстро, естественно и без задержек. Она открывает новые возможности для разработчиков голосовых интерфейсов, контакт-центров, игр и других приложений. Однако для реального использования её ещё предстоит доработать и адаптировать.

Nemotron - здесь