NVIDIA PersonaPlex: новая модель диалога с естественными перебиваниями

Как же это похоже на естественный диалог.

NVIDIA показали PersonaPlex, который умеет говорить, перебивая

Это открытая полно-дуплексная speech to speech модель на 7B, собранная на Moshi и Helium, и она слушает входящую речь и параллельно генерирует ответ голосом в реальном времени. Звучит как нормальный живой диалог, с угу да-да, паузами и естественными перебиваниями.

Самое классное тут в гибридном управлении: текстом задаете роль и поведение, а коротким аудио примером фиксируете голос, тембр и манеру речи, то есть можно быстро переключать персоны и голоса без долгой возни.

Потестите в Nvidia personaplex на GitHub, и если у вас получится самый забавный кастомный голос под роль - присылайте!

Подписывайтесь на Telegram Точки над ИИ.