MOSS TTS новая открытая модель синтеза речи с поддержкой русского языка

Еще дней 10 назад пощупали в тг чате MOSS-TTS от OpenMOSS-Team, решил оформить в артефакт (пост).

Интересна тем, что это не одна модель, а пять чекпоинтов:
- реалтайм стриминг с клонированием
- оффлайн синтез на 1.7B и 8B
- генерация голоса по описанию (VoiceGenerator)
- генерация звуковых эффектов (SoundEffect)

Тестим как обычно на RTX 3090.

Streaming Realtime

Самая маленькая модель, предназначена для реалтайм синтеза с клонированием голоса. Ну как маленькая, съедает 12 GB VRAM.

Streaming Realtime:
Warmup time: 402.77s
Generation time: 13.86s
Audio duration: 10.72s
TTFB: 1.024s
RTF: 1.29x

Warmup почти 7 минут. RTF 1.29x, то есть медленнее реалтайма, TTFB больше секунды. Для реалтайм модели как-то не очень реалтайм.

Но главная проблема не в скорости, а в качестве. Речь ощутимо уплывает в акцент, причем чем дальше по тексту - тем сильнее. К третьему семплу акцент уже прям заметный. Качество стриминга в целом ниже, чем у оффлайн моделей.

Offline 8B

Самая большая модель семейства. Еле влезла в 24 GB на RTX 3090.

Offline 8B:
Generation time: 77.51s
Audio duration: 14.80s

Вот тут уже более-менее. Звучит нормально, акцент не так бросается в уши, как у стриминговой модели. Из всего семейства - единственный претендент на что-то приличное для русского языка. Но 24 GB VRAM дороговато за "нормально".

Offline 1.7B

Младшая оффлайн модель. Споткнулась при тестировании, результат нестабильный. Детально гонять не стал, после 8B и стриминга уже было понятно, что не очень.

VoiceGenerator

Генерация голоса по текстовому описанию. Русский язык выходит с заметным акцентом. Пробовал через демку на HF и локально, из того что послушал - пока мимо, qwen3 tts с подобной моделью справляется лучше.

SoundEffect

А вот это было самым интересным для меня. Генерация звуковых эффектов по текстовому описанию, открытых решений такого плана я особо не видел (да и закрытых тоже).

Ожидал большего. Результат шумный и грязный. Для продакшена точно не годится, но как proof of concept - любопытно. Если доработают качество, может получится что-то годное.

Итого

Из всего семейства MOSS-TTS для русского языка 0 претендентов на топы. Единственная модель, которая звучит более-менее - 8B оффлайн, но она огромная и не быстрая. Реалтайм модель уплывает в акцент, VoiceGenerator тоже, SoundEffect грязно звучит.

Примеры синтезов, как всегда в комментариях в телеграме под постом.

Github:
https://github.com/OpenMOSS/MOSS-TTS
Демка простого синтеза с клонированием: https://huggingface.co/spaces/OpenMOSS-Team/MOSS-TTS
HF со всеми весами и демками:
https://huggingface.co/OpenMOSS-Team

Подписывайтесь на Telegram – xVibeNot