vibe code - why not?
Наконец-то добрался пощупать VibeVoice от Microsoft, флагман в open-source по размеру, а может и по качеству.
Релиз модели был еще в конце августа 2025, а уже 4 сентября 2025 репозитории с моделью удалили.
Причина:
VibeVoice is an open-source research framework intended to advance collaboration in the speech synthesis community. After re…
Сегодня релизнули веса Qwen3-TTS и там есть поддержка русского языка.
Полный список языков которые поддерживает модель:
- Китайский (Chinese)
- Английский (English
- Японский (Japanese)
- Корейский (Korean)
- Немецкий (German)
- Французский (French)
- Русский (Russian)
- Португальский (Portuguese)
- Испанский (Spanish)
- Итальянский (Italian)
Появилась еще одна tts с поддержкой русского языка. Построена поверх f5 с изменениями, отличия от f5 можно почитать в их paper: https://arxiv.org/abs/2601.04233
Поддерживает 10 языков:
-…
Добавил поддержку Blackwell (50xx серия) архитектуры. Да, оказывается ее не было, и у меня не было девайса потестить, а теперь есть, но об этом будет отдельный пост.
Поправил немного бенчмарки, прогрев моделей, убрал логирование vram pytorch (не видит tensorrt/tensorrt-llm потребление, в итоге бесполезно).
Добавил поддержку ударений в FastCosyVoice.
Модель понимает юникод символ ударения `\u0301`. Выглядит это так: `замок` Но поскольку расставлять его неудобно, добавил общепринятый `+` перед ударной гласной, он автоматом конвертируется в "акут" (название символа) после ударной гласной.
Кажется, в этом году стало особенно модно делать всякие рекапы и итоги года.
А ещё мне этот год запомнился таким явлением как vibe coding - хоть сейчас это уже не так круто и все стали context engineer'ами, я всё же решил совместить эти штуки.
Сделал еще несколько апдейтов для FastCosyVoice, хочу немного подсветить:
Теперь можно установить проект через uv add git+, в pypi еще не знаю, имеет ли смысл публиковать, ведь код не столько библиотека, сколько тулинг под одну конкретную модель.
Выше я писал как получилось разогнать CosyVoice3 для реалтайм синтеза. Немного причесав эксперименты, собрал на гитхаб.
Отличия от оригинала:
- uv в качестве пакетного менеджера
- исправлены несколько тяжелых вычислений
- fp16 применяется к llm тоже, а не только к flow (DiT)
- исправлена конвертация в onnx + trt для flow
- поддержка tensorRT-…
Если взять инференс из коробки, то он получается не особо быстрый и не влезает в реалтайм:
https://github.com/FunAudioLLM/CosyVoice
Меня интересует именно стриминг режим, по…
Главные преимущества модели в качестве, это управление синтезом через промпт и специальные токены для кашля, смеха, вздохов и тд. Вместе с текстом для синтеза в модель надо подавать промпт, в формате:
{instruction}<|endofprompt|>{audio_transcription}
Выше я писал что возможно скоро дропнут CosyVoice 3 и вот этот день настал.
Что получаем:
- 9 языков, русский из коробки.
- Нормализация текста, умеет в цифры и символы (надо смотреть подробнее как это будет работать).
- Bi-Streaming - можно подавать текст на вход частями/чанками, на выходе получаем аудио по мере генерации. Это дает миним…