Silero: качественный, быстрый и доступный синтез речи для всех

В синтезе речи много чего происходит: на рынке есть большое число тулкитов, закрытых коммерческих решений за АПИ и стартапов из кремниевой долины, пытающихся сделать очередные аудио «дипфейки».

Но при этом почему-то совсем нет готовых открытых решений, которые бы удовлетворяли минимальным критериям адекватности:

Мы учли все эти моменты и бесплатно подарили комьюнити свое открытое некоммерческое решение. Да вы не ослышались. По причине его публичности мы не заостряем внимание на архитектуре и не фокусируемся на заранее выбранных примерах. Вы просто можете оценить и попробовать все сами пройдя по ссылкам ниже.

Для оценки качества мы действовали просто:

Также можете послушать примеры ниже (нативный аудио-альбом на VC у меня почему-то выдает ошибки при загрузке) и большое количество примеров в папочках по ссылкам (1 2 3 4 5 6):

Можно самому попробовать наш синтез в тетрадочке по этой ссылке:

Детальный анализ распределений из 37 403 оценок, которые поставили наши асессоры показал, что:

Скорость и прожорливость по ресурсам является следующей важной характеристикой моделей. Для оценки скорости мы считаем такие метрики:

Мы снимали метрики на двух устройствах с помощью встроенных в PyTorch 1.8 утилит:

Для модели на 16 килогерц получаются такие показатели (модель на 8 килогерц примерно на 25% быстрее):

На данный момент мы выложили 20 моделей:

Особенностью русских моделей является то, что сейчас они требуют ручной простановки ударения и буквы ё, но в следующих релизах этот недостаток будет исправлен и модели сами научатся ставить ударения и буквы ё.

В процессе тестирования моделей пользователи выявили следующие ограничения:

Как авторы моделей, мы считаем следующие правила использования моделей справедливыми:

Мы планируем постоянно развивать и улучшать свое решение, в частности:

И в качестве бонуса, немного скороговорок.

Русский язык:

Другие языки: