Meta* представила нейросеть SeamlessM4T, которая умеет распознавать речь и переводить её на 100 языков Статьи редакции
Модель может переводить с одного языка на другой и выдать результат в текстовом или аудиоварианте.
- SeamlessM4T — нейросеть, которая умеет распознавать речь, преобразовывать её в текст и переводить на около 100 языков. Также модель умеет создавать из текста речь на 35 языках.
- Нейросеть доступна для исследователей по лицензии с открытым исходным кодом, вместе с SeamlessAlign — набором данных для перевода, который содержит 270 часов записи речи и соответствующие ей тексты.
- SeamlessM4T может распознавать, когда человек переходит с одного языка на другой или использует в речи сразу несколько: например, телугу, хинди и английский.
- Модель основана на предыдущих проектах Meta* для переводов: например, системе прямого перевода между языками, ИИ-переводчике для диалекта хоккеин, у которого нет письменного варианта, и других.
*Meta признана экстремистской организацией и запрещена в России.
15K
показов
8.4K
открытий
4
репоста
Ну да, все же в речи используют телугу, хинди и английский по очереди.
Но молодцы, синтез речи, особенно качественный — круто.
У меня есть видео на английском, как его можно бесплатно перевести - с помощью этой штуки получится ?
Попробуй залить на ютуб (приватно), открыть в Яндекс браузере ютуб с этим видео и нажать «перевести»
Там должен быть открыт полный доступ - а в этом случае его забанят - Яндекс хитрые ребята )) но за совет спасибо, есть похожая схема, но она муторная, думал может что то новое появилось
С этим расширением можно не только ютуб https://github.com/ilyhalight/voice-over-translation
Спасибо, я так слышал Яндекс поменял что то и не работает более, схема Ютуба не подходит - видео должно быть в общем доступе для Яндекса.