Meta* представила нейросеть SeamlessM4T, которая умеет распознавать речь и переводить её на 100 языков
Модель может переводить с одного языка на другой и выдать результат в текстовом или аудиоварианте.
- SeamlessM4T — нейросеть, которая умеет распознавать речь, преобразовывать её в текст и переводить на около 100 языков. Также модель умеет создавать из текста речь на 35 языках.
- Нейросеть доступна для исследователей по лицензии с открытым исходным кодом, вместе с SeamlessAlign — набором данных для перевода, который содержит 270 часов записи речи и соответствующие ей тексты.
Пример перевода с английского на русский
- SeamlessM4T может распознавать, когда человек переходит с одного языка на другой или использует в речи сразу несколько: например, телугу, хинди и английский.
Примеры работы SeamlessM4T — в том числе с переводом нескольких языков
- Модель основана на предыдущих проектах Meta* для переводов: например, системе прямого перевода между языками, ИИ-переводчике для диалекта хоккеин, у которого нет письменного варианта, и других.
*Meta признана экстремистской организацией и запрещена в России.
Ну да, все же в речи используют телугу, хинди и английский по очереди.
Но молодцы, синтез речи, особенно качественный — круто.
Вообще довольно много ситуаций, когда это может быть полезно. Например, я когда говорю на английском, могу забыть какое-то слово. Если я проговорю его на русском и в этот момент переводчик показывжет мне его перевод в контексте моей речи, и я смогу его использовать, это будет довольно удобно.
Очередной и очевидный неизбежный шаг на пути к созданию роботов по образцу предсказанному Айзеком Азимовым.
У меня есть видео на английском, как его можно бесплатно перевести - с помощью этой штуки получится ?
Ну это в теории может быть полезно. На отдыхе может?
Как раз-таки смесь хинди и английского очень распространена у индийцев - они свободно переключаются между этими языками в разговоре между собой. Ру-инглиш тоже никто не отменял
Смотрю сколько кода выкладывает Meta в паблик по открытой лицензии и думаю, что не ту компанию назвали «OpenAI»)