Meta* представила нейросеть SeamlessM4T, которая умеет распознавать речь и переводить её на 100 языков

Модель может переводить с одного языка на другой и выдать результат в текстовом или аудиоварианте.

  • SeamlessM4T — нейросеть, которая умеет распознавать речь, преобразовывать её в текст и переводить на около 100 языков. Также модель умеет создавать из текста речь на 35 языках.
  • Нейросеть доступна для исследователей по лицензии с открытым исходным кодом, вместе с SeamlessAlign — набором данных для перевода, который содержит 270 часов записи речи и соответствующие ей тексты.
Пример перевода с английского на русский
  • SeamlessM4T может распознавать, когда человек переходит с одного языка на другой или использует в речи сразу несколько: например, телугу, хинди и английский.
Примеры работы SeamlessM4T — в том числе с переводом нескольких языков
  • Модель основана на предыдущих проектах Meta* для переводов: например, системе прямого перевода между языками, ИИ-переводчике для диалекта хоккеин, у которого нет письменного варианта, и других.

*Meta признана экстремистской организацией и запрещена в России.

5757
60 комментариев

Ну да, все же в речи используют телугу, хинди и английский по очереди.
Но молодцы, синтез речи, особенно качественный — круто.

9
Ответить

Вообще довольно много ситуаций, когда это может быть полезно. Например, я когда говорю на английском, могу забыть какое-то слово. Если я проговорю его на русском и в этот момент переводчик показывжет мне его перевод в контексте моей речи, и я смогу его использовать, это будет довольно удобно.

14
Ответить

Очередной и очевидный неизбежный шаг на пути к созданию роботов по образцу предсказанному Айзеком Азимовым.

2
Ответить

У меня есть видео на английском, как его можно бесплатно перевести - с помощью этой штуки получится ?

1
Ответить

Ну это в теории может быть полезно. На отдыхе может?

1
Ответить

Как раз-таки смесь хинди и английского очень распространена у индийцев - они свободно переключаются между этими языками в разговоре между собой. Ру-инглиш тоже никто не отменял

1
Ответить

Смотрю сколько кода выкладывает Meta в паблик по открытой лицензии и думаю, что не ту компанию назвали «OpenAI»)

8
Ответить