Google представила Translatotron — технологию синхронного перевода устной речи Статьи редакции
Алгоритм умеет сохранять исходный голос говорящего.
Google представила новую технологию синхронного перевода устной речи — Translatotron. Об этом компания сообщила в своём блоге.
Обычно для перевода устной речи с одного языка на другой системы используют каскадную модель. Сначала система автоматически распознаёт речь для её транскрипции, затем осуществляется машинный перевод полученного текста, а после — преобразование текста в аудиозапись. Такая система в том числе используются в Google Translate.
Новый экспериментальный алгоритм Google пропускает этап расшифровки речи в текст. Созданная разработчиками нейросеть принимает спектрограмму исходной аудиозаписи с голосом и синтезирует спектрограмму с речью на другом языке. Затем алгоритм синтезирует аудиофайл.
Кроме того, Translatotron умеет сохранять интонации и паузы в речи, а также голос говорящего при переводе. Однако при сохранении исходного голоса перевод немного отличается, поскольку эта версия нейросети обучена на меньшем количестве данных.
Специалисты Google проверили работу алгоритма с помощью BLEU-метода, при котором машинный перевод сравнивается с переводом, выполненным человеком. Они переводили устную речь с испанского на английский язык. По итогам тестирования специалисты признали, что Translatotron пока уступает каскадной модели. Однако Translatotron — первая технология, способная напрямую переводить речь с одного языка на другой, отмечают в Google.
Посмотреть примеры работы алгоритма можно на странице Google на Github.
Ну вот очередной шаг к языковой революции.
Останутся ли языковые школы?
Да. Но скорее всего это будет для гиков и профессионалов.
Глобальный массовый спрос это может убить.
Ах да, а проблема в том, что это может замедлить убийство языков и переход на один общий язык. У английского были прекрасные шансы объединить весь мир без "посредников". А вот такие переводчики могут продлить жизнь национальных языков.
хех, распространение своего языка - это культурная победа, по сравнению с которой победы военные меркнут, а ты говоришь, что языки это атавизм. Пока есть конфликты интересов в больших общностях людей, будут и языки. За языковыми фронтами наблюдать куда интереснее, чем за обычными, кстате)
Ну мы же не в Пентагоне и не в Кремле сидим, поэтому для нас, народов мира важно говорить на одном языке. А так ни у кого сейчас шансов распространить свой язык сейчас не видно, кроме международного английского.