Google представила Translatotron — технологию синхронного перевода устной речи Статьи редакции

Алгоритм умеет сохранять исходный голос говорящего.

Google представила новую технологию синхронного перевода устной речи — Translatotron. Об этом компания сообщила в своём блоге.

Обычно для перевода устной речи с одного языка на другой системы используют каскадную модель. Сначала система автоматически распознаёт речь для её транскрипции, затем осуществляется машинный перевод полученного текста, а после — преобразование текста в аудиозапись. Такая система в том числе используются в Google Translate.

Новый экспериментальный алгоритм Google пропускает этап расшифровки речи в текст. Созданная разработчиками нейросеть принимает спектрограмму исходной аудиозаписи с голосом и синтезирует спектрограмму с речью на другом языке. Затем алгоритм синтезирует аудиофайл.

Кроме того, Translatotron умеет сохранять интонации и паузы в речи, а также голос говорящего при переводе. Однако при сохранении исходного голоса перевод немного отличается, поскольку эта версия нейросети обучена на меньшем количестве данных.

Схема работы алгоритма Translatotron Google

Специалисты Google проверили работу алгоритма с помощью BLEU-метода, при котором машинный перевод сравнивается с переводом, выполненным человеком. Они переводили устную речь с испанского на английский язык. По итогам тестирования специалисты признали, что Translatotron пока уступает каскадной модели. Однако Translatotron — первая технология, способная напрямую переводить речь с одного языка на другой, отмечают в Google.

Посмотреть примеры работы алгоритма можно на странице Google на Github.

0
59 комментариев
Написать комментарий...
Maxim Petrov

И вот зачем я учился 5 лет на переводчика? 😂

Ответить
Развернуть ветку
Роман Романов

Действительно - зачем? Ведь уже 5 лет назад предупреждали, что переводчик - одна из первых профессий для замены нейросетями.

Ответить
Развернуть ветку
3 комментария
Эл Хэлфрид

Судя по тому как быстро развивается машинный перевод, ещё лет 10 ваша специальность будет востребована)

Ответить
Развернуть ветку
2 комментария
Юрий Удовиченко

Переводчик как человек-профессионал, думаю, будет востребован всенюгда. Просто учиться будем скоро по-другому. 5 лет по нынешним меркам это расточительно много.

Ответить
Развернуть ветку
Сергей Щукин

А рыбку в ухо надо для этого засовывать? 🐡🤔🧐

Ответить
Развернуть ветку
Anton Matrosov

Нет, но скорей всего придется прикладывать мобилу к уху торцом, как это сейчас делают некоторые клоуны и клоунки на улице и в ТРЦ (ума не приложу, зачем они это делают)

Ответить
Развернуть ветку
9 комментариев
Johnny Vorony

Если только Настю...

Ответить
Развернуть ветку
Inal Karov

Тонко 👌

Ответить
Развернуть ветку
Denis Kiselev

Trans-latte-mocca-cappuccino-tron)))

В компьютерных науках есть две трудные темы - инвалидация кэша и нэйминг))

Ответить
Развернуть ветку
Anton Matrosov

Это мы еще не коснулись темы всех этих дебильных взятых с потолка названий различных опенсорсовых проектов на гитхабе и около.

Ответить
Развернуть ветку
Rudolf Cunningham
нэйминг

Универсальный вариант: берешь основную функцию своей программы и добавляешь к ней -ly. Если занято - ищешь синоним и так до упора. Всегда работает.

Ответить
Развернуть ветку
Dima Mistu

Не могу перестать видеть слово Translohotron, все 6 из 6 раз в статье так прочитал!

Ответить
Развернуть ветку
Eugene Gultyaev

По названию больше похоже на тайские туристические забавы))

Ответить
Развернуть ветку
Антон Мисканин

Скорее на имя нового персонажа Транформеров. При этом Транслатотрон обязательно должен быть десептиконом.

Ответить
Развернуть ветку
1 комментарий
Птиц

Внести транслятотрон!

Ответить
Развернуть ветку
Denis Shiryaev

Наконец-то будет как в Москва-Кассиопея

Ответить
Развернуть ветку
Konstantin Smirnov

Круче. Там не синхронно было

Ответить
Развернуть ветку
Sergey Kobets

Какое стоп-слово у этого сервиса?

Ответить
Развернуть ветку
Nikita Zubkov
Ответить
Развернуть ветку
1 комментарий
Валентин Остапенко

Осталось дождаться приложения и более-менее приемлемого для понимания перевода с основных языков

Ответить
Развернуть ветку
Семен Смирнов

И потом закрытия сервиса или переименования в Google Allo

Ответить
Развернуть ветку
Евгений Ларин

Переводчики всё.

Ответить
Развернуть ветку
Alex

Точно так же говорили, когда несколько лет назад добавили «нейросеть» в google translate. Я не знаю, что там с обычным разговорным языком, но специализированные переводы получаются такие, что легче человеку с нуля переводить, чем machine translation редактировать.

Ответить
Развернуть ветку
SocialWarrior

без Translatotron субтитры лучше получаются

Ответить
Развернуть ветку
Владимир Федин

Рано хоронить профессию переводчика. Гугл-переводчик даже товарные карточки в интернет-магазинах перевести нормально не может, чего уж там о синхронном переводе говорить. Прогресс, конечно есть, но он не носит прорывного характера. В устном переводе замена живых переводчиков пока не просматривается.

Ответить
Развернуть ветку
Katarzyna Radczenko

Да, Владимир, только заказчики это не всегда понимают. Все чаще можно встретить предложение "подправить" гуглоперевод ))

Ответить
Развернуть ветку
Aibolit

Ну наконец-то! Почему к ютубу до сих пор переводчик даже текстовый не прикрутили - загадка...
Или что-то пропустил?

Ответить
Развернуть ветку
Dr. Acula

Ну, ты что-то пропустил. Там есть автоматический переводчик субтитров. К слову, субтитры он тоже умеет создавать. Но до идеала этим технологиям ещё далеко.

Ответить
Развернуть ветку
1 комментарий
Ware Wow

Ну вот очередной шаг к языковой революции.
Останутся ли языковые школы?
Да. Но скорее всего это будет для гиков и профессионалов.
Глобальный массовый спрос это может убить.

Ах да, а проблема в том, что это может замедлить убийство языков и переход на один общий язык. У английского были прекрасные шансы объединить весь мир без "посредников". А вот такие переводчики могут продлить жизнь национальных языков.

Ответить
Развернуть ветку
Коля Павельев

хех, распространение своего языка - это культурная победа, по сравнению с которой победы военные меркнут, а ты говоришь, что языки это атавизм. Пока есть конфликты интересов в больших общностях людей, будут и языки. За языковыми фронтами наблюдать куда интереснее, чем за обычными, кстате)

Ответить
Развернуть ветку
1 комментарий
Алексей Смолярчук

Слава Богу, начал учить МЛ и ДЛ. P.S. Переводчик японского и английского языка.

Ответить
Развернуть ветку
Юрий Брильков

Отличная вещь, если в обозримом будущем будет работать "вживую".
И, любопытно, как они планируют решить проблему сленговых фраз?

Ответить
Развернуть ветку
Вася Пражкин

Еще не скоро нейросеть научится правильно переводить "ёпта"

Ответить
Развернуть ветку
1 комментарий
Ivan Burban

и произношение англоговорящих индусов, я вообще сомневаюсь что оно распознает это как какой-то язык...

Ответить
Развернуть ветку
2 комментария
Алексей Шатаев

tagha'. loS jIH qaStaHvIS poH nI' tlhIvmo'!

Ответить
Развернуть ветку
Кроко

При том, что почти вся нужная информация может быть найдена в гугле, человек все же мыслит не гуглом, а тем, что у него отложилось в голове. И на том языке или языках, которые знает.

Ответить
Развернуть ветку
Иван Шишкарёв

Коммуникатор из Star Trek реализовали! Ждём репликатор

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Vasiliy Avramenko

Для начала как бы не помешало настроить гугел переводчик. Например, с сербского - сплошняком жесть. В английском поменьше - но тоже, переводом трудно назвать. Причем в сербском обитают два варианта - на кириллице и на латинице. На кириллице - пенсы, молодняк и Босния, Хорватия, Черногория, Македония - на латинице

Ответить
Развернуть ветку
Читать все 59 комментариев
null