Будущее Татьяна Боброва
13 658

Google представила Translatotron — технологию синхронного перевода устной речи

Алгоритм умеет сохранять исходный голос говорящего.

В закладки

Google представила новую технологию синхронного перевода устной речи — Translatotron. Об этом компания сообщила в своём блоге.

Обычно для перевода устной речи с одного языка на другой системы используют каскадную модель. Сначала система автоматически распознаёт речь для её транскрипции, затем осуществляется машинный перевод полученного текста, а после — преобразование текста в аудиозапись. Такая система в том числе используются в Google Translate.

Новый экспериментальный алгоритм Google пропускает этап расшифровки речи в текст. Созданная разработчиками нейросеть принимает спектрограмму исходной аудиозаписи с голосом и синтезирует спектрограмму с речью на другом языке. Затем алгоритм синтезирует аудиофайл.

Кроме того, Translatotron умеет сохранять интонации и паузы в речи, а также голос говорящего при переводе. Однако при сохранении исходного голоса перевод немного отличается, поскольку эта версия нейросети обучена на меньшем количестве данных.

Схема работы алгоритма Translatotron Google

Специалисты Google проверили работу алгоритма с помощью BLEU-метода, при котором машинный перевод сравнивается с переводом, выполненным человеком. Они переводили устную речь с испанского на английский язык. По итогам тестирования специалисты признали, что Translatotron пока уступает каскадной модели. Однако Translatotron — первая технология, способная напрямую переводить речь с одного языка на другой, отмечают в Google.

Посмотреть примеры работы алгоритма можно на странице Google на Github.

#новость #google

{ "author_name": "Татьяна Боброва", "author_type": "editor", "tags": ["\u043d\u043e\u0432\u043e\u0441\u0442\u044c","\u043d\u043e\u0432\u043e\u0441\u0442\u0438","google"], "comments": 55, "likes": 70, "favorites": 86, "is_advertisement": false, "subsite_label": "future", "id": 67455, "is_wide": false, "is_ugc": false, "date": "Thu, 16 May 2019 13:09:34 +0300" }
{ "id": 67455, "author_id": 283507, "diff_limit": 1000, "urls": {"diff":"\/comments\/67455\/get","add":"\/comments\/67455\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/67455"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 199118, "last_count_and_date": null }

55 комментариев 55 комм.

Популярные

По порядку

Написать комментарий...
45

И вот зачем я учился 5 лет на переводчика? 😂

Ответить
36

Действительно - зачем? Ведь уже 5 лет назад предупреждали, что переводчик - одна из первых профессий для замены нейросетями.

Ответить
9

ваша коммерческая тайна улетит в облака вместе с переводом, а потом яндекс ее выложит в толоке для оценки релевантности ответа. сказка, не жизнь.

Ответить
1

Школу закончили, в армию не хотели, к лингвистике душа лежит. Вот так переводчики и поступают на, собственно, переводчиков.

Ответить
0

хорошо, что все учились на переводчика 5 лет назад

Ответить
7

Судя по тому как быстро развивается машинный перевод, ещё лет 10 ваша специальность будет востребована)

Ответить
29

А рыбку в ухо надо для этого засовывать? 🐡🤔🧐

Ответить
7

Нет, но скорей всего придется прикладывать мобилу к уху торцом, как это сейчас делают некоторые клоуны и клоунки на улице и в ТРЦ (ума не приложу, зачем они это делают)

Ответить
0

Слушают собеседника через динамик громкой связи. Вы действительно не понимаете, или шутка такая?

Ответить
4

И в чем смысл этого? Внешних шумов прилетает же намного больше

Ответить
0

Я так слушаю запись разговора, например. Хотя не понимаю почему их нельзя через передний динамик пускать...

Ответить
3

Если в Вотсапе нажимаешь Play в голосовом сообщении И прикладываешь к уху, то начинает в разговорный динамик играть. В телеге вообще достаточно приложить к уху телефон с открытым чатом и голосовое само начнёт воспроизводиться.

Ответить
0

Пользуюсь стандартным рекордером. Наверное стоит поискать более удобный вариант.

Ответить
0

Аа, я почему-то подумал, что речь про мессенджеры. Теперь вижу про прослушивание разговоров.

Ответить
1

Но и громкость динамика перевешивает прилетевшие шумы. Хотя я не одобряю такое поведение, ибо "громкость динамика" происходит за чужой счёт.

Ответить
0

Я тоже не понимаю. Зачем? Чем им основной так не люб?

Ответить
4

Если только Настю...

Ответить
0

Тонко 👌

Ответить
15

Trans-latte-mocca-cappuccino-tron)))

В компьютерных науках есть две трудные темы - инвалидация кэша и нэйминг))

Ответить
5

Это мы еще не коснулись темы всех этих дебильных взятых с потолка названий различных опенсорсовых проектов на гитхабе и около.

Ответить
4

нэйминг

Универсальный вариант: берешь основную функцию своей программы и добавляешь к ней -ly. Если занято - ищешь синоним и так до упора. Всегда работает.

Ответить
1

Не могу перестать видеть слово Translohotron, все 6 из 6 раз в статье так прочитал!

Ответить
6

По названию больше похоже на тайские туристические забавы))

Ответить
4

Скорее на имя нового персонажа Транформеров. При этом Транслатотрон обязательно должен быть десептиконом.

Ответить
1

Тож пойдет)

Ответить
2

Внести транслятотрон!

Ответить
7

Наконец-то будет как в Москва-Кассиопея

Ответить
0

Круче. Там не синхронно было

Ответить
1

Какое стоп-слово у этого сервиса?

Ответить
2

Это название лекарства для дикции и памяти?

Ответить
3

Осталось дождаться приложения и более-менее приемлемого для понимания перевода с основных языков

Ответить
8

И потом закрытия сервиса или переименования в Google Allo

Ответить
2

Переводчики всё.

Ответить
4

Точно так же говорили, когда несколько лет назад добавили «нейросеть» в google translate. Я не знаю, что там с обычным разговорным языком, но специализированные переводы получаются такие, что легче человеку с нуля переводить, чем machine translation редактировать.

Ответить
3

без Translatotron субтитры лучше получаются

Ответить
3

Рано хоронить профессию переводчика. Гугл-переводчик даже товарные карточки в интернет-магазинах перевести нормально не может, чего уж там о синхронном переводе говорить. Прогресс, конечно есть, но он не носит прорывного характера. В устном переводе замена живых переводчиков пока не просматривается.

Ответить
1

Ну наконец-то! Почему к ютубу до сих пор переводчик даже текстовый не прикрутили - загадка...
Или что-то пропустил?

Ответить
2

Ну, ты что-то пропустил. Там есть автоматический переводчик субтитров. К слову, субтитры он тоже умеет создавать. Но до идеала этим технологиям ещё далеко.

Ответить
0

И правда! Спасибо ))

Ответить
1

Ну вот очередной шаг к языковой революции.
Останутся ли языковые школы?
Да. Но скорее всего это будет для гиков и профессионалов.
Глобальный массовый спрос это может убить.

Ах да, а проблема в том, что это может замедлить убийство языков и переход на один общий язык. У английского были прекрасные шансы объединить весь мир без "посредников". А вот такие переводчики могут продлить жизнь национальных языков.

Ответить
2

хех, распространение своего языка - это культурная победа, по сравнению с которой победы военные меркнут, а ты говоришь, что языки это атавизм. Пока есть конфликты интересов в больших общностях людей, будут и языки. За языковыми фронтами наблюдать куда интереснее, чем за обычными, кстате)

Ответить
0

Ну мы же не в Пентагоне и не в Кремле сидим, поэтому для нас, народов мира важно говорить на одном языке. А так ни у кого сейчас шансов распространить свой язык сейчас не видно, кроме международного английского.

Ответить
1

Слава Богу, начал учить МЛ и ДЛ. P.S. Переводчик японского и английского языка.

Ответить
0

Отличная вещь, если в обозримом будущем будет работать "вживую".
И, любопытно, как они планируют решить проблему сленговых фраз?

Ответить
1

Еще не скоро нейросеть научится правильно переводить "ёпта"

Ответить
0

Типа: будешь?
да нет наверно...

Ответить
1

и произношение англоговорящих индусов, я вообще сомневаюсь что оно распознает это как какой-то язык...

Ответить
0

Любой сильный акцент, или какие-то проблемы с речью должны в разы усложнять работу подобных инструментов (можно вспомнить даже шутки насчет навигаторов/голосовых поомщников и жителей из арабских стран)

Ответить
0

Пока перевод будет на стороне твоего аппарата который не адаптирован к распознованию говорящего.
А теперь представь его аппарат легко его понимает (натренирован), а твой - тебя. Они в рамках сессии обмениваются пакетами распознования и транслируют онлайн перевод да вдобавок с учётом твоего разговорного уровня и привычек (сленга)

Ответить
0

tagha'. loS jIH qaStaHvIS poH nI' tlhIvmo'!

Ответить
0

При том, что почти вся нужная информация может быть найдена в гугле, человек все же мыслит не гуглом, а тем, что у него отложилось в голове. И на том языке или языках, которые знает.

Ответить
0

Коммуникатор из Star Trek реализовали! Ждём репликатор

Ответить
–1

Для начала как бы не помешало настроить гугел переводчик. Например, с сербского - сплошняком жесть. В английском поменьше - но тоже, переводом трудно назвать. Причем в сербском обитают два варианта - на кириллице и на латинице. На кириллице - пенсы, молодняк и Босния, Хорватия, Черногория, Македония - на латинице

Ответить
0
{ "page_type": "article" }

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "bscsh", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-1104503429", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=bugf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudx", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byzqf", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvc" } } }, { "id": 19, "label": "Тизер на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "p1": "cbltd", "p2": "gazs" } } } ]
Нейронная сеть научилась читать стихи
голосом Пастернака и смотреть в окно на осень
Подписаться на push-уведомления
{ "page_type": "default" }