«И Билл Гейтс заговорит на русском без акцента». Если его озвучит нейросеть в браузере
Алиса AI переводит ролики с восьми языков и сохраняет интонации, темп и манеру речи спикеров
Бывает, что видео с рецептом нового блюда, документальный фильм или интервью артиста есть только на иностранном языке. Такой контент бывает непросто воспринимать на английском, не говоря уже про другие европейские или азиатские языки.
Смотреть видеоконтент в оригинале и улавливать интонацию и голос спикера говорящего помогает Яндекс Браузер и функция перевода живыми голосами. Раньше такая возможность работала только для английского, а теперь доступна ещё для семи языков: немецкого, французского, испанского, итальянского, китайского, японского и корейского. Рассказываем, чем перевод живыми голосами отличается от обычного и как он изменился после обновления.
Содержание:
Когда особенно полезен перевод живыми голосами
Бывает, хочется посмотреть мастер-класс французского повара или обзор на город от итальянского гида. Но не по всем темам есть ролики на русском языке. А механический перевод не всегда передаёт то, ради чего такие видео вообще хочется смотреть: живые эмоции, интонации и атмосферу.
Погрузиться в культуру страны и проникнуться настроением ролика поможет перевод живыми голосами. Если спикер говорит эмоционально, шутит или делает паузы, чтобы подчеркнуть важную мысль, это сохраняется и в русскоязычной версии. Например, с его помощью можно понять юмор экскурсовода или услышать такие детали в реалити-шоу, которые не покажет обычный перевод.
Каждый месяц функцию перевода видео в Браузере используют около 1,7 миллиона человек. Примерно 1 миллион из них выбирает именно перевод живыми голосами.
Чем перевод живыми голосами отличается от обычного и как он работает
При обычном переводе видеоконтента чаще всего используется один синтезированный голос. Он передаёт смысл сказанного, но практически не сохраняет особенности речи разных людей.
Перевод живыми голосами в Браузере работает иначе. В него встроена нейросетевая модель, которую специально обучали на тысячах часов устной речи. Сначала Браузер анализирует аудиодорожку и определяет, сколько человек участвует в разговоре. Затем нейросеть распознаёт диалог, переводит его, создаёт новую озвучку и синхронизирует её с видео, сохраняя тембр, темп и интонации каждого спикера.
Что изменилось после обновления
Главное изменение — перевод в Браузере теперь работает не только для английского, но и ещё и для семи популярных языков: немецкого, французского, испанского, итальянского, китайского, японского и корейского.
Вместе с этим разработчики усовершенствовали модель перевода. Она стала лучше передавать звучание, тембр и манеру речи говорящих даже в сложных условиях. Например, перевод сработает корректно, даже если это пленочная запись, контент с посторонними шумами, музыкальным фоном, неидеальным качеством звука.
По данным Яндекса, качество озвучки выросло на 40%, а точность передачи голоса и особенностей речи — на 30%. Кроме того, модель стала быстрее создавать перевод, поэтому ждать готовую озвучку приходится меньше.
Где работает перевод и как его включить
Воспользоваться переводом живыми голосами можно при просмотре видео из YouTube, VK Видео, Дзена, Rutube и Поиска Яндекса. Для этого достаточно открыть ролик в Браузере и нажать кнопку «Перевести и озвучить». После этого Браузер автоматически создаст русскоязычную озвучку с сохранением особенности речи спикеров.
Перевод живыми голосами помогает сделать зарубежный видеоконтент доступнее. Теперь можно включить обзор новой камеры от японского блогера, интервью любимого корейского исполнителя или обзор китайских автомобильных новинок — и сосредоточиться на самом видео с индивидуальной подачей автора и задуманной им атмосферой.
Уже пробовали живой перевод иностранных видео от Яндекс Браузера? Делитесь впечатлениями в комментариях.