«Яндекс» добавил автоматический перевод любых англоязычных видео в YouTube и других сервисах в «Браузере» Статьи редакции
Перевод закадровый.
Благодаря технологии пользователи смогут смотреть ролики на английском языке с закадровым переводом на русском, рассказали vc.ru в компании. «Яндекс» показал прототип закадрового перевода видео в июле, но тогда он работал на ограниченном списке роликов и только в десктопном «Яндекс.Браузере».
Теперь пользователи могут перевести почти любое записанное видео на английском языке на YouTube, Vimeo, TikTok, Twitter, Facebook и «ВКонтакте». Ограничения действуют на лицензионный контент — например, сериал Netflix сервис не переведёт.
Перевод доступен в «Браузере» для Windows, macOS, Linux и Android и в приложении «Яндекс» для Android и iOS. Чтобы посмотреть видео в русской озвучке, нужно нажать на кнопку в плеере — процесс перевода занимает несколько минут, после чего пользователь получит уведомление.
Пользователям доступно два голоса — женский (помощника «Алиса») и мужской. Пока перевод доступен только для видео на английском, но в будущем компания планирует добавить и другие языковые пары.
Полностью стереть языковые границы в интернете — одна из наших главных задач. Мы приступили к её решению ещё в 2011 году, и сейчас умеем переводить все основные виды контента: текст, изображения, видео. Дальше мы будем добавлять в перевод видео новые языковые пары и голоса, помогая людям узнавать новое и получать от этого удовольствие.
Перевод роликов происходит в несколько этапов: распознавание речи, превращение её в текст и с помощью нейросетей разбивка на предложения. Затем алгоритмы определяют пол говорящего, переводят предложения на русский язык и синтезируют голос, после чего совмещают перевод с видеорядом.
Можно относиться к Яндексу как угодно, но это действительно охуенно и это действительно меняет мир.
https://vc.ru/legal/290407-kompaniya-allmyblog-obvinila-yandeks-v-ispolzovanii-chuzhoy-idei-pri-razrabotke-tehnologii-perevoda-video
Я прокомментировал их заявления в своем посте в фейсбуке: https://www.facebook.com/kukutz/posts/10159318303217177
Есть ли пространство для оптимизации алгоритма, чтобы в будущем видео переводилось в реальном времени и не нужно было ждать некоторое время до готовности?
Пока не могу сказать, надо думать и экспериментировать.