«Яндекс» создал прототип закадрового перевода видео в «Браузере» Статьи редакции
Пользователи смогут смотреть видео на иностранном языке с русской озвучкой.
Благодаря технологии пользователи десктопного «Яндекс.Браузера» смогут смотреть ролики на иностранном языке с закадровым переводом, рассказали vc.ru в компании. Пока прототип работает только с видео на английском языке.
Над созданием прототипа работало несколько команд. В нём применяются технология распознавания и синтеза речи, разработки «Яндекс.Переводчика» и биометрия, которая позволяет определить пол говорящего и подобрать соответствующий голос.
Чтобы закадровый голос совпадал с картинкой, переводчик делает паузы, замедляет и ускоряет речь при необходимости. В оригинале и при переводе реплики часто не совпадают по длине, поэтому за темпом речи следит специальный алгоритм.
Компания продолжает работу над прототипом. Сейчас пользователи могут протестировать технологию на ограниченном списке видео, но в будущем смогут сами выбирать, какие ролики переводить.
В будущем «Яндекс» также планирует добавить поддержку перевода видео в свои мобильные приложения — «Яндекс.Браузера» и в приложение «Яндекс». Сроки запуска «полноценного» перевода в браузере в компании пока не говорят.
В интернете очень много полезного контента, который недоступен людям из-за языкового барьера. И мы близки к тому, чтобы окончательно стереть все границы. Яндекс.Браузер давно умеет переводить тексты, в этом году стал переводить изображения, перевод видео — следующий этап.
Это большая сложная задача, которую никто в мире еще не решил. Мы тоже в начале пути, но у нас уже есть прототип и понимание, куда двигаться дальше.
Круто! Насколько быстро это происходит в реальном времени?
Есть ли в планах похожим образом переводить онлайн-трансляции? Если не все, то хотя бы всякие презентации игр, консолей, телефонов и прочее.
Если нет очереди на перевод на сервере, то очень быстро.
Про трансляции подумаем, спасибо.