«Яндекс» создал прототип закадрового перевода видео в «Браузере» Статьи редакции
Пользователи смогут смотреть видео на иностранном языке с русской озвучкой.
Благодаря технологии пользователи десктопного «Яндекс.Браузера» смогут смотреть ролики на иностранном языке с закадровым переводом, рассказали vc.ru в компании. Пока прототип работает только с видео на английском языке.
Над созданием прототипа работало несколько команд. В нём применяются технология распознавания и синтеза речи, разработки «Яндекс.Переводчика» и биометрия, которая позволяет определить пол говорящего и подобрать соответствующий голос.
Чтобы закадровый голос совпадал с картинкой, переводчик делает паузы, замедляет и ускоряет речь при необходимости. В оригинале и при переводе реплики часто не совпадают по длине, поэтому за темпом речи следит специальный алгоритм.
Компания продолжает работу над прототипом. Сейчас пользователи могут протестировать технологию на ограниченном списке видео, но в будущем смогут сами выбирать, какие ролики переводить.
В будущем «Яндекс» также планирует добавить поддержку перевода видео в свои мобильные приложения — «Яндекс.Браузера» и в приложение «Яндекс». Сроки запуска «полноценного» перевода в браузере в компании пока не говорят.
В интернете очень много полезного контента, который недоступен людям из-за языкового барьера. И мы близки к тому, чтобы окончательно стереть все границы. Яндекс.Браузер давно умеет переводить тексты, в этом году стал переводить изображения, перевод видео — следующий этап.
Это большая сложная задача, которую никто в мире еще не решил. Мы тоже в начале пути, но у нас уже есть прототип и понимание, куда двигаться дальше.
А как, собственно, протестировать эту функцию?
Установить последний Яндекс.Браузер для Windows или macOS, зайти на плейлист, включить видео, и браузер предложит включить перевод.
Перевод произвольного видео (on demand) - то, над чем мы сейчас работаем.
я попробовал. Это не похоже на то, что показано в видео. Неприятный робо-голос.