«Яндекс» создал прототип закадрового перевода видео в «Браузере» Статьи редакции
Пользователи смогут смотреть видео на иностранном языке с русской озвучкой.
Благодаря технологии пользователи десктопного «Яндекс.Браузера» смогут смотреть ролики на иностранном языке с закадровым переводом, рассказали vc.ru в компании. Пока прототип работает только с видео на английском языке.
Над созданием прототипа работало несколько команд. В нём применяются технология распознавания и синтеза речи, разработки «Яндекс.Переводчика» и биометрия, которая позволяет определить пол говорящего и подобрать соответствующий голос.
Чтобы закадровый голос совпадал с картинкой, переводчик делает паузы, замедляет и ускоряет речь при необходимости. В оригинале и при переводе реплики часто не совпадают по длине, поэтому за темпом речи следит специальный алгоритм.
Компания продолжает работу над прототипом. Сейчас пользователи могут протестировать технологию на ограниченном списке видео, но в будущем смогут сами выбирать, какие ролики переводить.
В будущем «Яндекс» также планирует добавить поддержку перевода видео в свои мобильные приложения — «Яндекс.Браузера» и в приложение «Яндекс». Сроки запуска «полноценного» перевода в браузере в компании пока не говорят.
В интернете очень много полезного контента, который недоступен людям из-за языкового барьера. И мы близки к тому, чтобы окончательно стереть все границы. Яндекс.Браузер давно умеет переводить тексты, в этом году стал переводить изображения, перевод видео — следующий этап.
Это большая сложная задача, которую никто в мире еще не решил. Мы тоже в начале пути, но у нас уже есть прототип и понимание, куда двигаться дальше.
А как, собственно, протестировать эту функцию?
Установить последний Яндекс.Браузер для Windows или macOS, зайти на плейлист, включить видео, и браузер предложит включить перевод.
Перевод произвольного видео (on demand) - то, над чем мы сейчас работаем.
я попробовал. Это не похоже на то, что показано в видео. Неприятный робо-голос.
21.6.0.1108 (64-bit) macos - ничего не предлагает
должна появиться иконка при наведении на видео, рядом с иконкой выноса видео в отдельное окно
а нету - только одна иконка есть, про вынос в отдельное окно
она появляется только на видео из списка, например на этом https://www.youtube.com/watch?v=jR3U_wX3SEM&list=PLkMNi_iVG-shtwkqd918VUJ80NIOJ2pQf&index=3
Это я понимаю, но не появляется.
Вы пробовали перезапускать браузер? Cmd+Q, не закрытие окна.
Попробовал - не появляется =)
Комментарий недоступен
Я руковожу десктопным Яндекс.Браузером, с коллегами из Переводчика делаем вместе эту фичу.
Комментарий недоступен
Обновил Яндекс.браузер, не работает (((
Сорри это не Вам было (
Передал коллегам, спасибо.
Оновил Яндекс.Браузер и не работает ((((
да спасибо, уже сам нашел
Так это что получается, перевод работает только для конкретных 12 видео-роликов из плейлиста выше? Вы же понимаете, что в таком виде это бесполезно? Вероятно даже переводы для этих 12 видео были подготовлены вручную с участием человека. Иначе бы перевод хотя бы как-то кривенько, но работал бы для всех видео.