«Яндекс» создал прототип закадрового перевода видео в «Браузере» Статьи редакции
Пользователи смогут смотреть видео на иностранном языке с русской озвучкой.
Благодаря технологии пользователи десктопного «Яндекс.Браузера» смогут смотреть ролики на иностранном языке с закадровым переводом, рассказали vc.ru в компании. Пока прототип работает только с видео на английском языке.
Над созданием прототипа работало несколько команд. В нём применяются технология распознавания и синтеза речи, разработки «Яндекс.Переводчика» и биометрия, которая позволяет определить пол говорящего и подобрать соответствующий голос.
Чтобы закадровый голос совпадал с картинкой, переводчик делает паузы, замедляет и ускоряет речь при необходимости. В оригинале и при переводе реплики часто не совпадают по длине, поэтому за темпом речи следит специальный алгоритм.
Компания продолжает работу над прототипом. Сейчас пользователи могут протестировать технологию на ограниченном списке видео, но в будущем смогут сами выбирать, какие ролики переводить.
В будущем «Яндекс» также планирует добавить поддержку перевода видео в свои мобильные приложения — «Яндекс.Браузера» и в приложение «Яндекс». Сроки запуска «полноценного» перевода в браузере в компании пока не говорят.
В интернете очень много полезного контента, который недоступен людям из-за языкового барьера. И мы близки к тому, чтобы окончательно стереть все границы. Яндекс.Браузер давно умеет переводить тексты, в этом году стал переводить изображения, перевод видео — следующий этап.
Это большая сложная задача, которую никто в мире еще не решил. Мы тоже в начале пути, но у нас уже есть прототип и понимание, куда двигаться дальше.
Тут же недавно чувак со своим расширением для хрома, которое тоже самое делает, статью написал.
https://vc.ru/tribuna/268237-youtube-subsound-avtomaticheskaya-ozvuchka-subtitrov-na-youtube
Не удивлюсь если парень сделал это в опенсорс, а Яндекс просто форкнули. Вполне типичная ситуация для компании, которая имеет прибыль на спи**енной бизнес модели
Нам очень нравится, что и мы, и ребята из SubSound хотят снять языковые барьеры. Но всё-таки наши технологии разные - мы переводим, а потом озвучиваем, а они пока только озвучивают.
Перевод делает сам YouTube. Так что суть одна.
P.S.: В SubSound я пока один.
У нас перевод делаем мы.
P.S. Рад познакомиться!
Сделаем то, что делает сам Гугл, подумали в Яндексе…
Вопрос же в качестве распознания, затем перевода. Ютуб часто просто выбрасывает куски фраз. Особенно когда смотришь видео на французском с переводом на английском. Вы конечно молодец, обманули систему и сделали из говна и палок супер качественный продукт(на самом деле нет).
Как будто хуяндекс будет лучше распознавать английский и французский, чем Гугл. ХАХАХА. Пусть русский хотя бы нормально научатся.