«Яндекс» создал прототип закадрового перевода видео в «Браузере» Статьи редакции

Пользователи смогут смотреть видео на иностранном языке с русской озвучкой.

Благодаря технологии пользователи десктопного «Яндекс.Браузера» смогут смотреть ролики на иностранном языке с закадровым переводом, рассказали vc.ru в компании. Пока прототип работает только с видео на английском языке.

Пример работы закадрового перевода видео «Яндекс»

Над созданием прототипа работало несколько команд. В нём применяются технология распознавания и синтеза речи, разработки «Яндекс.Переводчика» и биометрия, которая позволяет определить пол говорящего и подобрать соответствующий голос.

Чтобы закадровый голос совпадал с картинкой, переводчик делает паузы, замедляет и ускоряет речь при необходимости. В оригинале и при переводе реплики часто не совпадают по длине, поэтому за темпом речи следит специальный алгоритм.

Компания продолжает работу над прототипом. Сейчас пользователи могут протестировать технологию на ограниченном списке видео, но в будущем смогут сами выбирать, какие ролики переводить.

В будущем «Яндекс» также планирует добавить поддержку перевода видео в свои мобильные приложения — «Яндекс.Браузера» и в приложение «Яндекс». Сроки запуска «полноценного» перевода в браузере в компании пока не говорят.

В интернете очень много полезного контента, который недоступен людям из-за языкового барьера. И мы близки к тому, чтобы окончательно стереть все границы. Яндекс.Браузер давно умеет переводить тексты, в этом году стал переводить изображения, перевод видео — следующий этап.

Это большая сложная задача, которую никто в мире еще не решил. Мы тоже в начале пути, но у нас уже есть прототип и понимание, куда двигаться дальше.

Дэвид Талбот, руководитель направления обработки естественного языка в «Яндексе»
0
289 комментариев
Написать комментарий...
Yo

Почему нужно пихать все в один браузер? гугл же не пихает все свои сервисы. Яндекс браузер когда только появился нравился, привлек именно тем что ничего лишнего не было. Сейчас полный сбор мусора, удалил больше года назад везде. и рад. А этот сервис нужно сделать просто отдельным расширением для всех браузеров.

Ответить
Развернуть ветку
Харламка

Это вечное противостояние тех, кто хочет пустой браузер (которых вроде как хватает) и тех, кто хочет функциональный. Если взглянуть на комменты в блоге браузера, то, к примеру, переводчик текстов на картинках пользуется огого каким спросом. 

Ответить
Развернуть ветку
13 комментариев
Alex

Он никогда не был яндекс браузером. Он всегда был шкуркой на члене хромиума.

Ответить
Развернуть ветку
23 комментария
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
18 комментариев
Кабаре-дуэт Академия

Что именно в яндекс браузере сбор мусора? Вопрос с подъебом, потому что на любой ваш ответ я отвечу, что это можно отключить в настройках, просто этого не делают, а вот яндекс хейтят

Ответить
Развернуть ветку
5 комментариев
Слава Коженевский

В расширении рекламу не покажешь.

Ответить
Развернуть ветку
1 комментарий
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Артём Вечера

Просто яглекс ее может создать или продвинуть свою ОС, потому пытается сделать так, чтобы установив из приложение на айфон или андроид внутри была как бы подОС :) отчаянный шаг, но может получится что-то хорошее. Посмотрим.

Ответить
Развернуть ветку
Human

Не согласен с вами, иногда скопление всех сервисов в одном приложение - плюс, но бывают неудачные примеры, такие как: ВК и другие.

Ответить
Развернуть ветку
Владимир В

Так именно в этом и суть - продвигать Яндекс-Браузер, в котором полно всякого говна и через который удобно следить за пользователями.
Делать отдельным сервисом невыгодно для яндекса. 
Поймите простую вещь - они работают не для вас, а для себя. Используя вас как ресурс

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Светлана Завацкая

Если я правильно поняла, этот сервис сделал уже Ютуб, вернее под Ютуб сделали. Можно спортивные программы или кулинарные, смотреть на разных языках.

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Kraftwerk

Экосистема. Ну или "Как я пёзднулся и мню себя богом".

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Aer Liberum

Очень давно пользуюсь Яндекс.Браузером и всем доволен. Ничего лишнего не наблюдаю. Всё отключаемо и настраиваемо. наоборот, в отличие от голого Хрома, в нём сделано всё для людей и удобства. Браузера лучше, наверное, не существует.

Ответить
Развернуть ветку
Борат Язь

Тут же недавно чувак со своим расширением для хрома, которое тоже самое делает, статью написал.

https://vc.ru/tribuna/268237-youtube-subsound-avtomaticheskaya-ozvuchka-subtitrov-na-youtube

Ответить
Развернуть ветку
Evgeny Afanasev

Не удивлюсь если парень сделал это в опенсорс, а Яндекс просто форкнули. Вполне типичная ситуация для компании, которая имеет прибыль на спи**енной бизнес модели

Ответить
Развернуть ветку
12 комментариев
tgaru

SubSound: «Сделаю продукт для всех, постараясь улучшить жизни миллионов пользователей».

Ребята из Яндекса: «Позаботимся только о своем бизнесе и о своем браузере».

P.S.: Цитатка не моя.

P.S.S.: Моё расширение можно поставить на Opera и любой Chromium браузер, в том числе и Яндекс. И список платформ будет только расширяться.

Ответить
Развернуть ветку
Константин Рогов

Яндекс.Браузера - дальше можно не читать

Ответить
Развернуть ветку
Roman Ivanov

Ну пожалуйста, ну почитайте! 

Ответить
Развернуть ветку
Антон Ляшенко

Лайк!

Ответить
Развернуть ветку
ЯжПрограммист

Решил в очердной раз попробовать яндекс браузер, скачал, установил, он тут же начал запрашивать кучу разрешений и доступов ко всему подряд, на третьем или четвёртом отказе он таки запустился, но устав снимать везде галочки о всяком говне и рекламы до использования так и не дошел, снёс в очередной раз. Разработчики, а анальный зонд не думаете туда встроить? Не дохрена ли хотите?

Ответить
Развернуть ветку
ЯжПрограммист
Ответить
Развернуть ветку
Пластиковое Окно

Я долго не мог понять как убрать ебучие обои с новой вкладки и оставить просто серый цвет. Снёс нахуй это говнище.

Ответить
Развернуть ветку
1 комментарий
nochnoy.ru

Круто. Очень жаль что я не смогу воспользоваться этой функцией т.к. из Браузера непрерывно вываливаются разного рода попапы и "подсказки". В 19м году пришлось перелезть на Фаерфокс. Который оказался тем ещё г-ном, но хотя бы не относится ко мне как к биомассе.

Ответить
Развернуть ветку
wavewithme

Давай помогу отключить все уведомления и всю рекламу в Яндекс браузере?)

Ответить
Развернуть ветку
7 комментариев
Борат Язь

Чем FF не угодил?

Ответить
Развернуть ветку
1 комментарий
Mariusz Jarkowski

Какой-то челик на энтузиазме делал такую же штуку для Хрома. Кто бы знал, что его конкурентом станет Яндекс.

Ответить
Развернуть ветку
tgaru

А ещё моё расширение работает на Opera, да и на любом Chromium браузере, в том числе и на Яндекс браузере.

Ответить
Развернуть ветку
Yury

Они его уже походу сожрали. Его плагин уже не работает...

Ответить
Развернуть ветку
1 комментарий
Чех в чешках

Отлично же! Всяко лучше чем субтитры

Ответить
Развернуть ветку
Andrey Fedorov

Нет, гораздо хуже. Например, шведы так хорошо говорят по-английски, потому что с детства смотрят фильмы без дубляжа (у них его не делают) в оригинале, но с субтитрами.

Ответить
Развернуть ветку
26 комментариев
Всвиторе

Это медвежья услуга в конечно итоге. Итак народ тупой и не может правильно перевести слова man и woman. 

Ответить
Развернуть ветку
gospodbog.com

Переводчик перехватывает окно, значит в этом окне будет своя реклама. Нахуй Яндекс.

Ответить
Развернуть ветку
Roman Ivanov

Переводчик не перехватывает окно, и рекламы не будет.

Ответить
Развернуть ветку
8 комментариев
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Lirnik

А как, собственно, протестировать эту функцию?

Ответить
Развернуть ветку
Roman Ivanov

Установить последний Яндекс.Браузер для Windows или macOS, зайти на плейлист, включить видео, и браузер предложит включить перевод.

Перевод произвольного видео (on demand) - то, над чем мы сейчас работаем.

Ответить
Развернуть ветку
18 комментариев
tgaru

"Это большая сложная задача, которую никто в мире еще не решил. Мы тоже в начале пути, но у нас уже есть прототип и понимание, куда двигаться дальше."

Возможно, YouTube SubSound уже решает эту задачу:
https://vc.ru/tribuna/268237-youtube-subsound-avtomaticheskaya-ozvuchka-subtitrov-na-youtube

Ответить
Развернуть ветку
Roman Ivanov

Вы может быть не поняли просто?

Мы делаем штуку, которая сделает для любого ролика, в том числе не только на Youtube, а на произвольном видеохостинге, следующее:
1. распознает речь на иностранном языке
2. определит язык полученного текста
3. переведет текст
4. озвучит текст разными голосами согласно биометрии речи в оригинальном ролике
5. подгонит скорость озвучки под оригинальный ролик

На самом деле не только это, но об этом отдельно расскажем.

Вроде бы, всё-таки, это не совсем то, что делает ваше расширение?

Ответить
Развернуть ветку
Пластиковое Окно

Пиздец какое у них самомнение. Держись, бро.

Ответить
Развернуть ветку
Andrew Lobachev

Проект Яндекса по отуплению нации

Ответить
Развернуть ветку
Yury
Ответить
Развернуть ветку
Roman Ivanov

Нам очень нравится, что и мы, и ребята из SubSound хотят снять языковые барьеры. Но всё-таки наши технологии разные - мы переводим, а потом озвучиваем, а они пока только озвучивают.

Ответить
Развернуть ветку
3 комментария
Andrey Fedorov

С одной стороны, ну вроде прогресс - понятно, что в итоге придём к автопереводу и при обычном человеческом общении.

С другой, учить языки (и вообще изучать новое) - лучшая тренировка для мозга. И люди ещё нескоро уйдут от идентификации «свой-чужой» по языку, а значит в определённых кругах необходимость знать хотя бы английский никуда не денется. 

В конечном счете это ещё одна расслаивающая общество технология: «элита» продолжит изучать языки, как изучала (как создатели айфонов, онлайн кинотеатров и других доступных массовых развлечений сами ими не пользуются), а «плебс» будет втыкать в экран, только с ещё меньшими когнитивными усилиями. Печаль. 

Ответить
Развернуть ветку
Dmitry Korolev

Поддерживаю. Вместо построения и развития универсального языка, чем по факту является английский, придумывают костыль, который сделает хорошо "здесь и сейчас" и совершенно не думают на перспективу. 

Ответить
Развернуть ветку
10 комментариев
Нина Парамонова

Не думаю, что все учили языки только для того, чтобы смотреть видосики, а теперь резко отменили занятия в скайэнг.  

Ответить
Развернуть ветку
1 комментарий
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
4 комментария
Всвиторе

Учить языки прикольно. Мозг перестаёт считать свой язык единственно правильным. Появляются точки роста для улучшения родного языка. Понятийный аппарат улучшается. Понимание других людей улучшается и пропадает вот это свой-чужой. В той же локализации игр меня часто расстраивает шрифт для русского языка. Ведь "плебс" и так сожрёт.

Получаем: отсебятину, потерю игры слов, а также глубины. К примеру в игре в Detroit Become Human при обращении к роботам в оригинале используют местоимение it, т.е. неодушевленный предмет. Но, когда один из героев ссылается на робота используя "he" вся повестка меняется. На русский это нормально не переведёшь. Либо лепить дополнительный текст, что уже является адаптацией, тобишь отсебятиной. 

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Roman Ivanov

Хорошее распознавание иностранной речи (ASR) - действительно одна из недостающих сейчас в прототипе частей. Конечно же, мы активно над ней работаем.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
1 комментарий
Кружочек

Мне интереснее всего будет протестить именно научные какие-то видосы, потому что если что-то простецкое в оригинале я понимаю, то уровнем выше уже нет.

Ответить
Развернуть ветку
Sergey -

Это просто вопрос времени 

Ответить
Развернуть ветку
FTOH

Бери шире, теперь можно будет понимать чешское порно! 😏

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Ed Lee

Не захотят устанавливать яндекс.браузер

Ответить
Развернуть ветку
2 комментария
Viktor Romanov

Классная штука но нужно в виде дополнения для всех браузеров

Ответить
Развернуть ветку
Антон Ляшенко

Вы думаете люди в мире знают про Браузер от данной компании)))) 

P.S. Это риторический вопрос.

Ответить
Развернуть ветку
Сергей Никитин

Неплохо.

Ответить
Развернуть ветку
Vlad Limbo

Ого, это довольно классно, но чтобы запустить, пришлось помучаться=)

Ответить
Развернуть ветку
russur

Ура, можно будет ретро фильмы смотреть с переводом!

Ответить
Развернуть ветку
Viktor Romanov

Штука офигенная 

Ответить
Развернуть ветку
Ivan Shmelev

У Яндекс отличные инженеры....

Ответить
Развернуть ветку
Nikolay Shikalenko

Если честно, выглядит круто!

Ответить
Развернуть ветку
Талип Мулюков

Офигеть, это же очень круто

Ответить
Развернуть ветку
Антон Петров

Тестовое видео переведено уж слишком ровно и четко. Вангую, что этот перевод допилен напильником. Не верю, что на лету Яндекс может переводить также. Покажите живой, настоящий пример. 

Ответить
Развернуть ветку
Roman Ivanov

Это ровно результат работы автоматики. Ничего не допиливали напильником.
Впрочем, что слова — вот выпустим перевод on demand и вы сам попробуете :)

Ответить
Развернуть ветку
1 комментарий
Vlad Zloy

А чего свой ролик не озвучили своим же переводчиком?

Ответить
Развернуть ветку
Roman Ivanov

Дэвид выступил на английском, а мы его речь перевели своим же переводчиком.

Ответить
Развернуть ветку
3 комментария
Dmitry Mezenin

Яндекс, в целом молодцы, но браузер, имхо, загубили. Сидел на нём с самой первой бетки, слез в этом году, ибо кучу всего туда напихали, сделав из браузера непонятный суперапп. 

Последней каплей, кстати, стала невозможность экспортировать логины/пароли, что, судя по всему, яндекс сделал очень даже в корыстных целях.

Ответить
Развернуть ветку
Roman Ivanov

Так мы же сделали экспорт! 

Ответить
Развернуть ветку
4 комментария
FTOH

Круто! Насколько быстро это происходит в реальном времени? 
Есть ли в планах похожим образом переводить онлайн-трансляции? Если не все, то хотя бы всякие презентации игр, консолей, телефонов и прочее.

Ответить
Развернуть ветку
Roman Ivanov

Если нет очереди на перевод на сервере, то очень быстро. 
Про трансляции подумаем, спасибо.

Ответить
Развернуть ветку
Fedor.77

интересно кто это будет озвучивать

Ответить
Развернуть ветку
Roman Ivanov

Нейросетка же.

Ответить
Развернуть ветку
Нина Парамонова

Очень хочу, чтобы это работало как нужно, будет прям збс.

Ответить
Развернуть ветку
Ruslan Umarkhanov

Дис сис круто)))😜

Ответить
Развернуть ветку
Alex

do not care

Ответить
Развернуть ветку
Viktor Romanov

https://youtu.be/DCW5owMNps0?list=LL есть кстати похожее приложение но работает очень криво 

Ответить
Развернуть ветку
DimkKa

в принципе неплохо, когда особо не знаешь иностранного языка, а посмотреть хочется

Ответить
Развернуть ветку
Марина Ковель

Благодаря технологии пользователи десктопного «Яндекс.Браузера» смогут смотреть ролики на иностранном языке с закадровым переводом, рассказали vc.ru в компании. Пока прототип работает только с видео на английском языке. Пусть развивают. Правильное дело

Ответить
Развернуть ветку
Артём Артёмов

Крутая штука, но ради этого не стану скачивать Я. Браузер)

Ответить
Развернуть ветку
Ilnur t

огонь

Ответить
Развернуть ветку
Дмитрий

Функция интересная, но желания устанавливать ради нее яндекс.браузер не возникло. А вообще надо английский учить, чтобы не зависеть от всяких сервисов)

Ответить
Развернуть ветку
weblike

У яндекса вроде проект есть ЭФИР. Вот туда бы и добавили все. А так бороться с этим монстром выходит дороже, чем пользы от него. 
В офисе были случаи когда от Дзена зависал хром. Столько они там аналитики собирают...

Ответить
Развернуть ветку
Ваша совесть

Судя по комментариям, никто не хочет учить язык. Ну и зря.

Ответить
Развернуть ветку
Dmitry Balandin

А можно нейросеть не будет как деревенщина говорить «контЬЕнт», а вместо этого будет нормальное «контЭнт». ?)
Но вообще круто, конечно.

Ответить
Развернуть ветку
Илья Попов

Яндекс отличная  поисковая система и всегда интересно какие у них новшеств. 

Ответить
Развернуть ветку
Евгений Ларин

Ооочень круто, жаль только что в яндекс браузере

Ответить
Развернуть ветку
Герман Манвелов

Круто, можно будет смотреть зарубежный ютуб

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Bad Robot

Отличная новость. Это позволит смотреть видео на англисклм и ге читать титры с переводом. 👍😀

Ответить
Развернуть ветку
Ivan Zamorev

Круто! От Яндекса ждем самых больших побед! И Алису бы развить ещё🤘

Ответить
Развернуть ветку
Игорь Савватеев

Когда будет доступно для широкой публики? (любых видео) 

Ответить
Развернуть ветку
Viktor Romanov

Люди можно ли как то через настройку консоли в браузере активировать этот перевод на все видео, а не только из списка?? 

Ответить
Развернуть ветку
Roman Ivanov

Перевод on-demand сейчас в разработке и тестировании, следите за анонсами.

Ответить
Развернуть ветку
1 комментарий

Комментарий удален модератором

Развернуть ветку
Андрей Рудин

Блин круто было бы. А то я не могу этих индусов слушать в их "обучающих" видео. Было бы не плохо вот такой вот сразу переводчик. Обновил Яндекс.браузер но у меня почему то все равно не заработало.

Ответить
Развернуть ветку
Badumirocon

Пушка!

Ответить
Развернуть ветку
Финансист в Китае

я в Китае и у нас продукты гугл забанены и работают только через VPN, что не всегда удобно, вэпээны тоже блочат. А яндекс работает прекрасно, не проходит и дня, чтобы я не использовала функции переводчика в браузере, это действительно делает жизнь проще и приятнее. Очень много и часто я использую функции перевода, это и английский, и китайский язык, и французский, любой, система сама определяет язык и переводит на русский-это шикарно! Ждем прорыва, когда скайп родит уже наконец синхронный перевод во время звонков и конференций. Потому что лингвисты должны вымереть, как класс и профессия)))

Ответить
Развернуть ветку
Всвиторе
Ответить
Развернуть ветку
1 комментарий
Душнила

Вот это норм тема

Ответить
Развернуть ветку
Natalia

Яндекс пробивает дно воруя чужие идеи? Очень неожиданно. Платите сотрудникам не за плагиат, а за собственные разработки. Или как минимум признавайте, кем и чем были "вдохновлены". 

Ответить
Развернуть ветку
Just4Fun

Есть еще у яндекса порох в пороховнице. Кликхаус так вообще нечто!

Ответить
Развернуть ветку
Николай Беликов

CarPlay. Для Яндекс.Навигатора.

Ответить
Развернуть ветку
Александр Антипов

По моему я недавно за Ютуб такое читал? Или показалось?

Ответить
Развернуть ветку
Andy Ch

НУНАКОНЕЦ-ТООО!!! Очень жду этого же от ютубчика...
Следующий шаг - возможность прикручивать такое в виде плагина к какому-нибудь зуму и т.п. Очень ждемс!

Ответить
Развернуть ветку
Ярослав

как с картавыми вопрос решите , а закадровый шум .

Ответить
Развернуть ветку
Василий

Так КонтЭнт или КонтЕнт?

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Вячеслав Ершов

YouTube - это круто! , а как он будет работать со стриминговыми площадками или DRM защищённым контентом?

Ответить
Развернуть ветку
Mr Complex

Володарского бы позвали для создания голосовых паттернов :)

Ответить
Развернуть ветку
Kraftwerk

Кроме пидарасов-сеошников (парящим статистку и графики недалёким клиентам) его никто не пользует.

Ответить
Развернуть ветку
Никита Никеров

Конечно это очень круто, даже к этой говорилке я привык. Но зная жажду яндекса везде запихнуть рекламу хз на сколько будет приятно пользоваться этим сервисом 

Ответить
Развернуть ветку
Jennifer Grey

Ещё год назад создал программу для перевода видео на другие языки, они только щас задумались об этом)

Ответить
Развернуть ветку
Vladimir Buslaev

Монополист вновь украл чужую идею и в очередной раз "грузит" свой "быстрый" браузер :)

Ответить
Развернуть ветку
Dmitry Perepichko

ВОришки, воришки. Стащили идею и выдали за свой продукт. Ай яй яй https://vc.ru/life/270925-yandeks-neumelo-ukral-moyu-ideyu-s-ozvuchkoy-subtitrov-na-youtube

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Артем Песков

как всегда украли идею, ничего сами придумать не могут

Ответить
Развернуть ветку
Denis Danchenko

Типичный руский подход к делу, в расии все воруют

Ответить
Развернуть ветку
Viktor Romanov

Может кто знает что там нужно в коде дописать чтоб вручную активировать перевод на любые видео?? 

Ответить
Развернуть ветку
Anton Sizov

Жулье

Ответить
Развернуть ветку
Pavel Loginov

Зачем это нужно для английского? Его и так все кому нужно знают. Вы сделайте для китайского хотя бы

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Хитэрион Херосович

Лично мне очень помогает эта фича, за это огромный респект команде яндекса, кросавчики

Ответить
Развернуть ветку
Денис Давыдов

кто нибдуь понял почему не все видео переводятся?

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Nikolay Bonapartov

Если бы не агрессивная реклама Яндекс.Браузера повсюду, я бы даже порадовался. А так только раздражение вызывает одно лишь упоминание.

Ответить
Развернуть ветку
286 комментариев
Раскрывать всегда