«Яндекс» добавил синхронный перевод прямых трансляций в «Браузере» — пока для нескольких YouTube-каналов Статьи редакции

Можно будет смотреть презентации Apple и запуски SpaceX сразу на русском.

  • Компания добавила технологию автоматического закадрового перевода прямых трансляций на YouTube в свой браузер, рассказали в «Яндексе». Пока она работает в режиме открытого бета-тестирования для нескольких каналов из списка, в том числе Apple, Google, TechCrunch, SpaceX, TED и других.
  • Технология позволяет переводить стримы с пяти языков — английского, немецкого, испанского, итальянского и французского. В ближайшее время компания планирует начать тестировать азиатские пары языков, но когда они будут доступны всем пользователям, не говорит.

Следующий шаг — перевод потоковых трансляций и видеороликов не только на YouTube, но и, например, в Twitch. Мы научили нейросети переводить трансляции на английском, немецком, французском, итальянском и испанском. Далее мы добавим новые пары европейских языков, а также китайский, японский и другие.

Дмитрий Тимко, руководитель приложения «Яндекс» и «Яндекс Браузера»
  • Запуск перевода стримов на Twitch требует много времени, отметили vc.ru в «Яндексе» — вероятно, это произойдет не раньше 2023 года.
  • Для запуска перевода стримов разработчикам пришлось перестроить всю архитектуру закадрового перевода видео, отметили в компании. При записанном ролике нейросеть получает аудиодорожку целиком, а значит, обладает полным контекстом, что облегчает задачу.
  • При прямой трансляции одна нейросеть распознает аудио и превращает его в текст, другая — определяет пол спикера по биометрии. Третья нейросеть расставляет знаки препинания и выделяет из текста смысловые фрагменты — части, которые содержат законченную мысль. Их забирает ещё одна нейросеть, отвечающая за перевод, который сразу синтезируется на русском языке.
  • «Яндекс» добавил автоматический закадровый перевод любых англоязычных видео в YouTube и других сервисах в «Браузере» в сентябре 2021 года, а в ноябре — закадровый перевод видео на французском, испанском и немецком. Ограничения действуют на лицензионный контент — например, сериал Netflix сервис не переведёт.
Понимает индийский английский и отличает Амазонку от Amazon

«Яндекс Браузер» запустил закадровый перевод прямых трансляций. Вот как работает технология, которой нет больше ни у кого в мире.

0
142 комментария
Написать комментарий...
Alex Shevchenko

Почему для ютуб, а не рутуб🤔

Ответить
Развернуть ветку
Вадим Д.

На рутубе нечего переводить, на 2 видосах не разгуляешься (-:
Ирония.

Ответить
Развернуть ветку
Vladislav S

можно перевести для дикарей из игилов и прочих сомали трансляции эфиров соловьева - им зайдет

Ответить
Развернуть ветку
Вадим Д.

Оу, оу, спокойно. Положи соловьёва на пол и отойди на 2 шага (-:

Ответить
Развернуть ветку
Alex Shevchenko

Соловьёв как разогнанная турбина до высоких оборотов 😁 вот вот разлетится))

Ответить
Развернуть ветку
Вася Пражкин

Ну можно с русского на белорусский переводить, батьке приятно будет.

Ответить
Развернуть ветку
Rnatery

батька на русском говорит

Ответить
Развернуть ветку
Вася Пражкин

- Ну Владимир Владимирович..

Ответить
Развернуть ветку
Alex Shevchenko

Точна! "Семён Семеныч"! 😁 Там же действительно, первостепенно русскоязычный контент 🙈

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Читать все 142 комментария
null