«Яндекс» добавил синхронный перевод прямых трансляций в «Браузере» — пока для нескольких YouTube-каналов Статьи редакции

Можно будет смотреть презентации Apple и запуски SpaceX сразу на русском.

  • Компания добавила технологию автоматического закадрового перевода прямых трансляций на YouTube в свой браузер, рассказали в «Яндексе». Пока она работает в режиме открытого бета-тестирования для нескольких каналов из списка, в том числе Apple, Google, TechCrunch, SpaceX, TED и других.
  • Технология позволяет переводить стримы с пяти языков — английского, немецкого, испанского, итальянского и французского. В ближайшее время компания планирует начать тестировать азиатские пары языков, но когда они будут доступны всем пользователям, не говорит.

Следующий шаг — перевод потоковых трансляций и видеороликов не только на YouTube, но и, например, в Twitch. Мы научили нейросети переводить трансляции на английском, немецком, французском, итальянском и испанском. Далее мы добавим новые пары европейских языков, а также китайский, японский и другие.

Дмитрий Тимко, руководитель приложения «Яндекс» и «Яндекс Браузера»
  • Запуск перевода стримов на Twitch требует много времени, отметили vc.ru в «Яндексе» — вероятно, это произойдет не раньше 2023 года.
  • Для запуска перевода стримов разработчикам пришлось перестроить всю архитектуру закадрового перевода видео, отметили в компании. При записанном ролике нейросеть получает аудиодорожку целиком, а значит, обладает полным контекстом, что облегчает задачу.
  • При прямой трансляции одна нейросеть распознает аудио и превращает его в текст, другая — определяет пол спикера по биометрии. Третья нейросеть расставляет знаки препинания и выделяет из текста смысловые фрагменты — части, которые содержат законченную мысль. Их забирает ещё одна нейросеть, отвечающая за перевод, который сразу синтезируется на русском языке.
  • «Яндекс» добавил автоматический закадровый перевод любых англоязычных видео в YouTube и других сервисах в «Браузере» в сентябре 2021 года, а в ноябре — закадровый перевод видео на французском, испанском и немецком. Ограничения действуют на лицензионный контент — например, сериал Netflix сервис не переведёт.
Понимает индийский английский и отличает Амазонку от Amazon

«Яндекс Браузер» запустил закадровый перевод прямых трансляций. Вот как работает технология, которой нет больше ни у кого в мире.

0
142 комментария
Написать комментарий...
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Штуки из труб

Ну-ка, назовите лучшую альтернативу голосового помощника на русском языке, чем Алиса? И близко нет. Яндекс.Алиса реально очень крута и удобна. Но если вы непременно предпочитаете более корявый зонд от Гугла или Амазона - то на здоровье.

Ответить
Развернуть ветку
Victor Nosov
Ответить
Развернуть ветку
Штуки из труб

Чем лучше?

Ответить
Развернуть ветку
Victor Nosov

вы не просили "лучше", вы просили "альтернативу".
по функциональности вполне себе альтернатива. лучше или хуже - не берусь судить

Ответить
Развернуть ветку
Штуки из труб

Но альтернатива подразумевает все-таки аналогичный уровень устройства. Вот Сири для меня ни разу не альтернатива Алисе. Ваш вариант тоже рядом не стоит, точно никогда бы не использовал. Поэтому и интересуюсь, чем лучше? Ну хорошо, почему вы считаете эту поделку альтернативой?

Ответить
Развернуть ветку
Victor Nosov

У меня дома стоит и Алиса (две), и я пробовал использовать сберпортал.
Все, что выше описано про имитацию интеллекта в Алисе- подтверждаю. У меня это выполнение простых команд «открой шторы, выключи свет, что с погодой». При этом чуть более сложные запросы уже приводят в ступор. Не помнит контекста, своих ответов, отвечает шаблонно (спросите ее о погоде и потом отдельно спросите о давлении или влажности на улице). При этом страшно бесит навязчивые попытки имитировать интеллект и напрашиваться в собеседники. Уже бы вела себя просто как голосовой робот и не пыталась разговор завязать.
В салюте Сбера есть все примерно то же самое, и даже умный. Но есть и более крутые фишки (типа он может вас сам записать на стрижку). И само устройство у Сбера добротнее. Поэтому я бы поставил их рядом спокойно. Просто дальше начинаются нюансы и кто к чему привык.

Ответить
Развернуть ветку
Штуки из труб

Не помнит контекста, своих ответов… И в чем это выражается? Мне нужно узнать курс валюты, я хочу послушать аудиокнигу, выдержку из Википедии, узнать программу передач. И так далее. Мне не нужен собеседник, мне нужен справочный аудиопомщник, который во многих вещах мне заменяет компьютер. Зачем мне собеседник-колонка? Для этого у меня есть сосед-философ, который по пятницам заткнет за пояс любой искусственный интеллект.

Ответить
Развернуть ветку
Victor Nosov

Вы просили альтернативу- я вам ее попытался описать подробно. В том смысле, что как ассистент и алиса и салют работают практически одинаково. Поэтому фразы вроде "рядом не стоит" неуместны.
Обе колонки однаково тупые - они идеально выполняют простые команды, но искусственный интеллект используют только для распознавания голоса и выполнения инструкций.
Такое поведение уже объективно не какое-то ноу-хау, и яндексу на пятки наступают.

Ответить
Развернуть ветку
139 комментариев
Раскрывать всегда