«Яндекс» добавил синхронный перевод прямых трансляций в «Браузере» — пока для нескольких YouTube-каналов Статьи редакции

Можно будет смотреть презентации Apple и запуски SpaceX сразу на русском.

  • Компания добавила технологию автоматического закадрового перевода прямых трансляций на YouTube в свой браузер, рассказали в «Яндексе». Пока она работает в режиме открытого бета-тестирования для нескольких каналов из списка, в том числе Apple, Google, TechCrunch, SpaceX, TED и других.
  • Технология позволяет переводить стримы с пяти языков — английского, немецкого, испанского, итальянского и французского. В ближайшее время компания планирует начать тестировать азиатские пары языков, но когда они будут доступны всем пользователям, не говорит.

Следующий шаг — перевод потоковых трансляций и видеороликов не только на YouTube, но и, например, в Twitch. Мы научили нейросети переводить трансляции на английском, немецком, французском, итальянском и испанском. Далее мы добавим новые пары европейских языков, а также китайский, японский и другие.

Дмитрий Тимко, руководитель приложения «Яндекс» и «Яндекс Браузера»
  • Запуск перевода стримов на Twitch требует много времени, отметили vc.ru в «Яндексе» — вероятно, это произойдет не раньше 2023 года.
  • Для запуска перевода стримов разработчикам пришлось перестроить всю архитектуру закадрового перевода видео, отметили в компании. При записанном ролике нейросеть получает аудиодорожку целиком, а значит, обладает полным контекстом, что облегчает задачу.
  • При прямой трансляции одна нейросеть распознает аудио и превращает его в текст, другая — определяет пол спикера по биометрии. Третья нейросеть расставляет знаки препинания и выделяет из текста смысловые фрагменты — части, которые содержат законченную мысль. Их забирает ещё одна нейросеть, отвечающая за перевод, который сразу синтезируется на русском языке.
  • «Яндекс» добавил автоматический закадровый перевод любых англоязычных видео в YouTube и других сервисах в «Браузере» в сентябре 2021 года, а в ноябре — закадровый перевод видео на французском, испанском и немецком. Ограничения действуют на лицензионный контент — например, сериал Netflix сервис не переведёт.
Понимает индийский английский и отличает Амазонку от Amazon

«Яндекс Браузер» запустил закадровый перевод прямых трансляций. Вот как работает технология, которой нет больше ни у кого в мире.

0
142 комментария
Написать комментарий...
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Штуки из труб

Ну-ка, назовите лучшую альтернативу голосового помощника на русском языке, чем Алиса? И близко нет. Яндекс.Алиса реально очень крута и удобна. Но если вы непременно предпочитаете более корявый зонд от Гугла или Амазона - то на здоровье.

Ответить
Развернуть ветку
Деда Миша

У меня есть станции дома, и достаточно прообщался с ней. Она тупая как пробка, не помнит контекста от предыдущего запроса и своего ответа (помнит разве что в самых примитивных типа погоды)
Понятно, что русская Сири ещё более тупая, но это не делает Алису умной. До нормального общения с ней ещё годы, если не десятилетия.
Спросить время, выключить свет, поставить таймер будильник, изменить громкость или включить музыку - в целом от неё большего не ожидаю
Она ещё весной не могла сказать, сколько дней до лета))

«Реально крута» - ну смешно же, зачем так боготворить

Я прекрасно понимаю и в целом имею представление, что там под капотом дохуя магии происходит, сам факт выдавать ответы это как технологическое чудо, и у меня мозгов не хватит сделать аналог, но она все равно тупая) и когда на 10 запросов она на 6 из них ответит невнятную хрень, ты с ней прекращаешь общаться и далее только односложные запросы как в поисковик

Ответить
Развернуть ветку
Штуки из труб

А я общался с разными колонками и голосовыми помощниками и сделал вывод, что близко по уровню к Яндекс.Алисе ничего пока что нет. Да, реально крутая. Больше того, когда у нас появилась колонка дома, огромное количество задач-вопросов с ее помощью стало можно решать без привлечения компьютера или телефона, просто голосом, не отвлекаясь от основного занятия. Даже в свое время писал статью на этот счет, как именно использую, давать ссылку не буду, тут это, наверное, запрещено. Но это вопросы от погоды, курса валют, музыки, википедии, игр и до управления голосом котлом, водонагревателем, умным домом. Причем когда оценили все плюсы колонки, то купили вторую еще и на дачу. При этом ею одинаково часто пользуются и наши дети, и мы сами, и наши дедушки-бабушки, то есть прямо все возраста.

Поэтому никто никого и ничего не боготворит, но если продукт реально крут - то я так и говорю.

Кстати, у вас не увидел ни грамма конкретики. 1. Ок, назовите аудиоколонку, которая лучше, чем Яндекс.Алиса работает на русском языке. 2. Ок, вы сказали, что Алиса не может даже сказать, сколько дней до конца чего-то там. Хорошо, а теперь может? Может, я только что проверил. Так в чем проблемы? К слову, ни разу за годы использования никому из нашей семьи не понадобилось узнать ответ на этот вопрос. Очевидно же, что на какие-то вопросы программа не даст ответов. 3. Вот вы много написали абстрактных фраз, общий смысл которых, что вам не нравится. А конкретно, что вы хотите от аудиоколонки? И опять же, нашли ли вы аудиоколонку, которая вам подошла?

Ответить
Развернуть ветку
Деда Миша
Яндекс.Алиса

Есть Майл.Алиса, или еще какие-то другие Алисы?) мы же оба понимаем, о чем речь, зачем уточнение

На русском лучше Алисы нет. Все мое сообщение было о том, что по человечески с ней не поговорить. Вести беседу она не умеет, контекст не помнит и начинает тупить
С элементарными односложными запросами справляется хорошо, поэтому она у меня еще есть дома

По статье можете ссылку в личку кинуть или тут опубликовать

Меня только расстроило, что они сломали нормальный звук на громкости 1-2 на 1 большой станции и даже на максе. Слышно шипение. Особенно при звуке активации. Возможно напишу статью на эту тему. Проблема программная и с ноября тянется, ничего не чинят

Ответить
Развернуть ветку
Штуки из труб

Выслал в личку ссылку на статью. А зачем с программой говорить? У меня она выполняет сугубо утилитарные задачи, ну иногда анекдоты рассказывает, в Ерундополь поиграть. Пока доволен. До Алисы я вообще не верил в перспективность голосовых помощников, потом изменил свое мнение.

Ответить
Развернуть ветку
139 комментариев
Раскрывать всегда