«Яндекс» добавил синхронный перевод прямых трансляций в «Браузере» — пока для нескольких YouTube-каналов Статьи редакции

Можно будет смотреть презентации Apple и запуски SpaceX сразу на русском.

  • Компания добавила технологию автоматического закадрового перевода прямых трансляций на YouTube в свой браузер, рассказали в «Яндексе». Пока она работает в режиме открытого бета-тестирования для нескольких каналов из списка, в том числе Apple, Google, TechCrunch, SpaceX, TED и других.
  • Технология позволяет переводить стримы с пяти языков — английского, немецкого, испанского, итальянского и французского. В ближайшее время компания планирует начать тестировать азиатские пары языков, но когда они будут доступны всем пользователям, не говорит.

Следующий шаг — перевод потоковых трансляций и видеороликов не только на YouTube, но и, например, в Twitch. Мы научили нейросети переводить трансляции на английском, немецком, французском, итальянском и испанском. Далее мы добавим новые пары европейских языков, а также китайский, японский и другие.

Дмитрий Тимко, руководитель приложения «Яндекс» и «Яндекс Браузера»
  • Запуск перевода стримов на Twitch требует много времени, отметили vc.ru в «Яндексе» — вероятно, это произойдет не раньше 2023 года.
  • Для запуска перевода стримов разработчикам пришлось перестроить всю архитектуру закадрового перевода видео, отметили в компании. При записанном ролике нейросеть получает аудиодорожку целиком, а значит, обладает полным контекстом, что облегчает задачу.
  • При прямой трансляции одна нейросеть распознает аудио и превращает его в текст, другая — определяет пол спикера по биометрии. Третья нейросеть расставляет знаки препинания и выделяет из текста смысловые фрагменты — части, которые содержат законченную мысль. Их забирает ещё одна нейросеть, отвечающая за перевод, который сразу синтезируется на русском языке.
  • «Яндекс» добавил автоматический закадровый перевод любых англоязычных видео в YouTube и других сервисах в «Браузере» в сентябре 2021 года, а в ноябре — закадровый перевод видео на французском, испанском и немецком. Ограничения действуют на лицензионный контент — например, сериал Netflix сервис не переведёт.
Понимает индийский английский и отличает Амазонку от Amazon

«Яндекс Браузер» запустил закадровый перевод прямых трансляций. Вот как работает технология, которой нет больше ни у кого в мире.

0
142 комментария
Написать комментарий...
Абырвалг Абырвалг

В здравом уме и трезвой памяти, самостоятельно ставить себе зонды в виде яколонок и использовать ясофт, не знаю - не знаю.
Конечно у них есть хорошие продукты, но обычно существуют неплохие альтернативы, которые, впрочем, могут быть без локализации, англ надо хотя бы поверхностно знать, да.

Ответить
Развернуть ветку
Штуки из труб

Ну-ка, назовите лучшую альтернативу голосового помощника на русском языке, чем Алиса? И близко нет. Яндекс.Алиса реально очень крута и удобна. Но если вы непременно предпочитаете более корявый зонд от Гугла или Амазона - то на здоровье.

Ответить
Развернуть ветку
Деда Миша

У меня есть станции дома, и достаточно прообщался с ней. Она тупая как пробка, не помнит контекста от предыдущего запроса и своего ответа (помнит разве что в самых примитивных типа погоды)
Понятно, что русская Сири ещё более тупая, но это не делает Алису умной. До нормального общения с ней ещё годы, если не десятилетия.
Спросить время, выключить свет, поставить таймер будильник, изменить громкость или включить музыку - в целом от неё большего не ожидаю
Она ещё весной не могла сказать, сколько дней до лета))

«Реально крута» - ну смешно же, зачем так боготворить

Я прекрасно понимаю и в целом имею представление, что там под капотом дохуя магии происходит, сам факт выдавать ответы это как технологическое чудо, и у меня мозгов не хватит сделать аналог, но она все равно тупая) и когда на 10 запросов она на 6 из них ответит невнятную хрень, ты с ней прекращаешь общаться и далее только односложные запросы как в поисковик

Ответить
Развернуть ветку
Штуки из труб

А я общался с разными колонками и голосовыми помощниками и сделал вывод, что близко по уровню к Яндекс.Алисе ничего пока что нет. Да, реально крутая. Больше того, когда у нас появилась колонка дома, огромное количество задач-вопросов с ее помощью стало можно решать без привлечения компьютера или телефона, просто голосом, не отвлекаясь от основного занятия. Даже в свое время писал статью на этот счет, как именно использую, давать ссылку не буду, тут это, наверное, запрещено. Но это вопросы от погоды, курса валют, музыки, википедии, игр и до управления голосом котлом, водонагревателем, умным домом. Причем когда оценили все плюсы колонки, то купили вторую еще и на дачу. При этом ею одинаково часто пользуются и наши дети, и мы сами, и наши дедушки-бабушки, то есть прямо все возраста.

Поэтому никто никого и ничего не боготворит, но если продукт реально крут - то я так и говорю.

Кстати, у вас не увидел ни грамма конкретики. 1. Ок, назовите аудиоколонку, которая лучше, чем Яндекс.Алиса работает на русском языке. 2. Ок, вы сказали, что Алиса не может даже сказать, сколько дней до конца чего-то там. Хорошо, а теперь может? Может, я только что проверил. Так в чем проблемы? К слову, ни разу за годы использования никому из нашей семьи не понадобилось узнать ответ на этот вопрос. Очевидно же, что на какие-то вопросы программа не даст ответов. 3. Вот вы много написали абстрактных фраз, общий смысл которых, что вам не нравится. А конкретно, что вы хотите от аудиоколонки? И опять же, нашли ли вы аудиоколонку, которая вам подошла?

Ответить
Развернуть ветку
Деда Миша
Яндекс.Алиса

Есть Майл.Алиса, или еще какие-то другие Алисы?) мы же оба понимаем, о чем речь, зачем уточнение

На русском лучше Алисы нет. Все мое сообщение было о том, что по человечески с ней не поговорить. Вести беседу она не умеет, контекст не помнит и начинает тупить
С элементарными односложными запросами справляется хорошо, поэтому она у меня еще есть дома

По статье можете ссылку в личку кинуть или тут опубликовать

Меня только расстроило, что они сломали нормальный звук на громкости 1-2 на 1 большой станции и даже на максе. Слышно шипение. Особенно при звуке активации. Возможно напишу статью на эту тему. Проблема программная и с ноября тянется, ничего не чинят

Ответить
Развернуть ветку
Штуки из труб

Выслал в личку ссылку на статью. А зачем с программой говорить? У меня она выполняет сугубо утилитарные задачи, ну иногда анекдоты рассказывает, в Ерундополь поиграть. Пока доволен. До Алисы я вообще не верил в перспективность голосовых помощников, потом изменил свое мнение.

Ответить
Развернуть ветку
Абырвалг Абырвалг

Я русским языком и написал, что ОБЫЧНО есть альтернативы (не всегда). Яндекс не заканчивается алисой и переводчиком.
Если вам надо супер точные переводы на русский, или голосовые сервисы, естественно яндекс будет работать лучше.
Но если вам нужно что-то не завязанное напрямую на локализацию, то можно найти адекватные замены.
На зонды Амазона и Гугла глубоко фиолетово, я же в РФ проживаю.
И "более корявые" они опять же в разрезе работы с ними на русском. На родном для них языке будет все так же прекрасно как и у нас с я.

Ответить
Развернуть ветку
Штуки из труб

А я русским языком написал, что альтернативы вы не найдете. Ну-ка, назовите лучшую альтернативу голосового помощника на русском языке, чем Алиса? И близко нет. Яндекс.Алиса реально очень крута и удобна. Но если вы непременно предпочитаете более корявый зонд от Гугла или Амазона - то на здоровье.

Нет, Яндекс и близко не заканчивается Алисой и переводчиком. Но не вижу смысла уходить от темы, когда мы говорим конкретно про Алису. У вас, я так понимаю, конкретики не будет.

Ответить
Развернуть ветку
Абырвалг Абырвалг

Предпочитаю чтобы мои данные лежали только у меня, либо там, где до них никому нет дела, вот это нужно и важно.
А если прям усраться как надо голосовой помощник - гугл и англ и для общего развития полезно и хотелки свои реализуете.

Ответить
Развернуть ветку
Штуки из труб

Давайте попробуем еще раз задать вопрос, на который вы упорно не хотите отвечать. Назовите лучшую альтернативу голосового помощника на русском языке, чем Алиса?

Ответить
Развернуть ветку
Абырвалг Абырвалг

Попробовали ?

Ответить
Развернуть ветку
Victor Nosov
Ответить
Развернуть ветку
Штуки из труб

Чем лучше?

Ответить
Развернуть ветку
Victor Nosov

вы не просили "лучше", вы просили "альтернативу".
по функциональности вполне себе альтернатива. лучше или хуже - не берусь судить

Ответить
Развернуть ветку
Штуки из труб

Но альтернатива подразумевает все-таки аналогичный уровень устройства. Вот Сири для меня ни разу не альтернатива Алисе. Ваш вариант тоже рядом не стоит, точно никогда бы не использовал. Поэтому и интересуюсь, чем лучше? Ну хорошо, почему вы считаете эту поделку альтернативой?

Ответить
Развернуть ветку
Victor Nosov

У меня дома стоит и Алиса (две), и я пробовал использовать сберпортал.
Все, что выше описано про имитацию интеллекта в Алисе- подтверждаю. У меня это выполнение простых команд «открой шторы, выключи свет, что с погодой». При этом чуть более сложные запросы уже приводят в ступор. Не помнит контекста, своих ответов, отвечает шаблонно (спросите ее о погоде и потом отдельно спросите о давлении или влажности на улице). При этом страшно бесит навязчивые попытки имитировать интеллект и напрашиваться в собеседники. Уже бы вела себя просто как голосовой робот и не пыталась разговор завязать.
В салюте Сбера есть все примерно то же самое, и даже умный. Но есть и более крутые фишки (типа он может вас сам записать на стрижку). И само устройство у Сбера добротнее. Поэтому я бы поставил их рядом спокойно. Просто дальше начинаются нюансы и кто к чему привык.

Ответить
Развернуть ветку
Штуки из труб

Не помнит контекста, своих ответов… И в чем это выражается? Мне нужно узнать курс валюты, я хочу послушать аудиокнигу, выдержку из Википедии, узнать программу передач. И так далее. Мне не нужен собеседник, мне нужен справочный аудиопомщник, который во многих вещах мне заменяет компьютер. Зачем мне собеседник-колонка? Для этого у меня есть сосед-философ, который по пятницам заткнет за пояс любой искусственный интеллект.

Ответить
Развернуть ветку
Victor Nosov

Вы просили альтернативу- я вам ее попытался описать подробно. В том смысле, что как ассистент и алиса и салют работают практически одинаково. Поэтому фразы вроде "рядом не стоит" неуместны.
Обе колонки однаково тупые - они идеально выполняют простые команды, но искусственный интеллект используют только для распознавания голоса и выполнения инструкций.
Такое поведение уже объективно не какое-то ноу-хау, и яндексу на пятки наступают.

Ответить
Развернуть ветку
Читать все 142 комментария
null