«Яндекс» добавил синхронный перевод прямых трансляций в «Браузере» — пока для нескольких YouTube-каналов Статьи редакции

Можно будет смотреть презентации Apple и запуски SpaceX сразу на русском.

  • Компания добавила технологию автоматического закадрового перевода прямых трансляций на YouTube в свой браузер, рассказали в «Яндексе». Пока она работает в режиме открытого бета-тестирования для нескольких каналов из списка, в том числе Apple, Google, TechCrunch, SpaceX, TED и других.
  • Технология позволяет переводить стримы с пяти языков — английского, немецкого, испанского, итальянского и французского. В ближайшее время компания планирует начать тестировать азиатские пары языков, но когда они будут доступны всем пользователям, не говорит.

Следующий шаг — перевод потоковых трансляций и видеороликов не только на YouTube, но и, например, в Twitch. Мы научили нейросети переводить трансляции на английском, немецком, французском, итальянском и испанском. Далее мы добавим новые пары европейских языков, а также китайский, японский и другие.

Дмитрий Тимко, руководитель приложения «Яндекс» и «Яндекс Браузера»
  • Запуск перевода стримов на Twitch требует много времени, отметили vc.ru в «Яндексе» — вероятно, это произойдет не раньше 2023 года.
  • Для запуска перевода стримов разработчикам пришлось перестроить всю архитектуру закадрового перевода видео, отметили в компании. При записанном ролике нейросеть получает аудиодорожку целиком, а значит, обладает полным контекстом, что облегчает задачу.
  • При прямой трансляции одна нейросеть распознает аудио и превращает его в текст, другая — определяет пол спикера по биометрии. Третья нейросеть расставляет знаки препинания и выделяет из текста смысловые фрагменты — части, которые содержат законченную мысль. Их забирает ещё одна нейросеть, отвечающая за перевод, который сразу синтезируется на русском языке.
  • «Яндекс» добавил автоматический закадровый перевод любых англоязычных видео в YouTube и других сервисах в «Браузере» в сентябре 2021 года, а в ноябре — закадровый перевод видео на французском, испанском и немецком. Ограничения действуют на лицензионный контент — например, сериал Netflix сервис не переведёт.
Понимает индийский английский и отличает Амазонку от Amazon

«Яндекс Браузер» запустил закадровый перевод прямых трансляций. Вот как работает технология, которой нет больше ни у кого в мире.

0
142 комментария
Написать комментарий...
Александр Саввин

Кто бы что ни говорил, а Яндекс топ.

Ответить
Развернуть ветку
RobinzonCruzo

Да, у Яндекса есть хорошие продукты, но компания говном от этого не перестала быть. Они помогли зомбировать населения, ввели жуткую цензуру, их поиск ужасен. Даже будучи потенциальным работником никогда не пошёл бы к ним, а) за их политичность б) они платят ниже рынке в) они наебывают в оферах, предлагая условия хуже после прохождения собесов

Ответить
Развернуть ветку
5 комментариев
Vlad

Яндекс.Пот

Ответить
Развернуть ветку
1 комментарий
Rax034

Настолько топ, что Алиса умеет переводить голос с прямой трансляции раньше, чем текст прозвучит в оригинале.
Действительно мощно

Ответить
Развернуть ветку
4 комментария
Псков Бурито

Взять автоматический перевод от Google и подцепить бесплатный SDK text-to-speech?

Ответить
Развернуть ветку
2 комментария
Вадим Д.

Вот это круто! Яндекс пока всю неделю молодцы! На моей памяти — рекорд (-:
И это очень здорово, поскольку хорошие новости нужны, как воздух. Молодцы, так держать! 🤘🏻

Ответить
Развернуть ветку
Невероятный Блондин

Ну не при всех же.
Хоть бы уединились. 👉🏼👌🏼

Ответить
Развернуть ветку
25 комментариев
Сексорцист Милфхантерович

Валим, ты заебал (-:

Ответить
Развернуть ветку
Константин Суворов

У Яндекса есть главная проблема, по умолчанию браузер очень люто перегружен, со всякими всплывающими менюшками.

Нужна сила воли, чтобы выделить 20 минут и через настройки настроить всё под себя.

Именно поэтому получилось оценить браузер по достоинству только с третьей попытки. Очень нравится.

Но по умолчанию после установки соблазн удалить это нечто - очень высок.

Ответить
Развернуть ветку
nochnoy.ru

Сила воли нужна нечеловеческая т.к. после того как все всплывающие менюшки отключишь прилетает обновление и все настройки сбрасывает до заводских.

Ответить
Развернуть ветку
2 комментария
Dee

Напишите гайд может и я попробую

Ответить
Развернуть ветку
Александр А.

Да, они долго навязывали всякие плюшки. Но последний год браузер стал неназойливым.

Живу с ним несколько лет.

Я знаю, что вынесенное видео позаимствовано от Оперы - но пользуюсь Яндексом :)

Менеджер паролей был не только толково сделан, но и внятно описан/опубликован, и вызывает доверие.

Казалось бы простые вещи, но Chrome не имел ни того, ни другого много лет (сейчас не знаю).

Ответить
Развернуть ветку
1 комментарий
Anton Karmanov

в браузере они ещё и блокируют работу расширения uBlock на своём сайте, по крайней мере года 2 назад так было

Ответить
Развернуть ветку
3 комментария
Максим Кольцов

думаете стоит переходить с хрома на яндекс?
я вот что-то никак не решаюсь

Ответить
Развернуть ветку
1 комментарий
Алексей Пешков

удалил его когда там нельзя стало закладки делать без логина

Ответить
Развернуть ветку
Коля Базин

А презентации Apple в переводе зачем смотреть? Поплакать?

Ответить
Развернуть ветку
Драка вегетарианца с людоедом

наверное, чтобы вернуться в эпоху первого айфона, который сюда тоже только всерую везли

Ответить
Развернуть ветку
2 комментария
Максим Кольцов

эта фраза добавлена чтобы подчеркнуть что несмотря на то что яндекс чего-то там сделал всё равно самое лучшее делают в США

Ответить
Развернуть ветку
Anton Vlasov

Русский язык не только в рф и рб используют.

Ответить
Развернуть ветку
ААА

Яндекс однозначно лучшая инновационная компания России и если к ней не лезть с регулированием с .... , она вполне может стать одним из мировых лидеров в этой отрасли.

Ответить
Развернуть ветку
Драка вегетарианца с людоедом

Было бы здорово, если бы Яндекс выпустил приложение-диктофон на основе своего speech-to-text, как в своё время Google выпустил эксклюзивное приложение Recorder для своей линейки телефонов. Для студентов, и вообще людей, которым надо конспектировать большие объемы речи это прям очень ценный инструмент

Ответить
Развернуть ветку
Александр А.

Я их просил сделать генератор субтитров. Все равно же они делают внутренние субтитры в процессе перевода.

Поблагодарили за идею, но в приоритеты не попало :)

Ответить
Развернуть ветку
6 комментариев
Alex Shevchenko

Почему для ютуб, а не рутуб🤔

Ответить
Развернуть ветку
Вадим Д.

На рутубе нечего переводить, на 2 видосах не разгуляешься (-:
Ирония.

Ответить
Развернуть ветку
8 комментариев
Dimitri

Вот функция перевода видео в Яндексе реально топ. Очень крутая фича.

Ответить
Развернуть ветку
Илья Тюменцев
Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Штуки из труб

Ну-ка, назовите лучшую альтернативу голосового помощника на русском языке, чем Алиса? И близко нет. Яндекс.Алиса реально очень крута и удобна. Но если вы непременно предпочитаете более корявый зонд от Гугла или Амазона - то на здоровье.

Ответить
Развернуть ветку
16 комментариев
Конопляная одежда Uzor Wear

круто. но английский учить всё равно нужно )

Ответить
Развернуть ветку
роман долгополов

А информатику?Иначе как в интернете ползать

Ответить
Развернуть ветку
Пришелец

Искусственный интеллект будет сразу переводить новости на соответствующие политическому курсу и традиционным ценностям.

Ответить
Развернуть ветку
Максим Кольцов

эта шутка вполне себе может оказаться и не шуткой

Ответить
Развернуть ветку
Yaroslav Zolotov

Яндекс красавчики, вот прям искренне хвалю их

Ответить
Развернуть ветку
Gerge Thunder

Мне очень нравится перевод в ютюбе через браузер яндекса. Многие американские каналы смотрю включив это перевод.

Ответить
Развернуть ветку
Email Glober

Посмотрел ролик про запуск Дракона. Перевод ОПЕРЕЖАЕТ оригинальную дорожку. При синхронном переводе он должен ОТСТАВАТЬ. Это что? Наёп?

Ответить
Развернуть ветку
роман долгополов

Володя Путин впрямую тоже вещает с 20 секундным опережением угадайте зачем))

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Семен Живенков

Это прям нереально круто! Как в фильмах про будущее))

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Алексей Сергеев

Твоя цель собрать минусы от всего vc?

Ответить
Развернуть ветку
Сергей Иванов

Жду функцию обратную. С русского на языки других народов

Ответить
Развернуть ветку
Evgen

Не ну классная же новость, прям топ!

Ответить
Развернуть ветку
Вячеслав

т.е. глобализация с высоким уровнем английского отменяется? жаль

Ответить
Развернуть ветку
GanicusCsw

Мне нравится, что яндекс постоянно внедряет в свои проекты нейронки, перевод вообще топ. Часто смотрю ролики на английском, озвучкой не особо пользуюсь, а вот их субтитры выручают, перевод слова по клику отличная вещь

Ответить
Развернуть ветку
volodya

Алиса еще у них топ (тоже своего рода несколько нейросетей). Можно включить ребенку рассказ какой или самому книжку послушать

В последнее время правда их edge (azure) переплюнул немного. Китайцы вскрыли API и зарелизили для всех (как системный ттс под андроид) https://github.com/ag2s20150909/TTS

Ответить
Развернуть ветку
OOSOBAA

Валя Петушков иди ты на х......

Ответить
Развернуть ветку
Сексорцист Милфхантерович

Топ. 👍
Жду синхронный перевод фильмов и игр :-Д

Ответить
Развернуть ветку
Ethan Hunt

Так ютуб скоро заблокируют, они б лучше свой дзен развивали

Ответить
Развернуть ветку
Штуки из труб

Дзен как раз сейчас бурно развивается. Такого количество нового функционала на этой платформе не было с начала создания.

Ответить
Развернуть ветку
7 комментариев
Виктор Д.

уже вижу эти оправдания,что подвел перевод )

Ответить
Развернуть ветку
Штуки из труб

Хорошее дело. Но вряд ли Ютуб долго останется незаблокированным.

Ответить
Развернуть ветку
Spooky Surfer

Дума: *грозится заблокировать Ютуб и сажать родителей детей, пользующихся им после блокировки*
Яндекс:

Ответить
Развернуть ветку
Olek Dav

а зачем?

Ответить
Развернуть ветку
Anton

Дубль комментарий

Ответить
Развернуть ветку
Анатолий

перевод с китайского не работает, какие там языки поддерживаются?

Ответить
Развернуть ветку
Thomas Sowell book Society

Было бы круто если бы Яндекс аналог Ютуба запилил

Ответить
Развернуть ветку
Псков Бурито

Кого-то еще возбуждает text-to-speech ?

Ответить
Развернуть ветку
Парвиз Мирзоев

Начинаю постоянно улыбаться, когда в комментариях пишут, что та или иная колонка «умная» или «тупая». 😅

Ответить
Развернуть ветку
Ilia

Мысли параноика: а с помощью такого расширения компания Яндекс получает информацию вплоть до каждого слова и момента, который видит пользователь?)

Ответить
Развернуть ветку
designer fake

+ всех интересующихся заморскими достижениями сдаст товарищу майору

Ответить
Развернуть ветку
shencrypto

яндекс еще работает? Там же все акции в труху превратились, почему на банкротство не подает?

Ответить
Развернуть ветку
Владимир Писарев

Кстати, Яндекс, а как вы соблюдаете права? Обожаю ваши речевые технологии, но вопрос остается:

Ст. 1270 ГК РФ:

Автору произведения или иному правообладателю принадлежит исключительное право использовать произведение.

Использованием произведения независимо от того, совершаются ли соответствующие действия в целях извлечения прибыли или без такой цели, считается перевод или другая переработка произведения.

Ответить
Развернуть ветку
139 комментариев
Раскрывать всегда