«Яндекс Браузер» добавил автоматический перевод видео с китайского языка Статьи редакции
Пока технология работает с видео на YouTube.
- «Яндекс» научил нейросети переводить видео с китайского и автоматически накладывать русскую озвучку, рассказала компания. В пресс-службе отметили, что теперь есть «достаточная технологическая база» для работы с другими сложными языками — например, корейским и японским.
- Чтобы научить нейросети, разработчики обработали 1,5 млн видео с помощью специального алгоритма и выбрали 100 тысяч примеров с качественными субтитрами на севернокитайском языке. Соответствие аудио и субтитров важно, потому что по ним нейросеть учится понимать речь, пояснили в компании.
- На первом этапе перевода нейросети выучили 6500 иероглифов, каждый из которых читается как слог. Чтобы нейросеть научилась их понимать, разработчики закодировали необходимый для работы с китайским словарь в виде 10 тысяч токенов. Один токен равен одному слогу или сочетанию двух слогов. Также нейросеть обучили делить сплошной поток иероглифов на смысловые отрезки, чтобы точнее синхронизировать перевод с речью.
- Также разработчики обучили нейросети понимать четыре тона, которые в китайском определяют смысл сказанного. Тон — это мелодический рисунок голоса, каждый слог с повышением или понижением голоса может означать разные вещи.
- «Яндекс Браузер» сам предложит перевести видео с китайского на YouTube после того, как пользователь его откроет. Для этого ему нужно нажать кнопку «Перевести видео». «Чуть позже» компания добавит перевод для китайской видеоплатформы Bilibili.
- «Яндекс» добавил автоматический закадровый перевод любых англоязычных видео в YouTube и других сервисах в «Браузере» в сентябре 2021 года, а в ноябре — закадровый перевод видео на французском, испанском и немецком. В августе 2022-го — синхронный перевод прямых трансляций.
55K
показов
16K
открытий
2
репоста
Я как раз сейчас протестировала перевод с китайского. Не без ляпов, конечно, но общий смысл передает хорошо. Так что я буду пользоваться однозначно.
А что можно на китайском смотреть? Просто практически ни разу в жизни китайский контент в сети не встречал.
Если честно, я люблю смотреть китайских бьюти-блогеров. Через них учу язык, в частности, различать тоны. Но иногда вообще не понимаю, о чем они, а субтитров нет. Так что функции хотя переслушать кусок в переводе, чтобы себя проверить, мне очень не хватало.
Сериалы фильмы на Ютубе
Например ихнию порнуху, но там без перевода все понятно.
Ну а если серьезно, они за файрволом живут, бытового контента в мир попадает мало, у них свои площадки, а ютуб для них закрыт
Есть те, кто живет за границей, но снимает контент на китайском. Собственно, я таких на YT и смотрю. Среди них много стотысячников, особенно в моем любимом бьюти- и лайфстайл-сегменте. Не учила бы китайский, никогда бы не подумала, что их так много.