«Яндекс Браузер» добавил автоматический перевод видео с китайского языка Статьи редакции
Пока технология работает с видео на YouTube.
- «Яндекс» научил нейросети переводить видео с китайского и автоматически накладывать русскую озвучку, рассказала компания. В пресс-службе отметили, что теперь есть «достаточная технологическая база» для работы с другими сложными языками — например, корейским и японским.
- Чтобы научить нейросети, разработчики обработали 1,5 млн видео с помощью специального алгоритма и выбрали 100 тысяч примеров с качественными субтитрами на севернокитайском языке. Соответствие аудио и субтитров важно, потому что по ним нейросеть учится понимать речь, пояснили в компании.
- На первом этапе перевода нейросети выучили 6500 иероглифов, каждый из которых читается как слог. Чтобы нейросеть научилась их понимать, разработчики закодировали необходимый для работы с китайским словарь в виде 10 тысяч токенов. Один токен равен одному слогу или сочетанию двух слогов. Также нейросеть обучили делить сплошной поток иероглифов на смысловые отрезки, чтобы точнее синхронизировать перевод с речью.
- Также разработчики обучили нейросети понимать четыре тона, которые в китайском определяют смысл сказанного. Тон — это мелодический рисунок голоса, каждый слог с повышением или понижением голоса может означать разные вещи.
- «Яндекс Браузер» сам предложит перевести видео с китайского на YouTube после того, как пользователь его откроет. Для этого ему нужно нажать кнопку «Перевести видео». «Чуть позже» компания добавит перевод для китайской видеоплатформы Bilibili.
- «Яндекс» добавил автоматический закадровый перевод любых англоязычных видео в YouTube и других сервисах в «Браузере» в сентябре 2021 года, а в ноябре — закадровый перевод видео на французском, испанском и немецком. В августе 2022-го — синхронный перевод прямых трансляций.
55K
показов
16K
открытий
2
репоста
Ого, вот понимание тонов — это действительно круто 👍🏻
А разбирать китайский, хотя бы наиболее популярные диалекты скоро может всем пригодиться (-:
Мне ещё в 2000-х в колледже препод рассказывал, как Китайская экономика скоро весь мир захватит, и мы будем вынуждены учить китайский и перейти на юани. Теперь точно настало это время?
На юань перейти врятли сможем. Ведь тогда КПК не сможет диктовать курс, а будет рынок управлять им.
А китайский язык никому не нужен кроме Китая. Ну нахрен он тогда вообще нужен?
лол
об этом все говорили, но отдельные упороты говорили вот это:
— у них не мерседес! пластик плохой! сразу видно, китаец! китай говно!
Преподавателя случайно не Владимиром Владимировичем звали?