«Яндекс Браузер» добавил автоматический перевод видео с китайского языка Статьи редакции
Пока технология работает с видео на YouTube.
- «Яндекс» научил нейросети переводить видео с китайского и автоматически накладывать русскую озвучку, рассказала компания. В пресс-службе отметили, что теперь есть «достаточная технологическая база» для работы с другими сложными языками — например, корейским и японским.
- Чтобы научить нейросети, разработчики обработали 1,5 млн видео с помощью специального алгоритма и выбрали 100 тысяч примеров с качественными субтитрами на севернокитайском языке. Соответствие аудио и субтитров важно, потому что по ним нейросеть учится понимать речь, пояснили в компании.
- На первом этапе перевода нейросети выучили 6500 иероглифов, каждый из которых читается как слог. Чтобы нейросеть научилась их понимать, разработчики закодировали необходимый для работы с китайским словарь в виде 10 тысяч токенов. Один токен равен одному слогу или сочетанию двух слогов. Также нейросеть обучили делить сплошной поток иероглифов на смысловые отрезки, чтобы точнее синхронизировать перевод с речью.
- Также разработчики обучили нейросети понимать четыре тона, которые в китайском определяют смысл сказанного. Тон — это мелодический рисунок голоса, каждый слог с повышением или понижением голоса может означать разные вещи.
- «Яндекс Браузер» сам предложит перевести видео с китайского на YouTube после того, как пользователь его откроет. Для этого ему нужно нажать кнопку «Перевести видео». «Чуть позже» компания добавит перевод для китайской видеоплатформы Bilibili.
- «Яндекс» добавил автоматический закадровый перевод любых англоязычных видео в YouTube и других сервисах в «Браузере» в сентябре 2021 года, а в ноябре — закадровый перевод видео на французском, испанском и немецком. В августе 2022-го — синхронный перевод прямых трансляций.
55K
показов
16K
открытий
2
репоста
Ого, вот понимание тонов — это действительно круто 👍🏻
А разбирать китайский, хотя бы наиболее популярные диалекты скоро может всем пригодиться (-:
я еще английский не выучил, уже китайский нужен
ты еще английский не выучил, а уже не надо даже китайский учить. очевидно что в самое ближайшее время смартфоны будут переводит с любого на любой просто на лету.
я еще 4 года назад в Тае положив телефон с гуглопереводчиком на стол вполне сносно общался с ними о футболе и всякой всячине с тайского на русский и обратно, а уж что будет с нейросетками через года 2...
базовый язык все равно неплохо бы знать, типа "как пройти в библиотеку",если в китай ездишь
вообще это круто, люди могут начать "слышать" разные культуры, это большой прогресс в лингвистике
хуисунвчайвысунсампей
действуйте строго по алгоритму и все получится 😁
Я ещё русский нормально не выучил, а уже нужен английский, а ещё китайский