«Яндекс Браузер» добавил автоматический перевод видео с китайского языка Статьи редакции
Пока технология работает с видео на YouTube.
- «Яндекс» научил нейросети переводить видео с китайского и автоматически накладывать русскую озвучку, рассказала компания. В пресс-службе отметили, что теперь есть «достаточная технологическая база» для работы с другими сложными языками — например, корейским и японским.
- Чтобы научить нейросети, разработчики обработали 1,5 млн видео с помощью специального алгоритма и выбрали 100 тысяч примеров с качественными субтитрами на севернокитайском языке. Соответствие аудио и субтитров важно, потому что по ним нейросеть учится понимать речь, пояснили в компании.
- На первом этапе перевода нейросети выучили 6500 иероглифов, каждый из которых читается как слог. Чтобы нейросеть научилась их понимать, разработчики закодировали необходимый для работы с китайским словарь в виде 10 тысяч токенов. Один токен равен одному слогу или сочетанию двух слогов. Также нейросеть обучили делить сплошной поток иероглифов на смысловые отрезки, чтобы точнее синхронизировать перевод с речью.
- Также разработчики обучили нейросети понимать четыре тона, которые в китайском определяют смысл сказанного. Тон — это мелодический рисунок голоса, каждый слог с повышением или понижением голоса может означать разные вещи.
- «Яндекс Браузер» сам предложит перевести видео с китайского на YouTube после того, как пользователь его откроет. Для этого ему нужно нажать кнопку «Перевести видео». «Чуть позже» компания добавит перевод для китайской видеоплатформы Bilibili.
- «Яндекс» добавил автоматический закадровый перевод любых англоязычных видео в YouTube и других сервисах в «Браузере» в сентябре 2021 года, а в ноябре — закадровый перевод видео на французском, испанском и немецком. В августе 2022-го — синхронный перевод прямых трансляций.
55K
показов
16K
открытий
2
репоста
Занятно, за всю жизнь я ни одного китайского видео не смотрел, кроме трейлеров. Логично - ютуб их не подсовывает в поиске. Итого - насколько эта фича нужна?))
Тут главное — тенденция.
Ну да, несмотря на то, что китайцев и испаноговорящих больше, 54% контента в сети — на английском.
Но я помню время, когда доля английского была близка к 99%.
Данные отсюда: https://www.statista.com/chart/amp/4140/low-diversity-of-languages-on-the-web-hinders-accessability/
английский сила, все остальное херня
Именно. Никогда тоновый язык не станет популярным. Английский топ.
Английский тоже ужасен. Эсперанто - топ. Но идеальный язык никогда не станет популярным, увы.
Во-первых, ничего идеального нет. Во-вторых, если английский ужасен, то что уж тогда говорить про другие языки. Порог вхождения для английского языка куда ниже из-за относительной простоты грамматики.
Не сказал бы что грамматика английского простая.
Куча времен, всякие странные конструкции вроде have had и прочие артикли.
Орфография так вообще упорота чуть менее чем полностью.
Зато нет 3-х родов как в немецком (тут ещё надо помнить род существительных, чтобы употреблять правильный артикль der/die/das/ein/eine, ставить правильное окончание), в русском, нет падежей, которых в немецком – 4, в русском – 6, нет окончаний прилагательных как в немецком (где 3 типа склонения), в русском. Так что всё относительно, и конечно, зависит от родного языка изучающего. Потому что с родным русским языком несложно понять необходимость падежей и родов в немецком. А вот англоговорящий вряд ли такое поймёт.
А вот эсперанто легко изучить всем.