Приложения «Яндекс» и «Яндекс.Браузер» на Android научились переводить текст на картинках

Из двух миллиардов сайтов в интернете лишь около 8% — на русском языке. Технологии компьютерного зрения и машинного перевода «Яндекса» позволяют понять, что написано на странице любого иностранного сайта, притом не только в тексте, но и на картинках.

2 апреля «Яндекс.Браузер» научился переводить текст на картинках на страницах сайтов. Он стал первым браузером для ПК, который так умеет. За несколько месяцев новая функция стала популярной — и теперь она появляется и в приложениях «Яндекс» и «Яндекс.Браузер» на мобильных устройствах — пока только на Android, но до конца 2021 года появится и на iOS.

Изображения тоже могут содержать полезную информацию. Например, израильские и корейские сайты состоят преимущественно из картинок с текстом. Популярные интернет-магазины нередко размещают на странице скан инструкции, фотографию этикетки или просто карточку товара с надписями на языке производителя.

Чтобы перевести картинку, «Яндекс» использует комбинацию технологий машинного перевода и компьютерного зрения (так называются системы, которые распознают информацию на изображениях и переводят текст). Сначала алгоритм находит на странице картинки и с помощью компьютерного зрения выделяется на них текст — чем причудливее шрифт, тем сложнее эта задача. Затем текст отправляется к «Яндекс.Переводчику», который может перевести картинки со смартфона на 47 языков.

Принцип работы мобильного переводчика картинок — такой же, как и десктопной версии: пользователь нажимает на кнопку, изображение отправляется на сервер для распознавания и перевода, после чего возвращается обратно, но уже с текстом на нужном языке. На этапе перевода страницы «Яндекс.Браузер» и приложение «Яндекс» предлагают перевести не только текст, но и изображения. Можно согласиться на автоматический перевод или управлять им вручную через контекстное меню или кнопки в адресной строке.

Помимо текста существуют и другие источники информации. Недавно «Яндекс» представил новую функцию — перевод видео. Автоматический закадровый перевод сделает понятнее и развлекательное шоу, и обучающие материалы.