Что умеет Умная камера Яндекса: пять полезных функций, где нейросети приходят на помощь

Ответит на вопросы и расскажет обо всём, что видит.

С Умной камерой можно, например, быстро узнать, как зовут актёра на афише в кино и в каких ещё фильмах он снимался. Сервис может быстро найти в онлайн-магазине понравившуюся у случайной прохожей сумку — достаточно навести Умную камеру на вещь, и она покажет, где купить такую же или похожую. А ещё технология переводит текст с фотографий, решает математические уравнения, сканирует документы и QR-коды. Рассказываем, что есть в Умной камере или для чего её использовать.

Недавно мы внедрили в Умную камеру Visual Language Model (VLM) — нейросеть, которая умеет распознавать отдельные детали на изображении, а также понимает их общий контекст, то есть взаимосвязь этих самых деталей между собой. Благодаря ей теперь можно задать любой вопрос о картинке или её отдельном фрагменте. Умная камера понимает, о чём её спрашивают, и адресует вопрос в Поиск с Нейро. Он изучает всю релевантную информацию в интернете и готовит один ёмкий ответ со ссылками на источники.

Например, вы приобрели новую кофемашину, но в коробку не положили инструкцию. Можно навести на аппарат Умную камеру и попросить найти нужные шаги по приготовлению капучино. Если в холодильнике осталось небольшое количество продуктов, а заказывать доставку не хочется, достаточно спросить у сервиса: «Что можно сделать из этих ингредиентов?» Технология предложит подходящие рецепты. Если на листьях вашего комнатного растения появились пятна, а цветки завяли, можно воспользоваться Умной камерой и спросить, что случилось — Поиск с Нейро порекомендует конкретные меры, чтобы справиться с болезнью.

Если вам захотелось узнать, какая модель кроссовок у попутчика в метро, или понадобился стеллаж для книг как у подруги, в этом тоже может помочь Умная камера. Если сервис не найдёт такую же вещь, то порекомендует подходящие альтернативы. Кроме того, на экране появится диапазон цен.

Функция, которую мы смогли добавить благодаря объединению технологий Умной камеры и Поиска с Нейро. Нейросети помогают школьникам и их родителям проверить решение задач по математике — нужно лишь сфотографировать с помощью Умной камеры упражнение в учебнике или написанный от руки пример. Поиск с Нейро справляется с задачами уровня средней школы: подсказывает, как определять значения неизвестных в уравнениях или находить решения для неравенств с переменной.

Поиск с Нейро предлагает пошаговое объяснение, чтобы пользователь изучил логику решения задачи и лучше понимал предмет. При этом ответ по умолчанию скрыт, и его будет увидеть только после поэтапного решения.

Ещё один полезный навык сервиса — перевод текста. Можно сфотографировать этикетку товара и понять, что на ней написано, а можно даже не нажимать на затвор камеры — достаточно навести её на текст. В поездке технология поможет, например, быстро перевести названия блюд в меню ресторана, а в офисе — разобраться в нюансах технической документации на иностранном языке. Умная камера сделает доступными и инструкции к любым устройствам — детально переведёт на русский, например, как с английского, так и с китайского.

Этой осенью мы значительно улучшили качество перевода — нейросети понимают и адаптируют игру слов из оригинального текста, например, на фотографиях рекламных слоганов или газетных заголовков. А также сервис стал подбирать более точные формулировки во фразах с несколькими значениями.

Чтобы пользователю было удобнее читать перевод текста на картинках, в последнем обновлении мы улучшили визуализацию для нескольких десятков языков. Технология стирает оригинальные слова с изображения и располагает переведённые. Алгоритмы подбирают шрифт, размер и цвет букв, а также убирают ненужные детали таким образом, чтобы изображения выглядели наиболее естественно. Кроме того, текст получается контрастным, поэтому читать его даже легче, чем оригинал. А нейросеть распознаёт переносы и может понять их значение, даже если в кадр попала только часть слова.

С Умной камерой можно не тратить время на перепечатывание текста, например, со страниц учебника или из распечаток заданий. Умная камера сканирует текст с изображений и сохраняет в печатном виде. Его можно редактировать, копировать, вставлять в другие документы или сообщения. Эту функцию удобно использовать для сохранения рукописных заметок, цитат из книг или информации со слайдов презентаций.

Если Умная камера распознаёт в тексте ссылку, адрес или контактный номер, то выносит их в отдельную строку. Появляется возможность перейти на сайт, найти нужное здание на Яндекс Картах, позвонить по телефону или перенести цифры в мобильный банк для перевода.

Кроме того, Умная камера может работать как сканер. Фотографии автоматически оцифровываются, выравниваются и осветляются, после чего документ можно сохранить в удобном формате. Сервис позволяет всегда держать под рукой цифровые копии важных документов — паспортов, водительских прав, медицинских полисов и свидетельств о рождении.

QR-коды используются для того, чтобы, например, скачивать приложения из App Store или Google Play, переходить на сайты с визитки или быстро подключаться к Wi-Fi. Они бывают статическими (всегда открывают одну и ту же ссылку), динамическими (зашифрована короткая промежуточная ссылка, которая ведёт на основную страницу) и микро (содержат небольшое количество информации, упрощает этикетки и товарные чеки).

Умная камера распознаёт QR-коды любого формата — нужно выбрать режим Поиск и навести смартфон, после чего пользователь сможет перейти по сформированной ссылке.

Чтобы начать пользоваться Умной камерой, нужно скачать приложение Яндекс из App Store или Google Play. После установки нужно выбрать значок фотоаппарата в поисковой строке или попросить виртуального помощника Алису запустить Умную камеру.