Яндекс

По осеннему Петербургу с «Умной камерой»

Продюсер vc.ru прогулялся от Стрелки Васильевского острова до площади Искусств и посмотрел на город через объектив умной камеры «Яндекса».

Антон Запускалов
продюсер vc.ru

Мне очень нравится водить друзей из других городов по Петербургу, такие прогулки часто затягиваются на много часов. Склонен верить, что это не потому, что друзьям сложно говорить мне нет.

В эксперименте «Яндекса» было интересно самому почувствовать себя туристом в знакомых местах и узнать о них что-то новое с помощью технологий, встроенных в «умную камеру».

Начнём с простого

Я решил начать эксперимент со Стрелки Васильевского острова: на небольшой площади расположено сразу несколько достопримечательностей, на которых можно протестировать функцию распознавания.

Здесь успех затеи был предсказуем, а теперь попробуем взглянуть на Ростральную колонну чуть издали.

«Умная камера» заметила, что я отдалился от объекта съёмки, и выдала более подходящее описание тому, что увидела. Пойдём по набережной и посмотрим, чем искусственный интеллект будет там полезен. Первым делом — тренировка на птичках.

Алгоритм распознал не только саму птицу, но и где она. Что касается вопроса «Какие чайки живут в Москве?», на него могу предложить свой быстрый ответ: несчастные, ведь у них нет такого живописного вида.

Любуясь окрестностями, нужно не забывать и под ноги смотреть. Незадолго до моей прогулки в Петербурге был ураган (шо, опять?), и его разрушительные последствия ещё не полностью устранили. Вот, например, дорожный знак, который решил прилечь. Проверим на нём функцию перевода.

Exchange passage — это Биржевой проезд.

И на указателе:

Ещё немного деталей: например, посмотрим на знак, запрещающий парковку водного транспорта на набережной, в режиме «Поэзия».

Круглый элемент на знаке камера приняла за репродуктор — и правда, похоже ведь. И конечно, моя особенная дань уважения за цитату Бориса Рыжего. Пройдём чуть в сторону от туристических троп и купим перекусить на рынке или…

...в магазине биткоинов? Чего-то я не знаю о не так давно пережившем реновацию Василеостровском рынке. Вот скромный продуктовый улов, в котором «Умная камера» заботливо посчитала белки, жиры и углеводы.

Но вернёмся к воде.

Задача со звёздочкой

Строго говоря, не со звёздочкой, а с лошадиной головой. Стало интересно, опознает ли камера сооружение по его мелкой детали.

Всё сработало. Окей, попробуем ещё раз.

И снова успех. А что насчёт автомобилей: узнает ли камера их?

В случае с «Порше» камера даже назвала цвет (теперь знаю, как выглядит «мятный»). У «Мини», цвет, видимо, менее очевидный, зато цена не так травмирует, как у «Порше», а значит, можно показать её в выдаче.

На собачке тоже проверим.

Сработало, даже несмотря на неумение экспериментатора сфокусировать кадр.

Немного поэзии и классических видов, чтобы успокоиться.

Стоп, «Астория» в центре Саратова? Кажется, проблема с тем, что к верно определённому камерой названию подтягивается не совсем правильное описание — это не единичный случай. Вот, например, как она идентифицировала здание страхового общества «Россия» (при этом адрес его определила верно).

«Умная камера» работает с помощью набора технологий компьютерного зрения. Одна из них детектирует объекты — то есть выделяет объекты в кадре, а технология распознавания с помощью нейросетей помогает понять, что именно это за объект. Текущие возможности нейросетей, конечно, несовершенны. Наша нейросеть знает признаки того, как выглядят разные объекты — здания, товары, живые существа, — и исходя из своих знаний выбирает похожие изображения, а затем на их основе формирует гипотезу о том, какой объект в кадре. Эти признаки сеть подбирает сама, так чтобы в большинстве случаев давать правильные ответы, но при этом будут оставаться и ошибки, которых со временем, конечно, будет становиться всё меньше и меньше.

Елена Бондарь
руководитель проекта «Умная камера»

Ещё бывают сложности с зданиями с похожей архитектурой. Вот, например, универмаг «У Красного моста» камера перепутала с другим зданием со шпилем. А при попытке сменить ракурс съёмки и вовсе ушла в пространные градостроительные размышления.

Впрочем, товары, внешне похожие на те, что в витринах, камера обнаружила успешно.

Дом Зингера так дом Зингера. Пойдём туда, чтобы протестировать ещё одну функцию «Умной камеры».

Специально для гуманитариев

В точных науках в школе я не блистал. Появись «Умная камера» лет на 20 пораньше, всё могло бы сложиться иначе. Ведь в режиме «Решение» искусственный интеллект может помочь решать уравнения. Пойдём в Дом книги, возьмём учебник по алгебре и проверим.

Вот и пошаговый алгоритм решения (сделаю вид, что стало понятнее).

А закончим прогулку снова на поэзии.

Хотя камера и сделала упор на слово «театр» в стихотворении Некрасова, фраза про «музеи древностей» здесь, пожалуй, подойдёт больше.

Впечатление от прогулки и от «Умной камеры»:

Понравилось, что камера хорошо работает с мелкими деталями. Это даже обычную прогулку может превратить в занимательную краеведческую экскурсию. А функция перевода определённо может быть полезна при путешествии по странам, чьим языком не владеешь. Эксперимент показал, что и искусственный интеллект пока не застрахован от ошибок. Но уверен, что со временем их исправят и алгоритмы будут работать ещё точнее.

Наша цель — сделать визуальный поиск как можно более удобным для пользователя. Это прекрасный способ быстро решить свою задачу, не прибегая к сложным текстовым запросам, а иногда и единственно возможный: например, когда мы хотим узнать породу собаки или вид растения.

Елена Бондарь
руководитель проекта «Умная камера»
0
7 комментариев
Популярные
По порядку
Написать комментарий...

А вот с машинами - ошибочка, что у камеры, что у вас, уважаемый автор, статьи, мятная не порш, а nissan fairlady 300zx '89
вы настолько не компетентны в авто, и даже не поинтересовались верностью и достоверности того как сработала эта "камера" утверждать что-то, чего точно не знаешь - верх невежества ред.

9

Камера спутала с Porsche 944 turbo, они действительно очень похожи. С определённых ракурсов не фанат авто 80-х не отличит одну от другой, неплохо знаю porsche сам сразу подумал про 944-ю. ред.

1

рисопорш)

0

Лучше бы не прогуливались, а браузер нормальным свой сделали.

0

давно заметил что излюбленный метод яндекса это просто создать "вау" эффект из ничего. у гугла тоже есть такая камера в картах(кнопка ar-режим справа, если нажать на любой объект), но партнерских статей они не выпускают. а на картах nokia lumia так еще в 2013 были подобные режимы карт с камерой, без определения вещей правда)

0

Гугл объектив теперь с логотипом Яндекса, спешите пользоваться гипераппом)

0

Прям сразу видно, по настоящему интеллигентный город, даже камеры умные)

0
Читать все 7 комментариев
Маленький стартап против гигантов: Kytch может починить ломающиеся машины для мороженого McDonald's — сети это не нужно Статьи редакции

Джереми О’Салливан и Мелисса Нельсон придумали устройство, которое предотвращает поломку автоматов для мороженого — проблемы с ними есть в 10% ресторанов McDonald’s. Несмотря на убытки франчайзи, сеть его запретила и почти уничтожила Kytch.

Wired
«Сбермегамаркет» и «Эльдорадо»: оплаченный заказ Xbox Series X выборочно отменен избранным покупателям

Итак, продолжение рассказа о ситуации с тем, как «Сбермегамаркет» и «Эльдорадо» приняли многочисленные оплаченные заказы на консоль Xbox Series X, выдали людям чеки об этом, а затем через несколько дней благополучно отменили заказы.

Сервис доставки в почтаматы 5post обманывает и присваивает посылки

Совсем недавно я решил заказать с АлиЭкспресс несколько товаров для домашнего бара. По отдельности они не дорогие, но для общей картинки нужны все. Через неделю после заказа мне приходит смс с номера "5post" о том, что одна из этих посылок ждёт меня в ближайшей пятерочке. Я скачал приложение, зарегистрировался там и увидел, что моя посылка будет…

Дайджест новостей Сбера: сайт Digital Пётр, сценарии для умного дома и платина от Forbes

Прошлый дайджест мы целиком посвятили 180-летию Сбера, поэтому новостей накопилось много. Среди них — запуск сайта по распознаванию рукописей Петра I, большое обновление на платформе умного дома Sber и другие. Рассказываем всё самое интересное.

Картинка, сгенерированная ruDALL-E по запросу «рыжий котик»
Откуда берут взрослые деревья для парков и улиц

А также сколько они стоят и почему выращивать их — неплохой бизнес.

Как мы отправили 2000 распечатанных фото вашим мамам за 1 неделю после запуска

Как это получилось и сколько заработали. Без фейлов не обошлось.

Это моя сестра - Таня. Пришла на помощь, пока срочно искали еще одного менеджера
Почему вас больше не существует: рождение и смерть субъекта в истории философии

Десять лекций — десять историй о том, как развивалось понятие о философском субъекте — носителе сознания. Вместе с доктором философских наук Дианой Гаспарян и аудиторией открытого лектория Сигнум мы прошли долгий путь от древнегреческой философии до исследований XX века и рассказываем о курсе подробнее.

Американский сервис экспресс-доставки продуктов 1520 с основателями из России закрывается после года работы — Insider Статьи редакции

Стартап не смог найти финансирование и рассчитывал на сделку с конкурентом, но она не состоялась, говорят источники.

SkillFactory раздает подарки: повышенная ставка и новогодний марафон для вебмастеров

В преддверии Нового года мы решили порадовать своих настоящих и будущих партнеров — участников партнерской программы школ Skillfactory, Contented и Product LIVE. Это возможность получить денежный бонус и заодно увеличить прибыль от продажи наших курсов.

Продавец eBay из Кургана стала победителем в финале Всероссийского конкурса «Молодой предприниматель России 2021»

27 ноября в Москве состоялся финал ежегодного конкурса «Молодой предприниматель России 2021». В нём приняли участие предприниматели и самозанятые в возрасте до 35 лет. Всего было подано более 300 заявок из 43 регионов страны.

И сотрудников тоже касается: кибербуллинг на рабочем месте
Design vector created by pikisuperstar - www.freepik.com
null