По осеннему Петербургу с «Умной камерой»

Продюсер vc.ru прогулялся от Стрелки Васильевского острова до площади Искусств и посмотрел на город через объектив умной камеры «Яндекса».

Антон Запускалов
продюсер vc.ru

Мне очень нравится водить друзей из других городов по Петербургу, такие прогулки часто затягиваются на много часов. Склонен верить, что это не потому, что друзьям сложно говорить мне нет.

В эксперименте «Яндекса» было интересно самому почувствовать себя туристом в знакомых местах и узнать о них что-то новое с помощью технологий, встроенных в «умную камеру».

Начнём с простого

Я решил начать эксперимент со Стрелки Васильевского острова: на небольшой площади расположено сразу несколько достопримечательностей, на которых можно протестировать функцию распознавания.

Здесь успех затеи был предсказуем, а теперь попробуем взглянуть на Ростральную колонну чуть издали.

«Умная камера» заметила, что я отдалился от объекта съёмки, и выдала более подходящее описание тому, что увидела. Пойдём по набережной и посмотрим, чем искусственный интеллект будет там полезен. Первым делом — тренировка на птичках.

Алгоритм распознал не только саму птицу, но и где она. Что касается вопроса «Какие чайки живут в Москве?», на него могу предложить свой быстрый ответ: несчастные, ведь у них нет такого живописного вида.

Любуясь окрестностями, нужно не забывать и под ноги смотреть. Незадолго до моей прогулки в Петербурге был ураган (шо, опять?), и его разрушительные последствия ещё не полностью устранили. Вот, например, дорожный знак, который решил прилечь. Проверим на нём функцию перевода.

Exchange passage — это Биржевой проезд.

И на указателе:

Ещё немного деталей: например, посмотрим на знак, запрещающий парковку водного транспорта на набережной, в режиме «Поэзия».

Круглый элемент на знаке камера приняла за репродуктор — и правда, похоже ведь. И конечно, моя особенная дань уважения за цитату Бориса Рыжего. Пройдём чуть в сторону от туристических троп и купим перекусить на рынке или…

...в магазине биткоинов? Чего-то я не знаю о не так давно пережившем реновацию Василеостровском рынке. Вот скромный продуктовый улов, в котором «Умная камера» заботливо посчитала белки, жиры и углеводы.

Но вернёмся к воде.

Задача со звёздочкой

Строго говоря, не со звёздочкой, а с лошадиной головой. Стало интересно, опознает ли камера сооружение по его мелкой детали.

Всё сработало. Окей, попробуем ещё раз.

И снова успех. А что насчёт автомобилей: узнает ли камера их?

В случае с «Порше» камера даже назвала цвет (теперь знаю, как выглядит «мятный»). У «Мини», цвет, видимо, менее очевидный, зато цена не так травмирует, как у «Порше», а значит, можно показать её в выдаче.

На собачке тоже проверим.

Сработало, даже несмотря на неумение экспериментатора сфокусировать кадр.

Немного поэзии и классических видов, чтобы успокоиться.

Стоп, «Астория» в центре Саратова? Кажется, проблема с тем, что к верно определённому камерой названию подтягивается не совсем правильное описание — это не единичный случай. Вот, например, как она идентифицировала здание страхового общества «Россия» (при этом адрес его определила верно).

«Умная камера» работает с помощью набора технологий компьютерного зрения. Одна из них детектирует объекты — то есть выделяет объекты в кадре, а технология распознавания с помощью нейросетей помогает понять, что именно это за объект. Текущие возможности нейросетей, конечно, несовершенны. Наша нейросеть знает признаки того, как выглядят разные объекты — здания, товары, живые существа, — и исходя из своих знаний выбирает похожие изображения, а затем на их основе формирует гипотезу о том, какой объект в кадре. Эти признаки сеть подбирает сама, так чтобы в большинстве случаев давать правильные ответы, но при этом будут оставаться и ошибки, которых со временем, конечно, будет становиться всё меньше и меньше.

Елена Бондарь, руководитель проекта «Умная камера»

Ещё бывают сложности с зданиями с похожей архитектурой. Вот, например, универмаг «У Красного моста» камера перепутала с другим зданием со шпилем. А при попытке сменить ракурс съёмки и вовсе ушла в пространные градостроительные размышления.

Впрочем, товары, внешне похожие на те, что в витринах, камера обнаружила успешно.

Дом Зингера так дом Зингера. Пойдём туда, чтобы протестировать ещё одну функцию «Умной камеры».

Специально для гуманитариев

В точных науках в школе я не блистал. Появись «Умная камера» лет на 20 пораньше, всё могло бы сложиться иначе. Ведь в режиме «Решение» искусственный интеллект может помочь решать уравнения. Пойдём в Дом книги, возьмём учебник по алгебре и проверим.

Вот и пошаговый алгоритм решения (сделаю вид, что стало понятнее).

А закончим прогулку снова на поэзии.

Хотя камера и сделала упор на слово «театр» в стихотворении Некрасова, фраза про «музеи древностей» здесь, пожалуй, подойдёт больше.

Впечатление от прогулки и от «Умной камеры»:

Понравилось, что камера хорошо работает с мелкими деталями. Это даже обычную прогулку может превратить в занимательную краеведческую экскурсию. А функция перевода определённо может быть полезна при путешествии по странам, чьим языком не владеешь. Эксперимент показал, что и искусственный интеллект пока не застрахован от ошибок. Но уверен, что со временем их исправят и алгоритмы будут работать ещё точнее.

Наша цель — сделать визуальный поиск как можно более удобным для пользователя. Это прекрасный способ быстро решить свою задачу, не прибегая к сложным текстовым запросам, а иногда и единственно возможный: например, когда мы хотим узнать породу собаки или вид растения.

Елена Бондарь, руководитель проекта «Умная камера»
0
7 комментариев
Написать комментарий...
kai_812

А вот с машинами - ошибочка, что у камеры, что у вас, уважаемый автор, статьи, мятная не порш, а nissan fairlady 300zx '89
вы настолько не компетентны в авто, и даже не поинтересовались верностью и достоверности того как сработала эта "камера" утверждать что-то, чего точно не знаешь - верх невежества

Ответить
Развернуть ветку
name surname

Камера спутала с Porsche 944 turbo, они действительно очень похожи. С определённых ракурсов не фанат авто 80-х не отличит одну от другой, неплохо знаю porsche сам сразу подумал про 944-ю.

Ответить
Развернуть ветку
LOCьT

рисопорш)

Ответить
Развернуть ветку
Александр Алёшин

Лучше бы не прогуливались, а браузер нормальным свой сделали.

Ответить
Развернуть ветку
Roman Perfilyev

давно заметил что излюбленный метод яндекса это просто создать "вау" эффект из ничего. у гугла тоже есть такая камера в картах(кнопка ar-режим справа, если нажать на любой объект), но партнерских статей они не выпускают. а на картах nokia lumia так еще в 2013 были подобные режимы карт с камерой, без определения вещей правда)

Ответить
Развернуть ветку
Максим Першин

Гугл объектив теперь с логотипом Яндекса, спешите пользоваться гипераппом)

Ответить
Развернуть ветку
Максим Воронов

Прям сразу видно, по настоящему интеллигентный город, даже камеры умные)

Ответить
Развернуть ветку
Читать все 7 комментариев
null