Не только навигация и квесты. Зачем AR-технологии бизнесу и простым пользователям

Рассуждаем о разных способах применения технологий: от навигации в городе до рекламных активаций.

В Sber AR/VR Lab целая команда занимается проектами, связанными с дополненной реальностью (AR) и виртуальной реальностью (VR). Как и во всех лабораториях Сбера, большую часть времени мы тратим на R&D, то есть на исследования, но иногда делаем проекты с партнёрами и коммерческие продукты. Один из таких продуктов — система визуального позиционирования. О ней и её применении в сочетании с AR-технологиями мы сегодня и поговорим.

Система визуального позиционирования (visual positioning system, или VPS) — технология, которая позволяет максимально точно определить местоположение пользователя с помощью изображения с камеры его смартфона. Пользователь наводит камеру на пространство перед собой. Потом нейросеть на телефоне определяет на этом изображении уникальные точки и отправляет их на сервер. Там за дело берётся другая нейросеть, которая по этим точкам выявляет, где конкретно находится человек, и возвращает информацию о его местоположении на телефон.

А вот дальнейшие шаги зависят от того, куда внедрили VPS. Первым пилотным проектом, на котором мы обкатывали технологию, стала AR-навигация по нашему офису. Это особенно полезно для новых сотрудников, которые пока плохо ориентируются в здании. Работает это так: допустим, человек стоит в холле и хочет попасть в переговорку на пятом этаже. Он открывает камеру смартфона внутри корпоративного приложения, наводит её на то, что видит перед собой, и получает подсказки. Подглядывая в смартфон, он может без проблем добраться до нужной переговорки откуда угодно.

Чтобы получить цифровую модель определённого пространства, будь то площадь, торговый центр, офис или аэропорт, мы снимаем его на камеру 360. А затем специальным образом обрабатываем, чтобы нейросети могли ориентироваться именно в этой локации. Делать это им помогают визуальные «зацепки». Такой «зацепкой» может быть что угодно — от лестницы до вывески.

VPS сильно отличается от привычных технологий, на основе которых работают, например, онлайн-карты. Во-первых, мы добились очень высокой точности определения положения камеры смартфона в пространстве, а значит, и пользователя. Во-вторых, большинство существующих технологий видят мир «плоским»: с их помощью невозможно сориентироваться в многоэтажном здании. VPS учитывает этажность. В-третьих, система позволяет использовать разные возможности AR-технологий. К примеру, сделать вот так.

Работая над технологией, мы нашли несколько интересных способов её применения для бизнеса, о которых сейчас расскажем. Некоторые из них мы сейчас реализуем в формате пилотных проектов с заказчиками, другие просто кажутся нам перспективными.

VPS можно использовать для навигации по-разному. Например, добавить систему визуального позиционирования в привычные онлайн-карты, которые мы используем для передвижений по городу. Конечно, снять на камеру весь город — задача сложно выполнимая, но и явной потребности в этом пока нет. Достаточно добавить такую навигацию в самые популярные у туристов и горожан места.

Качественная навигация в онлайн-картах полезна и бизнесу. Например, AR-навигацию может подключить владелец ресторана во дворике, чтобы посетителям было проще его найти.

Отдельный кейс — навигация внутри зданий. Например, внутри большого офиса, аэропорта или торгового центра. Чтобы не тратить много времени на поиск стойки регистрации или магазина определённого бренда, можно просто открыть камеру и получить подсказки.

AR-технологии могут сделать рекламные активации более захватывающими. Например, производитель кроссовок может устроить целый AR-квест, привязанный к реальным городским локациям. Допустим, пользователи будут искать спрятанные кроссовки и получать за это бонусы от компании.

VPS могут использовать и музеи. Одним из первых наших партнёров стал Политехнический музей в Москве. Оказавшись около здания музея, вы можете навести на него камеру и увидеть интерактивный путеводитель по экспозициям, которые будут ждать посетителей после окончания реставрации. Сориентироваться поможет робот-экскурсовод Сепулька.

Квесты мы уже упомянули в предыдущем пункте как пример рекламной кампании, но сейчас речь пойдёт о более сложных продуктах. С помощью VPS, продуманных сценариев и 3D-графики бизнес может создавать AR-квесты, которые уже сегодня работают как полноценные продукты.

Например, это может быть детский образовательный квест — сейчас одна из компаний запускает пилот такого продукта с нашей технологией. Никакого специального оборудования не нужно: ребёнок открывает камеру в мобильном приложении с VPS и видит в дополненной реальности персонажа, который рассказывает интересную информацию о них, даёт задания и помогает их выполнять.

На примере таких квестов хорошо заметно, как бизнес может сэкономить на применении технологий. Допустим, парк развлечений арендует площадь в ТЦ. Чтобы организовать там офлайн-квесты и презентацию разных персонажей, потребовалось бы очень много места. А дополненная реальность позволяет показать пользователю что угодно — и всё это на одной площади.

Туристические кейсы перекликаются с кейсами по городской навигации, но в туризме много своей специфики. Благодаря VPS турист точно не заблудится: система всегда подскажет, где он находится, какую достопримечательность видит и как пройти к следующей. А если внедрить VPS в приложение от туристического оператора или местной администрации, пользователи смогут проходить онлайн-экскурсии, получать подсказки по поиску жилья и транспорта поблизости и многое другое.

Реально существующая улица может превратиться в поле для игры с чёткой привязкой к локации. Благодаря качественному определению позиции пользователя игры можно сделать более увлекательными и реалистичными. Например, из канализационного люка может вылезать монстр. В мобильных играх уже сейчас вовсю используют дополненную реальность, а VPS позволяет вовлекать пользователей в процесс на новых уровнях.

Узнать о VPS больше и скачать SDK для разработчиков можно по ссылке. Там же можно оставить заявку — мы свяжемся с вами и обсудим, как технология может помочь вашему бизнесу.

Особенность VPS в том, что систему можно внедрить в любое приложение и связать с другими его функциями. Это может быть приложение аэропорта и торгового центра, музея, как в случае с Политехом, и так далее. Всё зависит от потребностей бизнеса и фантазии разработчиков.

Наша команда отсканировала несколько популярных локаций в Москве, компании и отдельные разработчики могут бесплатно использовать их и знакомиться с технологией. Единственное условие — это должно использоваться в некоммерческих целях. Для коммерческих есть отдельная лицензия.

Чтобы интегрировать VPS в проекты было легче, мы разработали SDK под популярные платформы: iOS, Android и Unity. На сайте можно не только оставить заявку и скачать SDK, но и дать нам фидбэк и задать вопросы. Сейчас технология на стадии открытого тестирования, и мы будем рады сотрудничеству с компаниями, разработчиками, дизайнерами, художниками и 3D-артистами.

А теперь приглашаем вас к обсуждению. Расскажите в комментариях, что вы думаете об описанных в тексте кейсах? Какие ещё способы применения AR в бизнесе вы видите? Возможно, с какими-то из них вы сталкивались лично и они вас впечатлили? Поделитесь!