Лого vc.ru

Обзор функций шлема смешанной реальности Microsoft HoloLens

Обзор функций шлема смешанной реальности Microsoft HoloLens

Директор по инновациям компании Game Insight Андрей Ивашенцев подготовил для рубрики «Рынок игр» описание функций шлема Microsoft HoloLens, рассказал об опыте его использования и разнице между виртуальной и смешанной реальностью.

Поделиться

Microsoft HoloLens — первый шлем смешанной реальности (Mixed Reality) и первый продукт Microsoft, работающий в операционной системе Windows 10 и подсистеме Windows Holographic.

Сейчас устройство доступно по цене в $3000 за Development Edition исключительно для разработчиков в США и Канаде в рамках программы предзаказов, отгрузка по которым началась только в апреле и которые уже распроданы на полгода-год вперед. Нам в Game Insight удалось достать устройство и даже привезти его в Россию одними из первых. Ну а так как HoloLens — самый что ни на есть инновационный продукт, разбираться с ним выпало мне.

Разработка HoloLens предположительно была начата в Microsoft Research и потом была продолжена в ANALOG — команде, изначально сформированной внутри группы Xbox и состоящей преимущественно из инженеров, работавших над Kinect. Разработка ведется уже более семи лет, и ее удалось сохранить в секрете до момента релиза, что в современном мире большая редкость.

В отличие от большинства девайсов на рынке, это автономное устройство на Windows, которое работает от батареи около пяти часов (в зависимости от нагрузки). HoloLens не требует подключения к компьютеру через кабель, а все вычисления производятся на самом устройстве с помощью CPU и GPU.

Работа со всеми сенсорами осуществляется при помощи встроенного чипа HPU (Holographic Processing Unit), который был разработан специально для HoloLens и служит для обработки информации на аппаратном уровне. Это уникальный в своем роде чип, позволяющий обрабатывать гигабайты пространственных данных, по сути, на мобильном устройстве.

К примеру, Kinect 2.0 с помощью двух своих камер и сенсора создает такое количество RAW-данных, что шина USB 3.0 с трудом успевает передавать их на ПК в реальном времени, а их потом еще нужно обработать. А теперь представьте, что HoloLens содержит в три раза больше сенсоров, часть из которых отвечает за позиционирование в пространстве, часть — за контроль положения головы, а часть — за позиционирование голограмм.

Смешанная реальность и голограммы в концепции Microsoft позволяют дополнить пространство вокруг нас трехмерными объектами, которые могут не просто «болтаться в воздухе», как в обычном варианте дополненной реальности, а органично вписываться в интерьер и взаимодействовать с ним. HoloLens имеет очень высокую точность позиционирования и учитывает особенности человеческого восприятия комбинации из реальных объектов и изображения на дисплеях. Именно благодаря этому голограммы выглядят такими стабильными.

Проще говоря, когда перед вами голограмма земного шара, она не просто висит в воздухе, а привязана к какой-либо поверхности, и вы можете спокойно обойти ее, рассмотреть со всех сторон, а также повертеть в разных плоскостях — на то она и голограмма.

Две ключевые технологии, которые позволяют обеспечить максимальную реалистичность взаимодействия с голограммами, — Spatial Audio и Spatial Mapping.

Spatial Audio — интеллектуальное позиционирование источников звука в пространстве для создания эффекта присутствия. Если в одном углу вашей комнаты находится виртуальная собака, то ее лай будет доноситься именно из этого угла, а не просто звучать вокруг пользователя. Открытый формат реализации динамиков позволяет создать этот эффект без ущерба для окружающей реальности: помимо собаки вы спокойно будете слышать человека, который говорит вам что-то из другого угла той же комнаты.

Spatial Mapping — технология пространственного сканирования, аналогичная Surface reconstruction. HoloLens сканирует окружение и преобразует реальные поверхности вокруг себя в совокупность треугольников (мэши), обеспечивая возможность виртуальным объектам взаимодействовать с ними. Происходит своеобразное 3D-сканирование пространства, а виртуальная модель помещения сохраняется в памяти устройства и впоследствии используется в логике работы приложений.

Анпакинг

Комплект доставляется в большой коробке, в которую упакованы две коробки поменьше: в одной находится HoloLens в футляре, а в другой — кликер. В переносном защитном футляре, повторяющем форму девайса, находится зарядное устройство, салфетка для протирки стекол, а также несколько сменных элементов.

Само устройство состоит из двух основных деталей — рамки и визора. Рамка имеет механизм регулировки и настраивается под каждого пользователя с помощью специального колесика. У визора есть запас хода относительно рамки, он настраивается на уровне глаз человека.

На боковых частях визора размещены стереодинамики, передающие звук в режиме 3D, обеспечивая достоверную передачу звуков от голограмм, находящихся в пространстве вокруг пользователя. Это называется Spatial Sound, и об этом я рассказал раньше.

В передней части визора находятся оптические и инфракрасные камеры, различные оптические сенсоры и датчики освещенности.

В задней части — кнопка питания и индикатор заряда батареи, порт для подключения зарядного устройства (microUSB), а также разъем для наушников.

Проекционные экраны визора выполнены на базе технологии волноводной оптики — она считается одним из самых современных способов визуализации изображения с сохранением прозрачности поверхности.

Использование

Для начала работы с устройством его нужно правильно закрепить на голове, а потом включить кнопкой на торце визора. При первом включении необходимо авторизоваться с помощью Microsoft Account и провести калибровку визора в соответствии с персональными характеристиками.

В течение всего процесса настройки вам помогает виртуальный помощник Cortana, который учит пользоваться жестами и рассказывает о возможностях устройства. Стандартных жеста два: это Air Tap — виртуальное касание пальцем, имитирующее клик, и Bloom — раскрытие ладони, вызывающее Start-меню.

После инициализации перед нами появляется стандартное Start-меню с тайлами, почти такое же, как в обычной Windows. Из меню можно запускать приложения, управлять настройками и выполнять все стандартные базовые действия.

Приложения для устройства скачиваются и ставятся из Microsoft Store, специально адаптированного под HoloLens. Пока приложений под Holo не очень много, большинство из них разработано в Microsoft Studios для демонстрации возможностей устройства.

Несмотря на ограниченный набор нативных приложений, большинство универсальных (UWP) приложений и игр от Windows 10 тоже спокойно запускаются и работает в оконном режиме. Для удобной работы, разумеется, потребуются мышка и клавиатура (или геймпад), но это совершенно не влияет на опыт использования.

На сегодняшний день HoloLens позиционируется в основном как устройство для корпоративной разработки с участием глобальных партнеров типа NASA, Volvo, Disney и Universal. Соответственно, корпоративные клиенты — первая целевая аудитория HoloLens, за которой потенциально последует запуск устройства в розничные каналы.

Из заметных ограничений — достаточно скромный угол обзора: порядка 30−37 градусов. Об этом пункте уже много написано, и он обсуждается как ключевой в списке необходимых доработок HoloLens. Но если провести в шлеме некоторое время, угол обзора перестает создавать дискомфорт: это сравнимо с адаптацией к горнолыжной маске или плавательным очкам.

Во многом это зависит не только от технологических ограничений волноводной оптики, но и от особенностей человеческого глаза, его фокусировки, периферийного зрения и того, как наш мозг воспринимает визуальную информацию. К счастью, прогресс не стоит на месте, поэтому хочется верить, что в следующих версиях устройства угол обзора станет больше.

Влияние на игровую и смежные с ней индустрии

Многим в игровой индустрии интересно, что же случится с рынком, когда на нем появится HoloLens. Запуск устройства на массовый сегмент рынка запланирован только через несколько лет, поэтому делать прогнозы с текущей динамикой — дело неблагодарное.

Если посмотреть на рынок сегодня, то мы увидим, как VR шагает по планете и как многомиллионные бюджеты тратятся на битву за умы игроков (как на ПК, так и на мобильных платформах). Мы в Game Insight постоянно изучаем новые технологии, пробуем разные девайсы и стараемся оценить перспективность тех или иных подходов.

Мобильная VR старается приблизиться по возможностям и производительности к стационарной VR, что видно, к примеру, из анонса платформы Google DayDream. Стационарная VR, наоборот, пытается добавить себе мобильности и уместить полноценный мощный игровой ПК в форм-фактор рюкзака.

При работе с голограммами, в отличие от работы с VR, требуется держать в голове тот факт, что игрок должен взаимодействовать с окружающим миром и динамически подстраивать игру под среду. Немного легче будет тем, у кого есть опыт процедурной генерации ландшафтов и игровых сценариев. Все это существенно сложнее, чем просто нарисовать сцену в Unity, повесить туда VR-камеру и начать играть.

Несмотря на эти сложности, платформа дает безграничные возможности для полета фантазии. Можно строить огромные миры прямо на своем журнальном столике, прорубать окна в новые неизведанные миры прямо в собственной гостиной, объединять несколько устройств по сети и играть в голографические игры в режиме мультиплеера, да и мало ли что еще.

VR или голограммы

В поисках ответа на этот вопрос стоит обозначить разницу между VR (Virtual Reality), AR (Augmented Reality) и MX\Holograms (Mixed Reality).

Виртуальная реальность (VR) называется виртуальной именно потому, что она синтезирована и полностью подменяет нашу реальность той сценой, в которую нас хотел поместить автор игры или приложения. Мы надеваем шлем и отключаемся от реальности.

Дополненная реальность (AR) — проекция двухмерных или трехмерных объектов перед глазами пользователя, в большинстве случаев без привязки к окружающему миру или с привязкой через специальные маркеры. Простейшие варианты дополненной реальности мы можем видеть даже при съемке на смартфон, когда умная программа камеры автоматически определяет и обводит квадратиками лица людей. Самым понятный пример очков в данном случае — Google Glass, который не очень «выстрелил» на рынке.

Смешанная реальность, или голограммы (MR), комбинирует два этих подхода и привязывает виртуальные объекты к реальному пространству. Кто-то называет это дополненной виртуальностью, кто-то — смешанной реальностью, а Microsoft использует термин Holograms. Google идет похожим путем с проектом Google Tango, однако с немного другим списком целевых сценариев и форм-фактором устройств.

Билл Гейтс в рамках своего спецпроекта на Reddit написал на эту тему: VR is the extreme case of AR when nothing from the real world gets mixed in. Это достаточно логично, если представить, что мы подменяем вашу гостиную любой другой виртуальной комнатой, оставляя все виртуальные объекты (голограммы) на тех же самых местах, но запускаем ее на шлеме типа Oculus Rift или Vive.

Следуя этому принципу, буквально неделю или две назад Microsoft анонсировала доступность платформы Microsoft Holographic для всех типов VR-, AR- и MR-устройств, предоставив пользователям самых разных шлемов возможность взаимодействовать друг с другом в виртуальной среде.

Однозначного выбора сделать не получится: правда всегда будет где-то посередине. Через 7−10 лет нас всех ждет безумно интересное и технологичное будущее, которое мы раньше видели в фантастических фильмах. Забавно, насколько это избитая фраза и насколько иначе я стал ее воспринимать, впервые примерив HoloLens.

Если вы хотите написать материал для рубрики «Рынок игр», рассказать о разработке своей игры или кейсе её роста, присылайте материал на games@vc.ru.

Популярные статьи
Показать еще
Комментарии отсортированы
как обычно по времени по популярности

Маркетинг ;) Если скажут что дополненной, то Microsoft уже не будет первопроходцем т.к. все мы знаем о Google glass, а тут вроде как новая обертка ))

Пост не читай
@
Комментарий пиши

В посте все объясняется)

Объяснение в посте может вполне сойти за допиливание уже имеющей место быть технологии. 3D принтер, который печатает не пластиком, а титаном, например, не перестает быть 3D принтером т.к. фундамент у технологических решений один и тот же.

Ну, если мы будем говорить о 3D печати, то это аддитивные технологии. Так что это не оч классное сравнение)

Ну мне как-то без разницы насколько сравнение хорошее. Принцип выведения изображения +/- идентичен с гуглом, который в этом плане тоже не первопроходец т.к. принцип выведения взят с КАИ. Гугл уменьшил КАИ до размера очков и применил другой софт. Майкрософт взяли уменьшили КАИ до размера шлема, продвинулись в создании софта, который в свою очередь ориентируется на данные с датчиков. В любом случае это модификации старых добрых истребительных КАИ только в переосмысленном состоянии в плане компоновки и применения. База у очков гугла и майкрософта одна и та же. Т.е. они отталкивались от одного и того же технологического решения и идут в одном фарватере с поправками на собственное видение итогового продукта и его применения.

Так что комментарий из разряда "пост не читай. комментарий пиши" рекомендую оставить при себе.

Так то он себе самому этот комментарий оставил

0

Если смотреть на смысловую нагрузку, то сильно вряд ли. Скорее кнопкой ошибся.

0

Чувство того, что мне пичкают очередной текст какого-то маркетолога под маслом какого-то чувака, «который про инновации», меня не покидало весь текст. Но Ленсы, канеш, клёвые.
Наверное.

Клевые.
Теперь я пытаюсь понять, хорошо ли быть маркетологом в этом мире... наверное надо было шлем разобрать для технологичности. =)

Татьяна, а чего не хватает?

0

Классно, че тут скажешь)

0

Боятся колёсах или грибах будет эффект. В целом так себе.

0

Бля, как же тупо что нельзя редактировать, даже первые 16 секунд.

Анпканг?)))
Аутор даунинг?)

Оч крутая штука, я считаю, за такими разработками реально будущее. Видел вживую, жаль потрогать не дали :(

P.S. Анпакинг бля... Ладно еще анбоксинг, к нему хотя бы уже все привыкли, и это довольно устойчивый термин. Но АНПАКИНГ, Карл!!!

0

Не пойму - почему модели такие низкополигональные,
как издевательство над технологией.

Да и взаимодействие с моделями демонстрирует явное пространственное несовпадение.

0

> Кто-то называет это дополненной виртуальностью, кто-то — смешанной реальностью, а Microsoft использует термин Holograms.

Прямо полегчало даже, Microsoft остался прежним. Пытается взять известную уже технологию и назвать по своему. )

Но, судя по минимальным примерам демонстрации, технология пока никакая. Но надеюсь, что кто-то этим займется серьезно.

"Анпакинг"
А че тогда не:
"Комплект деливеред в большой коробке"??

0

Судя по коэффициенту баттхерта на тему "Анпакинга", придется покаяться и свалить все на редакцию с запросом "описать анпакинг". =)

0

Нейронные сети научились писать водяные обзоры))

0

Возможность комментирования статьи доступна только в первые две недели после публикации.

Сейчас обсуждают
Izobretatel

Я вообще считаю, что интерфейс продумывать и дизайн делать разные люди должны. Это всеравно что от парикмахера требовать ремонт машины.

Почему в Санкт-Петербурге сложно найти дизайнера интерфейсов
0
Egor Voinov

Недавно было здесь интервью с их основателем. У них трафик-трекер и биржа трафика.

Avito оказалась единственным российским представителем в рейтинге Deloitte Technology Fast 500
0
Ефим Дутый

Вы упускаете прекрасное: обязательный ПОВОРОТ от примеченого вами тезиса раз к шикарно оттеняющему его тезису два - "поньдидат должен то, се и это, и в очередь вставать".
То самое, когда "Мы такие хорошие, мы вас так хотим, мы вам столько всего предложим, пожалуйста-пожалуйста! А, кстати, почему вы хотите работать именно в нашей компании?"

Почему в Санкт-Петербурге сложно найти дизайнера интерфейсов
0
Дмитрий Трипалюк
hyper weapon

Собственно, так и не нашел ответ на вопрос из заголовка ))

Почему бизнес-издание Inc назвало Riot Games лучшей компанией 2016 года
0
Salawat Waliullin

(экологии)

«Добро пожаловать в 2030 год»: член датского парламента о счастливой жизни без приватности и личных вещей
0
Показать еще