Meta Reality: новая система смешанной реальности
Стереоскопическая передача цвета, пространственная привязка и понимание сцены обеспечат более реалистичные представления и впечатления от смешанной реальности.
Вы можете играть с друзьями, находясь с ними в одной комнате, или работать на огромных виртуальных мониторах с физическими инструментами, и это станет колоссальным шагом к нашему долгосрочному видению смешанной реальности
Вопреки распространенному мнению, смешанная реальность наиболее эффективна, если VR/AR-устройство может сочетать в себе физический и виртуальный мир. Это говорит о том, что гарнитура должна делать нечто большее, чем передавать 2D-видео, о чем сообщили в блоге на Oculus.com.
Для поддержания статуса передовой компании в сфере разработки технологий виртуальной реальности, Meta анонсировала запуск Meta Reality – новой системы смешанной реальности, которая предлагает взглянуть изнутри на то, что нужно для создания уникального опыта.
Стереоскопическая передача цвета для пространственного восприятия
Meta отлично знает, насколько важна сквозная цветопередача и стереоскопическая 3D-технология, когда речь идет о создании комфортной и исключительной смешанной реальности.
Quest Pro сочетает в себе два вида камер, благодаря которым возможно воссоздание реалистичной глубины, что обеспечивает удобство использования смешанной реальности, созданной с использованием сквозного цветного пропуска. При этом, подсказки стереоструктуры помогают пользователю нативно определять глубину, даже если реконструкция, предложенная системой, несовершенна, и находится за пределами ее возможностей
Например, при использовании Passtrough, мозг пользователя узнает, что чашка кофе находится на таком же расстоянии от его руки, как и шариковая ручка, лежащая перед ним на столе.
Для сравнения: Oculus Insight мог захватывать до 100 точек интереса для определения положения гарнитуры в комнате, и был технологией, которая представила первую автономную систему отслеживания для потребительского устройства виртуальной реальности. Позже его модернизировали для подключения технологии глубокого зондирования.
На данный момент, Oculus Pro может воспроизводить до 10.000 точек интереса в секунду при неоднородных условиях освещения, что позволяет создать улучшенное трехмерное представление физического пространства в режиме реального времени.
Благодаря этому процессу, Meta воспроизводит трехмерную модель мира, постоянно ее обновляя. Позже эти данные используются для создания среды прогнозируемого рендеринга, которая формирует изображения физической реальности. Чтобы минимизировать задержку, реконструкции корректируются в соответствии с представлениями правого и левого глаза с помощью алгоритма асинхронного искажения времени.
Понимание сцены для реализации смешивания физического и виртуального миров
Компонент Scene Understanding платформы Presence был представлен во время мероприятия Connect 2021. Данная технология позволяет создавать сложные среды смешанной реальности с учетом сцен. Компонент был сформирован для того, чтобы дать разработчикам шанс сосредоточить свои силы на развитии своего бизнеса и создании передового цифрового опыта.
Понимание сцены разбито на три части:
Модель сцены – комплексное, актуальное и управляемое системой представление окружающей среды, состоящее из геометрической и семантической информации. Основными элементами сцены являются якоря, и каждый такой якорь может быть прикреплен к различным компонентам. Например, гостиная пользователя организована вокруг этих якорей с семантическими метками, какими являются пол, потолок, стены, стол и диван. Якоря устанавливаются с помощью простого геометрического представления: 2D-границ и ограничивающей 3D-рамки.
- Захват сцены – управляемый системой процесс, который дает пользователю возможность передвигаться по комнате и захватывать архитектуру среды и мебель для создания модели сцены. В дальнейшем предполагается, что разработчики предоставят автоматизированный алгоритм захвата цели, который не будет требовать ручной съемки окружения.
- API сцены – интерфейс, необходимый для доступа к пространственной информации модели сцены, для различных вариантов использования включая размещение контента, физику, навигацию и т.д. С помощью API сцены разработчики могут использовать модель сцены, чтобы виртуальный мяч отскакивал от физических поверхностей в реальной комнате или цифровой робот, взбирающийся по настоящим стенам.
Понимание сцены упрощает процесс разработки, позволяя создавать максимально правдоподобный и реалистичный MR-опыт с эффектами окклюзии в реальном времени
Пространственные привязки для размещения реальных объектов
Разработчики могут легко создавать первоклассный контент смешанной реальности, используя пространственные привязки, которые являются основной возможностью Quest Pro. Например, дизайнер может с легкостью закрепить несколько 3D-моделей, используя технологию Gravity Sketch, чтобы создать единую среду для продукта.
Стереоскопическое прохождение цвета и понимание сцена забирают на себя всю тяжелую работу, позволяя сочетать в XR физический и реальный мир, а пространственные привязки в данном случае являются соединительной тканью
В комплексе с моделью сцены, пространственные привязки можно использовать для создания масштабной и автоматической среды различных событий и ситуаций. Например, можно создать цифровую дверь, которая соединится с физической стеной. Данное решение станет колоссальным шагом для компаний, которые рассматривают технологию XR для корпоративных решений в сфере разработки цифровых двойников, автоматизации складов и даже робототехники.
Общие пространственные привязки для обеспечения совместной работы
Помимо основной функции, Meta добавила в Presence возможность общих пространственных привязок для создания локальных или многопользовательских игр. Это позволит разработчикам делиться своими якорями с другими пользователями в том же пространстве.
Передовая комбинация для смешанной реальности
Комплексное решение пространственные привязки + транзит + понимание сцены – возможность создания богатой, интерактивной среды, которая будет ощущаться и выглядеть, как реальный мир.
Новости о развитии Meta Reality только поступают, как и сама система еще находится на стадии развития, поскольку компания постоянно совершенствует платформу с помощью обновления ПО и аппаратных инноваций, которые будут реализованы уже в следующем году. Как отмечается, выпуск Meta Quest Pro – основополагающий шаг в развитии Meta Reality.
Напомним, что гарнитура вышла в октябре 2022 года.
*признана экстремистской организацией в РФ.