В Центре 5G МТС прошел ворк-шоп руководителя VR-лаборатории МГУ Виктора Чертополохова, на котором он рассказывал о важнейших трендах в сфере VR-технологий. Публикуем тезисы выступления.
Развитие технологии Light Field
Принцип работы этой технологии заключается в том, что в момент съемки камера “запоминает” не только информацию о цветах и освещении, но и направление света в каждой точке кадра. Это позволяет получить в VR максимально подлинные впечатления.
Технологию тестировал Google, называя перспективной: в рамках теста было представлено приложение Welcome to Light Fields в Steam VR . Основная задача – создание миниатюрного устройства для воспроизведения световой информации. Рабочего прототипа пока не существует – заявленная известным стартапом MagicLeap технология не нашла применения в конечном устройстве.
Борьба с укачиванием
Одна из основных задач, решаемая усилением влияния на вестибулярный аппарат за счет неинвазивного и инвазивного воздействия на нервную систему. Один из примеров неинвазивной технологии -- гальваническая вестибулярная стимуляция.
В этой сфере свои разработки представила, например, Samsung. Устройство Entrim 4D было представлено еще в 2016 году, и технология состояла подаче слабых электрических стимулов с помощью электродов, расположенных в районе ушей, на вестибулярные корешки преддверно-улитковых нервов. Помимо Японии, исследования ведутся в России, Мексике и ряде других стран.
Считывание мимики
Речь идет о создании 3D-моделей в реальном времени за счет считывания эмоций и движений человека. Поскольку шлем закрывает большую часть лица человека, то задача может решаться за счет установки камер около носа. Также возможен и другой путь: Google в 2018 году зарегистрировал патент Classifying Facial Expressions Using Eye‑Tracking Cameras, из описания которого следует, что эта технология с помощью применения алгоритмов машинного обучения и с датчиками отслеживания глаз позволяет более реалистично передавать эмоции и мимику человека.
Развитие нейросетей
Использование нейросетей значительно расширит возможности корректной достройки недостающих частей изображения и повлияет на улучшение его качества. Пример технологии – NvidiaDLAA, позволяющая устранить эффект алиазинга на изображении. В итоге, мы получаем качественную картинку с гораздо меньшими вычислительными затратами.
Телеприсутствие
До массового начала развития и запуска сетей 5G не было возможностей решить задачу передачи видеопотока на большие расстояния. Теперь технология может позволить создавать роботы, которыми можно управлять с помощью движений и видеть изображение “его глазами”.
Унификация форматов хранения данных
Раньше было два принципиально больших блока форматов. Первый -- САПР (CAD) (и прочие похожие), которые хранили большое количество данных об объекте. Второй – полигональный формат для отображения графики в реальном времени, которые используют в игровых движках. Сейчас есть несколько проектов, которые занимаются тем,что в VR позволяют воспроизводить и САПР-проекты.
EDGE-облачный рендеринг
Ключевое требование к системам виртуальной реальности – малая задержка и высокое качество изображения. Существующие техники облачного real-time рендеринга не позволяют получить высокое качество при малом отклике.
Однако развитие распределенных вычислений, когда нагруженная часть считается на облаке, а часть операций, требующих малой задержки, выполняется на промежуточном и клиентском устройстве, позволяет создавать системы виртуальной реальности нового типа.
Это можно назвать cardboard2.0: ближний план и тело человека можно обрабатывать на конечном устройстве, в том числе телефоне, а графически сложный фон рендерить удаленно и локально искажать с применением методов коррекции уже готового изображения по движению пользователя.