NVIDIA анонсирует CloudXR для AR/VR рендеринга в сетях 5G

На этой неделе на выставке MWC в Лос-Анджелесе генеральный директор NVIDIA Дженсен Хуанг продемонстрировал платформу CloudXR для визуализации AR и VR контента через облачные соединения на базе 5G. Nvidia обещает выпустить CloudXR SDK, с полноценной поддержкой SteamVR/OpenVR-контента, который позволит компаниям предлагать AR и VR-контент из облака.

Nvidia хочет использовать облачную инфраструктуру на базе GPU для удаленной визуализации высококачественных AR и VR изображений и доставки их пользователям через сети 5G. Идея состоит в том, чтобы убрать аппаратный барьер VR высокого класса за счет визуализации изображений в облаке и их потоковой передачи на устройство пользователя, которое при этом не будет нуждаться в особо мощном или дорогостоящем железе. Nvidia уже предлагает очень похожую услугу под названием GeForce Now, но она предназначена для традиционных игр, а не для VR.

Компания сообщила, что она разработала облачный рендеринговый конвейер CloudXR, который специально предназначен для поддержки контента SteamVR/OpenVR. Вместо того, чтобы предлагать эту услугу клиентам напрямую (как в случае с GeForce Now), Nvidia позиционирует CloudXR как набор инструментов, с помощью которого другие компании смогут обеспечить потоковую передачу AR/VR контента своим потребителям. Такой подход имеет смысл, потому что одним из ключевых элементов для решения этой головоломки является сеть 5G (благодаря ее возможностям низкой задержки(low latency)), и Nvidia надеется, что операторы, строящие сети 5G, захотят предложить CloudXR для привлечения клиентов в свои сети.

NVIDIA CloudXR SDK

В прошлом Nvidia упоминала возможность облачного рендеринга AR/VR, но на этой неделе компания официально объявила о выходе CloudXR SDK, который может быть использован в качестве основы для предоставления клиентам облачного AR/VR контента. SDK включает в себя:

Система предназначена для работы с SteamVR/OpenVR контентом из коробки и может передавать потоковое видео на клиентские приложения под управлением Windows или Android, в том числе на ПК с Windows, автономные гарнитуры на базе Android или смартфоны.

Демонстрация CloudXR

Nvidia продемонстрировала CloudXR на сцене MWC в Лос-Анджелесе. Высокоточная 3D модель автомобиля (визуализированная в облаке) была спроецирована на сцену с использованием телефона в качестве платформы дополненной реальности (предположительно Android с интегрированным клиентом CloudXR и ARCore).

По словам Nvidia, система работает по принципу "динамической оптимизации параметров потоковой передачи и максимизации качества изображения и частоты кадров, что позволяет поддерживать оптимальное качество изображения при любых условиях сети". Но компания не говорит о требованиях к задержкам, кроме как о том, что CloudXR обеспечивает "отсутствие заметных задержек" по сравнению с визуализацией на локальном уровне (такое утверждение слышали много раз, но оно редко выдерживает проверку).

Конкретная настройка железа и софта демонстрации показанной на сцене MWC пока не известна, поэтому не ясно, был ли это демонстрация всего процесса передачи данных от центра до устройства или это был пример локального представления возможностей CloudXR без реального подключения к сети передачи.

Облачный рендеринг VR/AR, сети 5G и периферийные сети

Потоковое воспроизведение AR и VR из облака уже давно является технически возможным и в конечном счете сдерживается скорее из-за задержек, чем из-за ограничений полосы пропускания. Хотя CloudXR, разумеется, спроектирован как продукт для низких задержек, другим важным компонентом процесса рендеринга в облаке является доставка по сети - после выхода кадра из центра обработки данных его необходимо передать на гарнитуру без увеличения времени задержки.

Хотя теоретически 5G действительно имеет более низкую задержку, чем многие существующие сетевые инфраструктуры, так называемые "периферийные вычисления" являются еще одной важной частью головоломки с задержками. Низкая задержка является не только функцией физического расстояния между центром обработки данных и конечной точкой, но и функцией возможностей сети; периферийные вычисления представляют собой концепцию физического расположения облачных центров обработки данных вблизи пользователей для уменьшения задержек.

Центр обработки данных в центре континентальной части США, например, может иметь слишком большие задержки по времени прохождения сигнала до побережья страны, чтобы обеспечить надежную работу CloudXR. Периферийные вычисления предполагают использование распределенного кластера центров обработки данных, что позволяет осуществлять рендеринг в ближайшем к каждому отдельному пользователю центре обработки данных, тем самым уменьшая задержку, возникающую из-за физического расстояния.

Непонятно, какие требования Nvidia будет предъявлять к задержкам, чтобы CloudXR стал жизнеспособным, но нахождение потребителя в зоне действия периферийного вычислительного узла может стать таким же важным для решения этой задачи, как и наличие сети 5G.