Технология NVIDIA «Instant NeRF» моментально преобразует 2D фотографии в 3D сцены

Все привыкли, что фотографируя мы переносим «3D сцену» в «2D изображение». Ну а как насчёт того, чтобы перевернуть этот процесс с ног на голову? Есть ли такой способ, при котором возможно из плоского 2D изображения, сделать реалистичную 3D сцену? ИИ инженеры с командой NVIDIA Research работают над обратным рендерингом, который подразумевает под собой использование искусственного интеллекта для расчёта, как свет падает и отражается на фотографии, чтобы воссоздать 3D сцену из 2D изображений, снятых под разным углом. Команда NVIDIA Research заявляет, что разработала алгоритм, который позволяет сделать такой рендеринг почти моментально. Это первый в своём роде подход, использующий обучающиеся нейронные сети и производящий быстрый рендеринг.

NVIDIA применяют этот подход для «Neural Radiance Fields» или также известный как NeRF. NVIDIA заявляет, что этот новый подход, названный «Instant NeRF», самый быстрый NeRF подход на данный момент. В некоторых случаях он в 1 000 раз быстрее остальных подходов. Подход может изучать несколько десятков фотографий в « считанные минуты» а Instant NeRD может зарендерить конечную 3D сцену за «десяток миллисекунд»

Нейронная сеть NeRF может зарендерить 3D сцену, использую 2D изображения. К примеру, вам необходимо запечатлеть объект со всех сторон. Для этого вы делаете много снимков с разных углов, которые, конечно же, не предоставят полноценную информацию о всей сцене. Из этих фотографий, NeRF, используя ИИ, восполняет недостаток информации, затем обучает нейронную сеть для воссоздания 3D сцены. NeRF предугадывает направление света с любой точки в 3D пространстве.

Чем Instant NeRF отличается от других подходов? NVIDIA пишут, 'Для человека естественно ощущать глубину и то как выглядит объект, благодаря тому, что наши глаза видят две разные картинки, которые потом мозгом интерпретируются, как объемное изображение. Для ИИ задача стоит посложнее. Для обучения NeRF, на ранних стадиях, требовались часы. Instant NeRF позволяет уменьшить это время, используя технику NVIDIA. Эта техника, оптимизированная под графические карты NVIDIA, гораздо быстрее.

« Если стандартное 3D воспринимается как полигональная сетка, сродни векторным изображениям, то подход NeRF как растровое изображение, запечатлевает путь света отраженного от объекта или внутри сцены» заявляет David Luebke, вице президент по графическим исследованиям в NVIDIA. «В таком плане Instant NeRF может быть также важен для 3D, как цифровые камеры и JPEG компрессия для 2D фотографии — значительно увеличивая скорость рендеринга, простоту использования и возможностью делиться».

NVIDIA заявляет, что Instant NeRF может использоваться для создания аватаров или сцен для виртуальных миров, для захвата видеоконференций с участниками и окружением в 3D, или воссоздать 3D сцену для цифровых 3D карт. Технология Instant NeRF, также может использоваться для обучения роботов и автопилотов для лучшего распознавания окружения.

NVIDIA показали Instant NeRF на презентации GTC 2022. Полное видео вы можете посмотреть ниже.