Neuralangelo от NVIDIA — ИИ генерирующее из 2D-видео в 3D-обьекты
NVIDIA представила новую модель искусственного интеллекта под названием Neuralangelo, способную создавать 3D-копии объектов на основе 2D-видео, будь то классические скульптуры, обычные грузовики или здания. Neuralangelo выбирает несколько кадров, показывающих объект с разных ракурсов в 2D-видео, чтобы получить четкое представление о его глубине, размере и форме. Затем он создает грубое 3D-представление объекта, после чего оптимизирует его, чтобы максимально точно передать детали реального объекта.
Neuralangelo , новейшая модель ИИ от NVIDIA, в основном построила лучшую версию фотограмметрии (что такое фотограмметрия по этой ссылке ).
Эта модель может превращать 2D-видеоклипы в детализированные трехмерные графические структуры.
Он может полностью воспроизводить здания, скульптуры или другие объекты реального мира — используя клипы, записанные с помощью мобильного устройства или даже дронов.
NVIDIA — не первая компания, создавшая подобную модель ИИ, но она, пожалуй, самая продвинутая. В то время как предыдущие версии изо всех сил пытались уловить повторяющиеся узоры текстур или детализированные цвета, для Neuralangelo это гораздо меньшая проблема.
Используя 2D-видео объекта, строения или сцены, снятых с разных ракурсов, модель выбирает определенные кадры, намечая ключевые ракурсы для полного обзора строения.
Как только положение камеры определено для каждого кадра, программа создает грубую трехмерную интерпретацию сцены. Затем рендеринг оптимизируется, детали становятся более четкими и создается окончательный 3D-объект, который можно поместить в виртуальную реальность или использовать в различных отраслях.
Согласно заявлениям компании, последняя модель использует технологии своего предшественника, Instant NeRF, для точного воспроизведения сложных деталей различных объектов. Это включает в себя текстуры, узоры и цветовые оттенки. В NVIDIA подчеркнули, что Neuralangelo превосходит предыдущие методы в своей способности улавливать сложные текстуры, такие как шероховатость черепицы на крыше или гладкость мрамора.
Он даже способен генерировать виртуальные объекты на основе видео, записанных смартфонами, упрощая процесс создания 3D-реконструкций для различных проектов. Кроме того, это решение обеспечивает быстроту, поскольку NVIDIA Research сообщила, что инструмент может генерировать 3D-сцены всего за два часа.
Как это работает?
2D-видео данного объекта анализируется моделью, чтобы узнать о его глубине, размере и форме.
Затем ИИ действует как «виртуальный скульптор»: сначала он создает грубую 3D-сцену, а затем добавляет больше деталей, пока не воспроизведет все целиком.
Точно так же, как скульптор медленно формирует блок, кусок за куском.
Чтобы дать вам представление о том, насколько развилось это пространство всего за три года, посмотрите сравнение ниже:
Минг-Ю Лю, соавтор статьи о Neuralangelo, заявил, что это "в конечном итоге позволит разработчикам импортировать детализированные объекты — будь то маленькие статуи или огромные здания — в виртуальные среды для видеоигр или цифровых двойников в промышленности". Это говорит нам о том, что производство игр и виртуальной реальности станет еще проще и качественнее.
А если вам еще больше интересна тема ИИ, вы хотите знать больше и не пропускать новинки и обзоры, подпишитесь на канал в тг, мне будет приятно -
Вот это прогресс !
Если Вы обошли объект по кругу и отсняли его, а программа это обработала, то это НЕ нейронная сеть, а ортофотограмметрия. Эта технология давно известна и используется без ИИ на основе математики, а обаботка может осуществляться либо в приложении на мощностях Вашего ПК, либо в облаке. Я это в своей работе применяю еще с 2006г. :)) Просто под вывеской "нейросеть" сейчас легко продать что угодно широкой аудитории и по более высокой цене.