Nvidia выпустила модель Lyra 2.0 для генерации интерактивных 3D-миров
С 3D-моделями и сетками.
Источник здесь и далее: Nvidia
Компания разработала модель для генерации 3D-миров по изображению. У Google уже есть модель мира Genie 3, но в отличие от неё фреймворк Lyra 2.0 создаёт не только видео. Он позволяет добавить в генерацию 3D-модели и полигональные сетки для последующей работы в сторонних программах.
По пространствам можно передвигаться. Модель «запоминает» окружение и рендерит одинаковые детали, даже если пользователь ушёл далеко и потом вернулся на то же место
Готовую сцену можно экспортировать в сервисы для создания игр, симуляций или обучения роботов. Например, есть поддержка программы Nvidia Isaac Sim для робототехники.
Модель разработана на основе нейросети для генерации видео Wan 2.1 от китайской Alibaba.
Код и веса Lyra 2.0 выложили на GitHub и Hugging Face под лицензией Nvidia для научных исследований. У модели 14 млрд параметров, она оптимизирована для работы на чипах Nvidia H100 и GB200.
37 комментариев