🌟 DG-Mesh: Построение высококачественных полигональных сеток из монокулярного видео.

DG-Mesh реконструирует высококачественную динамическую 3D-сетку с согласованными вершинами из монокулярного видео.

В пайплайне используются 3D-гауссовы всплески для представления динамических сцен и дифференцируемые алгоритмы для построения полигонов.

DG-Mesh позволяет отслеживать движение вершин, упрощая текстурирование динамических объектов.

Метод эффективно использует память и полностью дифференцируем, что позволяет выполнять оптимизацию 3D-сетки целевого объекта напрямую.

В репозитории на Github представлен код для локальной тренировки с использованием датасетов:

Кастомный датасет, снятый на Iphone 14 Pro и обработанный в Record3D, RealityCheck и маскированный в DEVA.

🖥 Локальный запуск:

conda create -n dg-mesh python=3.9

conda activate dg-mesh

conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia

pip install git+https://github.com/NVlabs/tiny-cuda-nn#subdirectory=bindings/torch

pip install git+https://github.com/NVlabs/nvdiffrast/

export FORCE_CUDA=1

conda install -c fvcore -c iopath -c conda-forge fvcore iopath -y

pip install "git+https://github.com/facebookresearch/pytorch3d.git"

git clone https://github.com/Isabella98Liu/DG-Mesh.git

cd DG-Mesh

pip install dgmesh/submodules/diff-gaussian-rasterization

pip install dgmesh/submodules/simple-knn

pip install -r requirements.txt

🟡 Страница проекта https://www.liuisabella.com/DG-Mesh/

🖥 GitHub [ Stars: 234 | Issues: 6 | Forks: 2 ] https://github.com/Isabella98Liu/DG-Mesh

Install nvdiffrast