Благодаря Доту тестирую World Labs Marble

Мне открыли доступ к бете через вэйтлист и я решил начать с эксперимента, и попросил платформу собрать офис Дандер Миффлин из сериала Офис.

Агент сам спроектировал офис, построил стены и перегородки, расставил мебель, добавил кухню, переговорную, ресепшн и рабочие места персонажей.

Он также добавил детали, которые я отдельно не просил – степлер в желе, башкотряс Дуайта, телефоны, документы, рамки и кофейную кружку.

Затем платформа создала набор виртуальных камер. Всего получилось 16 ракурсов.

Режимы внутри такие:

Chisel отвечает за структуру сцены и позволяет управлять ее планировкой.

Render создает изображения из выбранных камер.

Flythrough превращает сцену в короткий пролет.

Splat должен собрать из ракурсов объемное пространственное представление.

Пока все работает не идеально. Render у меня сработал, Flythrough проигрывается, но скачать видео не удалось. Splat завершился ошибкой. Для беты это вполне ок (наверное) основная идея уже работает, но отдельные этапы пайплайна пока нестабильны.

У Marble есть и Developer Mode. Через API и CLI можно загружать картинки, получать данные о камерах и глубине, генерировать новые виды, редактировать сцены и конвертировать сплаты в GLB-меши.

В общем-то это попытка создать пространственную модель, которую можно описывать текстом, собирать из изображений и видео, редактировать через агента, просматривать с разных камер и использовать в других проектах.

Chisel здесь не главный продукт, а один из способов задавать структуру мира. Главная идея все же у World Labs заключается в том, чтобы сделать 3D-пространства генерируемыми, редактируемыми и программируемыми. Куда-то туда все и несется.