Почему 3D нейросети развивались медленно

Сразу 2 вывода:

1. Проблема в методе, как эффективно представить геометрию для нейронной сети;

2. Недостаток или отсутствие 3D датасетов.

Этот пост про датасеты. Почти в каждой статье с 2015 до 2025 года я видел тезис о дефиците 3D моделей, его пытались закрыть 2D изображениями, но этого было не достаточно. Команда Trellis.2 (3D нейросеть от Microsoft) так и пишет, что крупные датасеты сильно помогли развитию 3D нейросетей, цитата: "Large 3D Asset Generation Models and Systems. With the rapid expansion of large-scale 3D asset datasets, there has been a surge in large models and systems capable of generating 3D assets with high-quality shapes and textures"

Пройдемся по таймлайну:

2015 г. — ShapeNet Первый крупный датасет собирали из CAD моделей, часть была сделана вручную дизайнерами, часть собрана из публичных источников. В нем 3М обьектов, которые сильно скачут по качеству геометрии и материалов, в основном - это синтетика. По факту в ShapeNet 51.000 удачных обьектов (это тезис Objaverse), многие обьекты сильно упрощены, либо сломаны, одно кресло семантически разбивается на: base, leg, wheel, seat, backrest, chair. В итоге мы получаем не 1, а 6 обьектов. ShapeNet сделал большой толчек для 3D нейросетей и алгоритмов, но размер и качество не позволяли двинуться дальше.

2018-2022 — Pix3D, ABO, GSO Проблема с обьемом сохранялась, в эти года развивался "метод" скрещивания нейросети с 3D. Неожиданно на помощь пришли Amazon и IKEA со своей мебелью. В 2013 году MIT додумались обучить object-detection на мебели IKEA, собрав их 3D модели и каталожные изображения, чтобы определять положение мебели на фото с помощью нейросети. Позже 3D модель будет генерироваться из одной фотографии, не без помощи этих наработок. Прочие датасеты повышали качество, но не обьем (Pix3D - это просто 395 ед. мебели).

2022-2023 — Objaverse и Objaverse-XL Здесь мы переходим в настоящее время, Objaverse-XL - это 10.000.000 обьектов, собраных из: 3D ассетов, моделей для 3D принтинга и 3D сканов. Это многократный рост в обьеме и качестве, многие ассеты сделаны CG художниками и дизайнерами, у них лучше геометрия и текстуры, а фотосканы лучше передают детали детали реальных обьектов. Здесь больше категорий, у ShapeNet или Pix3d, грубо говоря - не было персонажей, животных или другой органики. Objaverse - большой шаг вперед для развития 3D нейросетей.

2025 — TexVerse Самый актуальный датасет, он отличается качеством и размером текстур, но обьектов в 11 раз меньше (858K), чем у Objaverse-XL (10M). Плюс Objaverse-XL упоминали, что у многих фотограмметрий просто нет задней стороны, скорее всего в TexVerse они отфильтрованы. Trellis.2 тренировали всего на 800К обьектах, их аугментировали при помощи TexVerse, чтобы приблизиться к PBR (Physically Based Rendering). Microsoft выделяет качество текстур, как приемущество своей нейросети.

Начало 2026 — Наши дни Проблема с датасетами сохраняется, Objaverse-XL разделяет обьекты по "Aesthetic Tier" на T1, T2, T3, 69% обьектов - T2 тир, но визуально даже T1 тиру не хватает качества. Плюс в одной категории может быть всего от 10К до 80К обьектов, например в TexVerse 32K животных и всего 18К людей, при этом непропорционально много "обьектов культуры и истории" - 87K, потому что у "Smithsonian Institute" большая библиотека таких обьектов.

Могу сделать предикшен, что Epic Games, купившие Sketchfab, Quixel и ArtStation еще в 2019-2021 годах, в добавок имея свой магазин с game-ready моделями, а теперь единую FAB площадку - могут сделать наиболее крутую 3D нейросеть. Самые качественные 3D модели заперты под пейволом, и скорее всего их нет в TexVerse и Objaverse-XL.

Заметки на полях 3D датасетов:

- 3D нейросетей куда больше, чем может показаться - вот список моделей, которых я встретил в процессе ресерча:

1. Trellis

2. Dora

3. SparseFlex

4. Direct3D-s2

5. Hunyuan3D

6. Hi3DGen

7. Michelangelo

8. CraftsMan3D

9. pandora3d

10. Step1X-3D

11. TEXGen

- Странно, что никто не использовал GrabCAD, там много интересных ассетов, которых нет на Sketchfab;

- Очень мемно, но TexVerse использовали GPT-5 для описания обьектов, может казаться, что нейросети, команды и компании сверх технологичны, но в жизни все более топорно;

- У TexVerse есть сабсет Skeleton и Animation, 69К обьектов с ригом и 54К с анимацией - сделать нейросеть для аниматоров будет оооочень полезно, потому что там туча репетативных и механических движений;

На этом все. Спасибо, что читали. Больше интересного у меня в тг-канале: @andreev_techart