Новый инструмент Unique3D позволяет генерировать высококачественные 3D-модели в один клик

Создание высокоточной 3D-сетки из одного 2D-изображения - одна из самых сложных задач в области искусственного интеллекта. Ни одна из крупнейших технологических компаний до сих пор не решила эту проблему. Сложность отчасти объясняется отсутствием набора данных с открытым исходным кодом для адекватного обучения ИИ-модели.

Еще больше полезностей - в моем телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.

В то время как преобразование текста в музыку и текста в видео уже продвигается благодаря недавнему выпуску таких инструментов, как Udio, и анонсам Sora и Kling, преобразование текста в 3D или изображения в 3D остается сложной задачей.

Недавно появился новый инструмент под названием Unique3D, который обещает генерировать высококачественные 3D-сетки, используя в качестве исходных данных только одно изображение. Да, ИИ теперь достаточно умен, чтобы предсказать, как объект будет выглядеть с разных ракурсов.

В этой статье мы рассмотрим, как работает этот новый инструмент, и сами сгенерируем 3D-модели. Давайте начнем.

Unique3D - это совершенно новая система преобразования изображений в 3D, разработанная исследователями из Университета Цинхуа. Этот инструмент предназначен для эффективной и высокоточной генерации высокоточных 3D-сеток из одного 2D-изображения.

Unique3D отличается тем, что преодолевает типичные проблемы, с которыми сталкивались предыдущие методы, такие как длительное время оптимизации, плохая геометрия и несоответствия.

Взгляните на эти примеры:

Сначала в это было трудно поверить, но это реальные результаты.
Уникальность Unique3D по сравнению с предыдущими подходами заключается в сочетании многоракурсной диффузионной модели и инновационного алгоритма реконструкции сетки под названием ISOMER.

Такой подход позволяет Unique3D генерировать последовательные изображения с несколькими видами и восстанавливать сложные геометрические детали и текстуры, причем всего за 30 секунд.

Процесс Unique3D включает в себя несколько сложных этапов, обеспечивающих качественное и эффективное создание 3D-сетки:

Если вы хотите узнать больше о том, как работает Unique3D, ознакомьтесь с техническим описанием здесь.

В настоящее время существует четыре способа получить бесплатный доступ к Unique3D:

Давайте рассмотрим несколько примеров, чтобы увидеть Unique3D в действии. Ниже приведено несколько изображений, обработанных Unique3D, которые показывают высокоточные 3D-модели, созданные на основе изображений с одного ракурса:

Для этого примера я использую инструмент Gradio. Перейдите на страницу Gradio Demo, и вы увидите эту панель:

Загрузите изображение в разделе Frontview. Нажмите на кнопку «Generate 3D» в разделе mesh model. ИИ потребуется несколько секунд, чтобы сгенерировать 3D-модель.

Вот финальный результат:

Он не идеален, но я все равно очень впечатлен тем, что получилось.

Больше интерактивных примеров можно найти на странице анонса.

Unique3D - не первый инструмент, с помощью которого можно генерировать высококачественные 3D-модели из изображений или текстовых промптов.

1. Stable Video 3D от Stability AI - этот 3D-генератор с открытым исходным кодом может создавать 3D-видео из одного изображения. Это перспективный инструмент, но он часто не дотягивает до замысловатых деталей и последовательности, которые обеспечивает Unique3D.

2. Large Multi-View Gaussian Model (LGM) - LGM может создавать 3D-модели высокого разрешения из текстовых промптов в течение пяти секунд. Хотя это и быстро, но не совсем соответствует реалистичности и геометрической точности Unique3D.

3. Genie от Luma Labs - Genie предлагает высококачественную генерацию текста в 3D. Это отличный инструмент для создания 3D-объектов из текстовых промптов, но он не так эффективно справляется с обработкой изображений, как Unique3D.

Не стесняйтесь попробовать этих конкурентов и расскажите мне, какой из них, по вашему мнению, является лучшим инструментом для ИИ генерации 3D.

Unique3D - это, безусловно, самый продвинутый 3D-моделировщик на базе ИИ, который я пробовал до сих пор. Тот факт, что он может распознать объект, который ему нужно смоделировать, уже впечатляет. Кроме того, он может генерировать 3D-сетки достойного качества, которые 3D-моделисты могут использовать в своем рабочем процессе.

Я бы хотел показать вам пример, где я загружаю сгенерированную 3D-модель, созданную в Blender, очищаю ее и рендерю с правильным освещением, но, к сожалению, сейчас я работаю на бюджетном ноутбуке, который не может отрендерить эту сцену.

Еще несколько версий этого инструмента могут произвести революцию в моделировании объектов художниками. Представьте, что вы начинаете с нарисованного от руки эскиза, просите генератор изображений вроде MidJourney превратить его в суперкрутого персонажа, а затем с помощью Unique3D создаете его 3D-модель. И все это за считанные минуты? Это революционная технология.

В общем, на этом все. Напишите в комментариях, что вы думаете по этому поводу, поставьте лайк этой статье, если она показалась вам интересной, и поделитесь ею, если она вам понравилась. Хорошего дня!

Еще больше полезностей - в моем телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.

#3d #3д #ai #ии

Источник статьи на английском - здесь.