Новый инструмент Unique3D позволяет генерировать высококачественные 3D-модели в один клик

Новый инструмент Unique3D позволяет генерировать высококачественные 3D-модели в один клик

Создание высокоточной 3D-сетки из одного 2D-изображения - одна из самых сложных задач в области искусственного интеллекта. Ни одна из крупнейших технологических компаний до сих пор не решила эту проблему. Сложность отчасти объясняется отсутствием набора данных с открытым исходным кодом для адекватного обучения ИИ-модели.

Еще больше полезностей - в моем телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.

В то время как преобразование текста в музыку и текста в видео уже продвигается благодаря недавнему выпуску таких инструментов, как Udio, и анонсам Sora и Kling, преобразование текста в 3D или изображения в 3D остается сложной задачей.

Недавно появился новый инструмент под названием Unique3D, который обещает генерировать высококачественные 3D-сетки, используя в качестве исходных данных только одно изображение. Да, ИИ теперь достаточно умен, чтобы предсказать, как объект будет выглядеть с разных ракурсов.

BrainAidBot - телеграм-бот на базе Chat GPT-4 Omni, который включает модули Midjourney, Dall-e и Stable Diffusion. В нём предусмотрены различные роли, такие как генерация промптов и логотипов, что может значительно упростить задачи по созданию контента.

Модули Midjourney, SDXL, Stable Diffusion Image Core и SD 3 позволяют выполнять сложную генерацию изображений, поэтому он прекрасно подходит для тех, кто стремится к высоким стандартам качества.

Генератор DALLE 3 поддерживает русский текст и создает HD-контент, что обеспечивает дополнительную гибкость в работе. Кроме этого, бот умеет транскрибировать текст, что может быть полезно для более разнообразных нужд.

В этой статье мы рассмотрим, как работает этот новый инструмент, и сами сгенерируем 3D-модели. Давайте начнем.

Что такое Unique3D?

Unique3D - это совершенно новая система преобразования изображений в 3D, разработанная исследователями из Университета Цинхуа. Этот инструмент предназначен для эффективной и высокоточной генерации высокоточных 3D-сеток из одного 2D-изображения.

Unique3D отличается тем, что преодолевает типичные проблемы, с которыми сталкивались предыдущие методы, такие как длительное время оптимизации, плохая геометрия и несоответствия.

Взгляните на эти примеры:

Новый инструмент Unique3D позволяет генерировать высококачественные 3D-модели в один клик

Сначала в это было трудно поверить, но это реальные результаты.
Уникальность Unique3D по сравнению с предыдущими подходами заключается в сочетании многоракурсной диффузионной модели и инновационного алгоритма реконструкции сетки под названием ISOMER.

Новый инструмент Unique3D позволяет генерировать высококачественные 3D-модели в один клик

Такой подход позволяет Unique3D генерировать последовательные изображения с несколькими видами и восстанавливать сложные геометрические детали и текстуры, причем всего за 30 секунд.

Как работает Unique3D?

Процесс Unique3D включает в себя несколько сложных этапов, обеспечивающих качественное и эффективное создание 3D-сетки:

  • Генерация многоракурсных изображений. Начинается с генерации четырех ортографических многоракурсных изображений из одного исходного изображения с помощью модели многоракурсной диффузии. Эта модель, использующая архитектуру Stable Diffusion, создает многоракурсные изображения с низким разрешением, которое постепенно увеличивается.
  • Прогнозирование карты нормалей. Для получения детальной геометрии поверхности Unique3D использует модель нормальной диффузии для создания карт нормалей, соответствующих многоракурсным изображениям. Эти карты помогают более точно восстановить 3D-геометрию.
  • Многоуровневый процесс повышения масштаба. Сгенерированные многоракурсные изображения и карты нормалей проходят многоуровневый процесс апскейлинга, постепенно повышающий их разрешение. Этот этап обеспечивает высокое разрешение конечных изображений и их согласованность между видами.
  • Реконструкция сетки с помощью ISOMER. Основа эффективности Unique3D заключается в алгоритме мгновенной и последовательной реконструкции сетки ISOMER. Этот алгоритм восстанавливает 3D-сетку из изображений высокого разрешения и карт нормалей, интегрируя цветовые и геометрические детали для получения высококачественной 3D-модели.
Новый инструмент Unique3D позволяет генерировать высококачественные 3D-модели в один клик

Если вы хотите узнать больше о том, как работает Unique3D, ознакомьтесь с техническим описанием здесь.

Как получить доступ к Unique3D?

В настоящее время существует четыре способа получить бесплатный доступ к Unique3D:

  1. HuggingFace - предоставляет удобный интерфейс для экспериментов с инструментом без необходимости его локальной настройки. Вы можете посетить страницу Hugging Face для Unique3D здесь.
  2. Gradio - для тех, кто предпочитает интерактивный веб-интерфейс, Unique3D доступен через Gradio.
  3. Aiuni.ai - официальный сайт Unique3D, Aiuni.ai, предоставляет исчерпывающую информацию об инструменте, включая его возможности, примеры использования и обновления.
  4. Репозиторий GitHub - код и документация доступны на GitHub, хотя в настоящее время он находится в стадии разработки. Вскоре этот репозиторий предоставит открытый доступ к инструменту, что позволит разработчикам устанавливать его локально и интегрировать в свои рабочие процессы.

Примеры

Давайте рассмотрим несколько примеров, чтобы увидеть Unique3D в действии. Ниже приведено несколько изображений, обработанных Unique3D, которые показывают высокоточные 3D-модели, созданные на основе изображений с одного ракурса:

Для этого примера я использую инструмент Gradio. Перейдите на страницу Gradio Demo, и вы увидите эту панель:

Новый инструмент Unique3D позволяет генерировать высококачественные 3D-модели в один клик

Загрузите изображение в разделе Frontview. Нажмите на кнопку «Generate 3D» в разделе mesh model. ИИ потребуется несколько секунд, чтобы сгенерировать 3D-модель.

Новый инструмент Unique3D позволяет генерировать высококачественные 3D-модели в один клик

Вот финальный результат:

Он не идеален, но я все равно очень впечатлен тем, что получилось.

Больше интерактивных примеров можно найти на странице анонса.

Другие 3D-инструменты

Unique3D - не первый инструмент, с помощью которого можно генерировать высококачественные 3D-модели из изображений или текстовых промптов.

1. Stable Video 3D от Stability AI - этот 3D-генератор с открытым исходным кодом может создавать 3D-видео из одного изображения. Это перспективный инструмент, но он часто не дотягивает до замысловатых деталей и последовательности, которые обеспечивает Unique3D.

2. Large Multi-View Gaussian Model (LGM) - LGM может создавать 3D-модели высокого разрешения из текстовых промптов в течение пяти секунд. Хотя это и быстро, но не совсем соответствует реалистичности и геометрической точности Unique3D.

3. Genie от Luma Labs - Genie предлагает высококачественную генерацию текста в 3D. Это отличный инструмент для создания 3D-объектов из текстовых промптов, но он не так эффективно справляется с обработкой изображений, как Unique3D.

Не стесняйтесь попробовать этих конкурентов и расскажите мне, какой из них, по вашему мнению, является лучшим инструментом для ИИ генерации 3D.

Unique3D - это, безусловно, самый продвинутый 3D-моделировщик на базе ИИ, который я пробовал до сих пор. Тот факт, что он может распознать объект, который ему нужно смоделировать, уже впечатляет. Кроме того, он может генерировать 3D-сетки достойного качества, которые 3D-моделисты могут использовать в своем рабочем процессе.

Я бы хотел показать вам пример, где я загружаю сгенерированную 3D-модель, созданную в Blender, очищаю ее и рендерю с правильным освещением, но, к сожалению, сейчас я работаю на бюджетном ноутбуке, который не может отрендерить эту сцену.

Еще несколько версий этого инструмента могут произвести революцию в моделировании объектов художниками. Представьте, что вы начинаете с нарисованного от руки эскиза, просите генератор изображений вроде MidJourney превратить его в суперкрутого персонажа, а затем с помощью Unique3D создаете его 3D-модель. И все это за считанные минуты? Это революционная технология.

В общем, на этом все. Напишите в комментариях, что вы думаете по этому поводу, поставьте лайк этой статье, если она показалась вам интересной, и поделитесь ею, если она вам понравилась. Хорошего дня!

Еще больше полезностей - в моем телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.

Источник статьи на английском - здесь.

33
1
32 комментария

Весь текст, кроме последнего абзаца написан неестественным языком

1
Ответить

Это писала нейросеть ). Шутка

1
Ответить

неестественным языкомтипичного кооперайтера :)
Хорошо писать дано не всем. Иногда я сомневаюсь, что лучше: писать коряво по делу или симпатично — хрень.

Ответить

Я так понимаю, это еще сыроватые версии!? В принципе, полезно! Спасибо! Хорошая статья, пригодится!

1
Ответить

Сыроватые, но генерируют лучше, чем многие другие инструменты.

Ответить

круто, и при этом быстро выдает желаемый результат

1
Ответить