Можно ли создать 3D-модель товара для ecommerce с помощью ИИ без моделирования?

3D-визуализация товаров в интернет-магазинах и на маркетплейсах набирает популярность благодаря улучшению пользовательского опыта. Этот метод позволяет потенциальным покупателям виртуально рассматривать товары со всех сторон, что создает эффект реального взаимодействия с продуктом, снижает количество возвратов и увеличивает конверсию в покупку.

Чтобы внедрить такую визуализацию, у вас должна быть 3D-модель товара, которая создается специалистом по 3D вручную.

С развитием нейросетей всё больше людей считают, что для создания 3D-моделей для уже не нужен специалист — всю работу может выполнить ИИ. Давайте это проверим.

Перед нами стоят 2 задачи:

В этом эксперименте будем использовать только нейронные сети и простые онлайн-сервисы.

ChatGPT, Midjourney и многие другие популярные «ИИ-шки» не подходят, так как они (пока) не работают с 3D-графикой. Платформы, которые генерируют 3D-объекты только по текстовому описанию, в нашем случае тоже бесполезны, поскольку задача заключается в создании виртуальной копии реального товара.

Нас интересуют только те нейронные сети, которые создают модели по фото. Пошерстив интернет, мы выбрали 4 популярных сервиса.

Основные преимущества TripoS: простота использования и высокая скорость обработки — нам обещают результат всего за несколько секунд.

Загружаем фото товара и нажимаем единственную кнопку Generate. Нейронка автоматически отделяет объект от фона, создает изображение на сером фоне, из которого генерирует 3D-модель.

Время генерации: 6 секунд

Ожидание: более-менее детализированная 3D-модель кресла.

Реальность:

Хоть на фото видны только две передние ножки, нейронка «дорисовала» остальные, и даже правильно их расположила. На этом плюсы заканчиваются. В сгенерированном объекте с трудом угадывается кресло как таковое. Конструкция поломана полностью.

Попробуем загрузить еще одно фото того же кресла, но с другого ракурса.

Итог: в обоих случаях нейросеть не распознала конструкцию кресла. За кадром остались еще несколько попыток, которые отличались только степенью трешовости. Вдобавок текстуры слишком мыльные. Для презентации товара на сайте получившиеся модели не подойдут даже в качестве болванки: дорабатывать их дольше и сложнее, чем создать объект с нуля.

Meshy AI — специализированная платформа, использующая генеративный искусственный интеллект для создания 3D-моделей из текстовых описаний и 2D-изображений. Сервис позиционируется как инструмент для дизайнеров, разработчиков игр и художников. Функций тут гораздо больше, чем в предыдущем сервисе, но за счет довольного простого интерфейса разобраться нетрудно.

Чтобы нейронке было проще, убираем фон с исходной фотографии. Для этого используем сервис remove.bg.

На главном экране выбираем Image to 3D, загружаем фото кресла и жмем Generate.

Время генерации: 4 минуты

Результат:

И первая победа — нейросеть сгенерировала нам не «монстра из глубин», а действительно кресло с четырьмя ножками, подлокотниками, спинкой и почти адекватным сиденьем.

Главная проблема в том, что это не кресло с фото, а просто похожий объект. Обратите внимание, как нейросеть «сгладила углы». Не видно швов, как на снимке, форма подлокотников не та, подушка срослась со спинкой, ножки совсем другие и т. д. К тому же сгенерированное кресло не выглядит как настоящее. Оно больше похоже на объект из устаревшей компьютерной игры.

Сравните фото кресла и результат генерации:

Но нюансы не ограничиваются видом модельки. Давайте «заглянем под обшивку»:

- Дыры в сетке. Для решения проблемы нужно редактировать UV-развертку в Blender или другом профессиональном ПО. Автоматически это сделать нельзя.

- Структура модели переусложнена, что ведет к увеличению веса файла. Тяжелые 3D-модели требуют больше вычислительных ресурсов для рендеринга, что может замедлить работу приложений, особенно в браузере.

- Обнаружилась скрытая геометрия. Проще говоря, ненужные внутренние детали. Это еще больше увеличивает вес файла.

- Форма отдельных объектов искажена. Например, ножки кресла все разные, к тому же рваные. Это критично для AR-примерки, где точность должна быть максимальной.

- Смешались текстуры разных материалов. Ткань неестественно «перетекает» в дерево. И в целом текстуры «грязные», детализация низкая.

Вердикт: скорее всего, с некоторыми доработками такая модель хорошо бы смотрелась далеко на фоне. Но если цель — показать реальный товар онлайн, такой вариант не подходит. Попытки исправить геометрию автоматически созданной модели часто приводят к затратам времени и ресурсов, которые можно было бы потратить на создание выверенной и легковесной модели с нуля.

Отдельно стоит упомянуть, что Meshy — условно-бесплатная платформа. В месяц начисляется только 200 монет, которых надолго не хватит (каждая генерация стоит 20 монет).

У TripoSR, Meshy и подобных сервисов есть общая проблема: 3D-модель создается на основе изображения с одного ракурса. Форму и текстуру в слепых зонах нейронная сеть «додумывает» сама. Возможно, если использовать больше фото, результат будет лучше? Проверим эту гипотезу в Poly.Cam.

Сервис позволяет отсканировать объект со всех сторон при помощи камеры смартфона и на основе полученных данных создать 3D-модель.

Есть только одно «но»: для использования этой функции смартфон должен быть оснащен датчиком LiDAR. На момент написания статьи он есть только на iPhone 12 Pro и Pro Max, 13 Pro и Pro Max, 14 Pro и Pro Max, 15 Pro и Pro Max. Некоторые устройства на Android используют похожую технологию ToF (Time-of-Flight): LG G8 Thin Q, Oppo RX17 Pro, Honor View 20, Huawei P30 Pro, Oppo Reno, Sony Xperia XZ4.

Также Polycam позволяет вручную загрузить от 20 до 150 фото объекта с разных ракурсов. Протестируем этот вариант!

Время генерации: 5 минут

Что получилось:

Кажется, что результат относительно неплохой — мешает только пол. Обрежем лишнее во встроенном редакторе.

Готовы увидеть, как модель выглядит сзади?

Главная проблема в том, что кресло «срослось» с полом, геометрия местами отсутствует, вся задняя часть сильно искажена.

Ради интереса убрали фон со всех фотографий и еще раз запустить генерацию. Но результат разочаровал еще сильнее:

Первая попытка в Polycam оказалась более удачной. Хоть результат отдаленно напоминает исходное кресло, полученная 3D-модель всё равно нежизнеспособна. Убрать пол нетрудно. Однако исправлять погнутую конструкцию и заполнять отсутствующие фрагменты самой модели не просто долго, а нецелесообразно. Моделлер сделает с нуля гораздо качественнее, эстетичнее и быстрее.

Остается последняя надежда. Попробуем отсканировать объект смартфоном с датчиком LiDAR. Используем iPhone 15 Pro.

На этот раз роль подопытного досталась кейсу для AirPods. Но к креслу еще вернемся :)

Luma AI: 3D Capture — мобильное приложение. Есть версии для Android и iOS.

Открываем приложение, наводим камеру на объект съемки, задаем габариты и определяет центр. Затем нужно 3 раза обойти вокруг объекта, следуя подсказкам на экране. Главное, следить за тем, чтобы предмет оставался внутри заданных границ. Смартфон сам сделает нужные снимки и запустит создание 3D-модели.

Время генерации: 38 минут

В разделе Assets находим файлы в нескольких форматах. Можно скачать нашу 3D-модель в низком, среднем и высоком качестве. Давайте сразу скачаем в высоком, чтобы оценить лучший результат.

Скачиваем файлы в формате OBJ и конвертируем в GLB через стороннюю программу. Далее для удобства загружаем полученную GLB-модель в сервис Zarbo, и наконец-то можем рассмотреть, что получилось:

На сканирование объекта и генерацию в Luma ушло больше времени, чем на все предыдущие попытки. Однако детализация всё такая же низкая, текстуры «мыльные», сама модель дырявая.

Итак, мы протестировали 4 сервиса. Пробовали создать 3D-объект по единственному фото, вручную загружали более 20 снимков с разных ракурсов, сканировали объект. Однако так и не получилось автоматически создать модель, хотя бы отдаленно похожую на эту:

3D-объект на видео создан вручную с нуля одним из моделлеров Zarbo менее чем за 2 рабочих дня. Да, это не несколько минут и стоит определенных денег. Зато 3D-модель детализированная и полностью соответствующая своему реальному прототипу по цвету, габаритам, материалам и прочим параметрам. Она идеально подходит для визуализации товара на сайте, виртуальной примерки в AR, дизайн-проектов, рекламы и т. д.

С помощью ИИ-сервисов действительно можно создать 3D-объект без моделирования. Однако недостатков много:

Возможно, в качестве фоновых объектов на третьем плане сгенерированные 3D-модели и подойдут. Но создать эстетичную, детализированную и легковесную модель реального товара без участия специалиста пока невозможно.