Американский разработчик выпустил приложение, которое генерирует 3D-модели из фотографий на основе API от Apple Статьи редакции

PhotoCatch работает на macOS Monterey и «в облаке» благодаря технологии Object Capture.

На WWDC 2021 Apple представила ряд новых API для операционной системы macOS Monterey, в том числе технологию Object Capture, которая позволяет создавать 3D-модели реальных объектов на основе фотографий с iPhone или iPad и оптимизировать их для работы с дополненной реальностью.

Спустя пару недель в интернете появились первые прикладные результаты. Так, разработчик Итан Саадиа из Хьюстона представил приложение PhotoCatch, которое значительно упрощает процесс рендеринга.

Пользователям не нужно вникать в технические аспекты — достаточно просто загрузить фотографии, сделанные с разных сторон, и получить готовый объект на выходе в формате USDZ. Затем его можно импортировать в программы по работе с графикой или просто поделиться в сети.

Day 171: “A sign of good taste". Turning 22 iPhone pictures into a yummy chocolate pyramid.

Scanned with @EthanSaadia's Object Capture UI. On @Sketchfab: https://skfb.ly/oonA8

#1scanaday #ObjectCapture #Apple #SpatialComputing #3D https://t.co/mRm3T2kdBa

Поскольку приложение основано на API Apple, оно требует для работы Mac на базе чипа M1, либо на Intel с 16 ГБ ОЗУ и графикой AMD с 4+ ГБ видеопамяти.

Интересно, что разработчик предусмотрел и веб-версию, которая рендерит 3D-модель «в облаке», но эта функция платная — от $2 за объект.

Для получения качественного результата Apple рекомендует делать не менее 30 снимков в оптимальных условиях освещения и по возможности использовать штатив.

0
48 комментариев
Написать комментарий...
Костя Жажиев

Вау !ребят будущее наступило! Кто-нибудь сфоткайте картины в музее
Интересно же

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
TheLobsterBox .

Чел понял буквально и сделал 30 снимков со штатива, в надежде получить объем

Ответить
Развернуть ветку
Евгений Архипов

На самом деле это выглядит красиво и можно занять себя рассматривая картину в объеме и высоком качестве. Если найду где видел, то дополню комментарий.

Ответить
Развернуть ветку
Алексис Второй
 будущее наступило

Наступит сразу же, как дикпики начнут в 3D рассылать.

Ответить
Развернуть ветку
Сергей Карпов

Тоже сразу захотелось сфотографировать какую-то картину. Очень интересно посмотреть, что из этого получится. 

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Nick

«Для получения качественного результата Apple рекомендует делать не менее 30 снимков в оптимальных условиях освещения и по возможности использовать штатив.»

+ фото должны быть сделаны на ифон 12 про макс, эйрдропнуты на макбук с m1 через айпад про, обязательно в таком порядке, иначе полигоны криво встанут!

А по делу, круто🤘

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Nick

Я попытался в сарказм, видимо, не получилось)

Ответить
Развернуть ветку
Канищев Максим

Apple опять впереди всех. 

Ответить
Развернуть ветку
Всего по немногу

Таким макаром 3д моделеры останутся без работы.

Ответить
Развернуть ветку
Сергей Токарев

конюхи конечно исчезнут, но водителей потребуется в десятки раз больше (с) Бисмарк, XIX век

шутка

Ответить
Развернуть ветку
Denis Bystruev

Скорее, у них работы прибавится. Потому что появится огромное число моделей, сделанных любителями, которые теперь нужно доводить до ума вручную.

Ответить
Развернуть ветку
Всего по немногу

Этот первое время... Но со временем продукт могут до пилить до такой степени. ( Скорее всего и до пилят лет так через 5ть- 10ть) на основе нейросетей или ещë чего нибудь такого, Я не спец. И 3д моделлеры останутся без работы либо их труд сильно по дешевеет, типа как труд таксистов подешевел и перестал быть престижной должностью.

Ответить
Развернуть ветку
Угольный Выброс

3д сканированию уже куча лет, но никто без работы не остался:) реальные объекты мб действительно перестают моделить, но есть огромное кол-во задач которые только в 3д можно решить.

Ответить
Развернуть ветку
Всего по немногу

Ну да. Согласен 😁 Говорю я же не спец.

Ответить
Развернуть ветку
Бабка в засаде

Не, фотореалистичных моделей же не так много на самом деле. Большинство игр все-равно какие-то мультяшно-фентезийно-сайфайные.
Как и графика в фильмах. Ну ещё есть всякие там дизайны интерьеров но это не такой массовый продукт 

Ответить
Развернуть ветку
Всего по немногу

А что мешает на фото реалистичную модель наложить другие текстуры и какие нибудь маски.

Ответить
Развернуть ветку
Драка вегетарианца с людоедом

Для какой-нибудь волшебной мегапушки все равно придется делать меш с нуля.

Ответить
Развернуть ветку
Бабка в засаде

Не зайдёт. Стилистика такая. Если предмет вот совсем уж реальный, то если его текстуры сменить на какие-то другие, в большинстве случаев это будет выглядеть просто странно и стремно. Исключение мб только оранжевые деревья и тп штуки, нынче это модно. Но таких меньшинство, да и опять же стилистики ради, часто эти деревья все же выглядят нереально, типа слишком большие листья 

Ответить
Развернуть ветку
МТЗ Запчасти

Уже давно существует программа RealityCapture (есть в стиме). Она предлагает подобный функционал. Вся соль здесь как обычно у Apple в собственном пиаре вокруг себя)))

П.С.: несколько месяцев назад делал на свой телефон (не айфон) около 30-40 фото и через эту программу (на windows) получал достаточно хорошего качества 3D модель.

Ответить
Развернуть ветку
Роман Романов

И много телефонов с установленным Стимом?

Ответить
Развернуть ветку
oleque

Получается, это метод фотограмметрии?

Ответить
Развернуть ветку
Denis Bystruev

Примерно в 100 раз быстрее, чем традиционная фотограмметрия — благодаря комбинации фото и данных с лидара.

Ответить
Развернуть ветку
Андрей Кечин

У автодеска есть такой же сервис которому примерно сто тысяч лет (шутка).
Вот ссылка на ролик которому 7лет

https://youtu.be/jgwx3G3CbIM

Дизайнеры часто заходя на сложные объекты (лепнина, сложные арх. формы) делают съемку объекта обычным фотоаппаратом без штатива, а потом заливают все фото в облако, которое генерирует 3d модель всех помещений, и работает такой сервис уже не один год

Ответить
Развернуть ветку
Max Gromov

Ну без яблока я пользуюсь такой технологией: "Фотограмметрия".
В целом это первое, что пришло в голову после фразы:
"создавать 3D-модели реальных объектов на основе фотографий"
С лидаром конечно будет поинтереснее

Ответить
Развернуть ветку
TheLobsterBox .

Круто! Ещё бы без привязки как яблоку🙄

Ответить
Развернуть ветку
RKA

И поддерживать совместимость с тучей устройств и комбинаций железа?

Ответить
Развернуть ветку
Угольный Выброс

я думаю гугол и товарищи сделают хороший аналог через год-два

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Olga

Фотограмметрия

Ответить
Развернуть ветку
Ed Lee

Нет нельзя

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Борат Язь

А там не с лидара ли данные берутся?

Ответить
Развернуть ветку
Ivan Shmelev

А человека по фото оживляет?

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Nasha Rasha

А я как раз работаю над проектом который при помощи заранее сделанных 3д моделей позволяет качественные картинки делать для крупных корпораций через веб сайт. Но наврятли они все перейдут в это приложение откажутся от наших услуг, все таки у нас надежный качественный продукт. А услуги 3д модельного агенства кстати мы тоже оказываем.

Ответить
Развернуть ветку
Andrey Krestovnikov
Ответить
Развернуть ветку
Прочел это-потратил время зря

Будущее наступает! Жду, когда сделают это на блокчейне и выходить в этот мир можно через vr.
Первая версия матрицы

Ответить
Развернуть ветку
Nasha Rasha

ну Марк Цукерберг презентовал недавно что они как раз виртуальной реальностью занимаются и хотят сделать массовый продукт. Зарабатывать они собиратся на продаже виртуальные шмоток, одежды например))

Ответить
Развернуть ветку
Руслан Халиков

Если лень делать фотки на мотике, теперь можно один раз сделать 3D модель и менять различные фоны на после. Круто.

Ответить
Развернуть ветку
Nasha Rasha

Да, у меня компания на этом делает бизнес с сфере b2b для крупных международных брендов, что теперь мы все закрываемся?

Ответить
Развернуть ветку
Nasha Rasha

https://developer.apple.com/documentation/realitykit/capturing_photographs_for_realitykit_object_capture  кто хочет поиграться с апишкой пожалуйста

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Ревизор

cock 3d ready, download

Ответить
Развернуть ветку
Artemiy Shlesberg

Где лидар то используется?

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Карина Авдеева

Откуда у людей такие фантазии берутся? Я всегда удивляюсь этому. 

Ответить
Развернуть ветку
Константин Баранов

Жду женщин в 3D, обычных, не моделей.

Ответить
Развернуть ветку
45 комментариев
Раскрывать всегда