Видео: прототип интерфейса для «копирования» реальных объектов и переноса в Photoshop

Технология позволяет «сфотографировать» объект со смартфона и перенести на экран компьютера без фона.

Французский разработчик и дизайнер Сириль Дианье (Cyril Diagne) показал прототип приложения AR Cut & Paste. Оно позволяет «копировать» реальные объекты и «вставлять» в Adobe Photoshop с помощью технологий дополненной реальности и искусственного интеллекта.

Технология позволяет «сфотографировать» отдельный объект с помощью смартфона, а затем перенести его без фона на экран компьютера с открытым графическим редактором. При этом ракурс объекта сохранится.

Для распознавания объекта и удаления фона используется библиотека машинного обучения BASNet (Qin et al, CVPR 2019).

The secret sauce here is BASNet (Qin et al, CVPR 2019) for salient object detection and background removal.

The accuracy and range of this model are stunning and there are many nice use cases so I packaged it as a micro-service / docker image: https://github.com/cyrildiagne/basnet-http https://t.co/DGe9IffPtS
Видео: прототип интерфейса для «копирования» реальных объектов и переноса в Photoshop

Алгоритм OpenCV SIFT позволяет для вставки объекта определить точки на экране компьютера, на которые направлена камера.

And again, the OpenCV SIFT trick to find where the phone is pointing at the screen.

I also packaged it as a small python library: https://github.com/cyrildiagne/screenpoint

Send a camera image + a screenshot and you get accurate x, y screen coordinates! https://t.co/OOCFrrZseZ
Видео: прототип интерфейса для «копирования» реальных объектов и переноса в Photoshop
183183
51 комментарий

Вот вроде человек не ракету в космос запустил, но из таких не очень больших изменений меняется весь мир! Будущее не рядом, мы каждый день живем в будущем))

63

Как демонстрация технологии круто, но если подумать реальна ли ситуация, то ответ нет.

21

А теперь представьте как изменится мир геймедева, когда эта технология будет распознавать глубину изображения и определять степени свободы анализируемого объекта. Чтобы создать мир для игры, достаточно будет взять панорамные снимки улиц с google map и всё :) 
Надеюсь так все и будет

13

Ну... фоны-то у него светлые и чистые. А что будет на неоднородном фоне? 🤔

9

Если не будет выделенного лидара/сканера глубины с помощью которого можно помогать, то да, результат будет хуже, так как для распознавание границ (чаще всего алгоритм Кэнни) чем контрастней тем лучше (для ускорение они обрабатываются в чб)

никто тип не заметил как кадры меняются на телефоне :) 

5

И правда, пересмотрел видос. Фейк жеж

1