{"id":14275,"url":"\/distributions\/14275\/click?bit=1&hash=bccbaeb320d3784aa2d1badbee38ca8d11406e8938daaca7e74be177682eb28b","title":"\u041d\u0430 \u0447\u0451\u043c \u0437\u0430\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u044e\u0442 \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u043e\u0434\u0430\u0432\u0446\u044b \u0430\u0432\u0442\u043e?","buttonText":"\u0423\u0437\u043d\u0430\u0442\u044c","imageUuid":"f72066c6-8459-501b-aea6-770cd3ac60a6"}

Видео: прототип интерфейса для «копирования» реальных объектов и переноса в Photoshop Статьи редакции

Технология позволяет «сфотографировать» объект со смартфона и перенести на экран компьютера без фона.

Французский разработчик и дизайнер Сириль Дианье (Cyril Diagne) показал прототип приложения AR Cut & Paste. Оно позволяет «копировать» реальные объекты и «вставлять» в Adobe Photoshop с помощью технологий дополненной реальности и искусственного интеллекта.

Технология позволяет «сфотографировать» отдельный объект с помощью смартфона, а затем перенести его без фона на экран компьютера с открытым графическим редактором. При этом ракурс объекта сохранится.

Для распознавания объекта и удаления фона используется библиотека машинного обучения BASNet (Qin et al, CVPR 2019).

The secret sauce here is BASNet (Qin et al, CVPR 2019) for salient object detection and background removal.

The accuracy and range of this model are stunning and there are many nice use cases so I packaged it as a micro-service / docker image: https://github.com/cyrildiagne/basnet-http https://t.co/DGe9IffPtS

Алгоритм OpenCV SIFT позволяет для вставки объекта определить точки на экране компьютера, на которые направлена камера.

And again, the OpenCV SIFT trick to find where the phone is pointing at the screen.

I also packaged it as a small python library: https://github.com/cyrildiagne/screenpoint

Send a camera image + a screenshot and you get accurate x, y screen coordinates! https://t.co/OOCFrrZseZ
0
51 комментарий
Написать комментарий...
Pixel Lens

Ну... фоны-то у него светлые и чистые. А что будет на неоднородном фоне? 🤔

Ответить
Развернуть ветку
aeli mill

Если не будет выделенного лидара/сканера глубины с помощью которого можно помогать, то да, результат будет хуже, так как для распознавание границ (чаще всего алгоритм Кэнни) чем контрастней тем лучше (для ускорение они обрабатываются в чб)

Ответить
Развернуть ветку
Alexandre Svergoun

Сейчас уже есть куча алгоритмов ИИ которые создают карту глубины по фотографии не хуже лидара.

Ответить
Развернуть ветку
aeli mill

В рилтайме за вменяемое время на мобильном устройстве?

Ответить
Развернуть ветку
Alexandre Svergoun

На мобильном устройстве не видел. Но переслать фотку на сервер, обработать и вернуть, это не проблема. 

Ответить
Развернуть ветку
48 комментариев
Раскрывать всегда