Видео: прототип интерфейса для «копирования» реальных объектов и переноса в Photoshop Статьи редакции
Технология позволяет «сфотографировать» объект со смартфона и перенести на экран компьютера без фона.
Французский разработчик и дизайнер Сириль Дианье (Cyril Diagne) показал прототип приложения AR Cut & Paste. Оно позволяет «копировать» реальные объекты и «вставлять» в Adobe Photoshop с помощью технологий дополненной реальности и искусственного интеллекта.
Технология позволяет «сфотографировать» отдельный объект с помощью смартфона, а затем перенести его без фона на экран компьютера с открытым графическим редактором. При этом ракурс объекта сохранится.
Для распознавания объекта и удаления фона используется библиотека машинного обучения BASNet (Qin et al, CVPR 2019).
The accuracy and range of this model are stunning and there are many nice use cases so I packaged it as a micro-service / docker image: https://github.com/cyrildiagne/basnet-http https://t.co/DGe9IffPtS
Алгоритм OpenCV SIFT позволяет для вставки объекта определить точки на экране компьютера, на которые направлена камера.
I also packaged it as a small python library: https://github.com/cyrildiagne/screenpoint
Send a camera image + a screenshot and you get accurate x, y screen coordinates! https://t.co/OOCFrrZseZ
С точки зрения интерфейса неудобно. Если бы это было мгновенно, то прокатило бы.
В реальности будет удобнее нафотать объектов, а потом списком отослать на комп и там уже с ними работать. А не таскать туда сюда, рассмаривая бесячую анимацию загрузки по 20 секунд.
У таких технологий есть будущее, но в виде вспомогательных инструментов в арте\разработке, в виде тулзы прикрученной к фотошопу. Как самостоятельный инструмент это не зайдет. Типа нафотал объектов, импортнул в фотшоп, а потом доработал огрехи напильником.
Часть прилы которая вырезает фон - нужная, а вот часть прилы которая с вауэффектом в фш вырезанное вставляет - безполезна. Лучше бы сделали безшовный копипаст между телефном\компом, хотя вроде такое уже есть.
Для безшовный копипаста подойдет любой мессенджер, установленный на телефоне и компе. Там во время отправки сообщения можно делать фотку.
Особенно удобно в тех мессенджерах, где можно слать сообщение самому себе.
Плюсом можно кучу фильтров к многим мессенджерам установить, от увелечения глаз до обрезания фона.