Видео: прототип интерфейса для «копирования» реальных объектов и переноса в Photoshop Статьи редакции
Технология позволяет «сфотографировать» объект со смартфона и перенести на экран компьютера без фона.
Французский разработчик и дизайнер Сириль Дианье (Cyril Diagne) показал прототип приложения AR Cut & Paste. Оно позволяет «копировать» реальные объекты и «вставлять» в Adobe Photoshop с помощью технологий дополненной реальности и искусственного интеллекта.
Технология позволяет «сфотографировать» отдельный объект с помощью смартфона, а затем перенести его без фона на экран компьютера с открытым графическим редактором. При этом ракурс объекта сохранится.
Для распознавания объекта и удаления фона используется библиотека машинного обучения BASNet (Qin et al, CVPR 2019).
Алгоритм OpenCV SIFT позволяет для вставки объекта определить точки на экране компьютера, на которые направлена камера.
Ну... фоны-то у него светлые и чистые. А что будет на неоднородном фоне? 🤔
Если не будет выделенного лидара/сканера глубины с помощью которого можно помогать, то да, результат будет хуже, так как для распознавание границ (чаще всего алгоритм Кэнни) чем контрастней тем лучше (для ускорение они обрабатываются в чб)
Сейчас уже есть куча алгоритмов ИИ которые создают карту глубины по фотографии не хуже лидара.
В рилтайме за вменяемое время на мобильном устройстве?
На мобильном устройстве не видел. Но переслать фотку на сервер, обработать и вернуть, это не проблема.