Видео: прототип интерфейса для «копирования» реальных объектов и переноса в Photoshop Материал редакции

Технология позволяет «сфотографировать» объект со смартфона и перенести на экран компьютера без фона.

В закладки

Французский разработчик и дизайнер Сириль Дианье (Cyril Diagne) показал прототип приложения AR Cut & Paste. Оно позволяет «копировать» реальные объекты и «вставлять» в Adobe Photoshop с помощью технологий дополненной реальности и искусственного интеллекта.

Технология позволяет «сфотографировать» отдельный объект с помощью смартфона, а затем перенести его без фона на экран компьютера с открытым графическим редактором. При этом ракурс объекта сохранится.

Для распознавания объекта и удаления фона используется библиотека машинного обучения BASNet (Qin et al, CVPR 2019).

The secret sauce here is BASNet (Qin et al, CVPR 2019) for salient object detection and background removal.

The accuracy and range of this model are stunning and there are many nice use cases so I packaged it as a micro-service / docker image: https://github.com/cyrildiagne/basnet-http https://t.co/DGe9IffPtS

Алгоритм OpenCV SIFT позволяет для вставки объекта определить точки на экране компьютера, на которые направлена камера.

And again, the OpenCV SIFT trick to find where the phone is pointing at the screen.

I also packaged it as a small python library: https://github.com/cyrildiagne/screenpoint

Send a camera image + a screenshot and you get accurate x, y screen coordinates! https://t.co/OOCFrrZseZ
{ "author_name": "Лиана Липанова", "author_type": "editor", "tags": ["photoshop","github"], "comments": 51, "likes": 181, "favorites": 211, "is_advertisement": false, "subsite_label": "future", "id": 124842, "is_wide": false, "is_ugc": false, "date": "Mon, 04 May 2020 13:39:20 +0300", "is_special": false }
0
51 комментарий
Популярные
По порядку
Написать комментарий...
63

Вот вроде человек не ракету в космос запустил, но из таких не очень больших изменений меняется весь мир! Будущее не рядом, мы каждый день живем в будущем))

Ответить
20

Как демонстрация технологии круто, но если подумать реальна ли ситуация, то ответ нет.

Ответить
12

А теперь представьте как изменится мир геймедева, когда эта технология будет распознавать глубину изображения и определять степени свободы анализируемого объекта. Чтобы создать мир для игры, достаточно будет взять панорамные снимки улиц с google map и всё :) 
Надеюсь так все и будет

Ответить
20

Взять панорамные снимки с гугл карт можно и сейчас. Только получится огромный скучный мир не пригодный для игр.

Ответить
3

Определять глубину изображения стереокамеры умеют уже. Даже iPhone умеет, и в sdk есть инструменты для работы с глубиной.
Собственно, на первый взгляд, реализовать с использованием этого самого depth map не такая уж и космическая задача.

Ответить
0

Ну я же говорил про software, а не hardware :)

Ну вот, ждем-с информации о привлечении раунда от студии Кэмерона (нет)

Ответить
0

Софтверно да, хотя нейронки с этим уже неплохо справляются) но надо признать, стереокамеры на айфоне в голом виде прямо хорошего результата без допиливания тоже не дадут.

Ответить
0

Да им всем пофиг, главное здесь и сейчас пойти пирожок в пятёрочке купить и довольствоваться им. 

Ответить
0

Супер технология! Мне как раз она нужна! Как для фотографа. Сфоткал человека на белом фоне телефоном. Тут же в камп перенес без лишних манипуляций! 

Ответить
0

Может быть будет полезна фича: https://www.remove.bg/

Ответить
9

Ну... фоны-то у него светлые и чистые. А что будет на неоднородном фоне? 🤔

Ответить
0

Если не будет выделенного лидара/сканера глубины с помощью которого можно помогать, то да, результат будет хуже, так как для распознавание границ (чаще всего алгоритм Кэнни) чем контрастней тем лучше (для ускорение они обрабатываются в чб)

Ответить
1

Сейчас уже есть куча алгоритмов ИИ которые создают карту глубины по фотографии не хуже лидара.

Ответить
0

В рилтайме за вменяемое время на мобильном устройстве?

Ответить
0

На мобильном устройстве не видел. Но переслать фотку на сервер, обработать и вернуть, это не проблема. 

Ответить
0

в iPhone 12 планируется лидар, в iPad Pro уже есть.
значит через год будет у всех

Ответить
5

никто тип не заметил как кадры меняются на телефоне :) 

Ответить
1

И правда, пересмотрел видос. Фейк жеж

Ответить
0

Видео странное, но технология вроде как реальная. Есть даже ссылка на гитхаб, при желании самому можно попробовать.

Ответить
0

И какой смысл в этой подмене?

Ответить
1

возможно, потому, что это просто показ идеи? а не работающего чего-то

Ответить
0

не ко мне вопрос

Ответить
0

Что Вы имеете ввиду? Пересмотрел несколько раз и не заметил чего-то подозрительного

Ответить
0

пересмотрите еще несколько раз внимательно

Ответить
4

Сколько подобных фенечек для виртуальной реальности я уже видел. Помыться лет 15 назад 3D сканеры должны были пойти в массы и сделать ть примерку той же одежды в режиме онлайн простой. Где все они?
То ли технология пока ещё не позволяет, то ли общество не готово, то ли что-то ещё.

Ответить
2

Технологии не готовы , пока получается говно кривое

Ответить
4

Осталось придумать как переносить объекты из фотошопа в реальный мир.

Ответить
1

3д принтер ?

Ответить
0

AR очочки надеваете, рукой в VR-перчатке хватаете картинку из фотошопа и вытаскиваете на стол. Всё

Ответить
3

Это нереально круто!

Ответить
2

Нужная вещь)

Ответить
2

Вау-эффектно и бесполезно

Ответить
1

Не буду утверждать, но подозреваю, что это - обыкновенная шляпа. Основной признак - абсолютно бесполезный функционал. Похоже, что дизайнер тупо смонтировал эффектный ролик, а затем скопирайтил описание этого якобы приложения для ловли на живца инвесторов.

Ответить
0

Качество "автовырезания" даже на контрастном белом фоне оставляет желать лучше. Сколько умных слов про дополненные реальности и машин лёнинг не пиши- а без слёз не взглянешь на этот "заборчик". Применимость нулевая.

Ответить
0

Надеюсь такое и для других программ сделают.

Ответить
0

А почему слово "сфотографировать" закавычили? 

Ответить
0

Сам процесс крутой, применимость – на уровне AR-игрушек: будет подводить освещение и шумы.

Ответить
0

Классное приложение! Облегчит многим дизайнерам работу!

Ответить
0

Это будущее

Ответить
0

Это было бы полезно и без переноса на пк или ноут , прикольно , буду следить

Ответить
0

С точки зрения интерфейса неудобно. Если бы это было мгновенно, то прокатило бы. 

В реальности будет удобнее нафотать объектов, а потом списком отослать на комп и там уже с ними работать. А не таскать туда сюда, рассмаривая бесячую анимацию загрузки по 20 секунд.

У таких технологий есть будущее, но в виде вспомогательных инструментов в арте\разработке, в виде тулзы прикрученной к фотошопу. Как самостоятельный инструмент это не зайдет. Типа нафотал объектов, импортнул в фотшоп, а потом доработал огрехи напильником. 

Часть прилы которая вырезает фон - нужная, а вот часть прилы которая с вауэффектом в фш вырезанное вставляет - безполезна. Лучше бы сделали безшовный копипаст между телефном\компом, хотя вроде такое уже есть.

Ответить
0

Для безшовный копипаста подойдет любой мессенджер, установленный на телефоне и компе. Там во время отправки сообщения можно делать фотку.
Особенно удобно в тех мессенджерах, где можно слать сообщение самому себе.
Плюсом можно кучу фильтров к многим мессенджерам установить, от увелечения глаз до обрезания фона.

Ответить
0

Хорошая комбинация новых технологий. Есть куча новых умных вырезалок объектов. Они её скомбинировали с технологией работы коллаборативной работы над документом. 
Не уверен что будет полезно в работе, но для всяких аппов точно польза будет.

Ответить
0

А вот у нас в Канаде такие стартапы уже давно данность

Ответить
0

Были технологии, появилась идея к их применению.

Ответить
0

Процент положительных ответов на вопрос заказчика : «А вот можете эту х...ню вставить сюда?» увеличивается.

Ответить
0

Охуенно...

Ответить
0

В планирующемся iPhone 12 у нас будет лидар, так? Ну а что будет в iPhone, то через год будет у всех. Значит в 21-22 году имеем шанс увидеть эту технологию в iOS/Android

Ответить
0

При этом ракурс объекта сохранится.

Но ведь это фото, почему же оно не должно сохраняться?

Ответить
–6

Убийца фотошопа!

Ответить

Прямой эфир