Нейросеть дня: 3D-маска лица на основе фотографии

Университет Ноттингема опубликовал нейронную сеть, которая позволяет формировать 3D-изображение по одной фотографии.

3D-реконструкция лица — фундаментальная проблема необычайной сложности для компьютерного зрения. Часто такие алгоритмы требуют дополнительных меток на лицах для повышенной точности.

Но в этом примере на основе датасета 2D- и 3D-данных получается точность не ниже, чем от алгоритмов с дополнительными метками.

Проверить, как работает технология, можно на сайте проекта. На выходе помимо 3D-модели формируется OBJ-файл, готовый для импорта в любой 3D-редактор.

Исходный код открыт и доступен по ссылке на Github.

Несколько примеров:

Сергей Есенин
Алан Тьюринг
Константин Циолковский

«Нейросеть дня» – постоянная рубрика менеджера по продукту издательского дома «Комитет» Дениса Ширяева.

1414
22 комментария

Блин, а я все думал, кого я забыл

Комментарий недоступен

5

Они вроде говорили, что просили людей из кино делать маски и пытаться обойти систему, вроде не выйдет так, но понятно будет только в октябре

Проще уж старым добрым терморектальным криптоанализом :)

Ты пропустил самый интересный этап, между "сделать 3D лицо по фотке и разблокировать face id" :)

Теперь в играх, где можно создать лицо персонажа можно было бы просто загружать фото и перс уже с твоим (или тем, кого загрузил) будет лицом

6