Apple революционизирует 3D-моделирование лиц с помощью своей новой генеративной нейросети FaceLit

Новые технологии машинного обучения и генеративных нейронных сетей продолжают изменять нашу жизнь. Компания Apple, представила новую разработку под названием "FaceLit". Эта генеративная структура может создавать фотореалистичные 3D-модели лиц, которые могут быть отображены при различных условиях освещения и углах обзора.

Авторы статьи Анураг Раньян, Кван Му Йи, Джен-Хао Рик Чанг и Ончел Тузел предлагают новый подход к созданию 3D-моделей лиц. Они обучили модель чисто на основе 2D-изображений из естественной среды без какой-либо ручной аннотации. В отличие от других работ, которые требуют тщательной настройки захвата или труда человека, они использовали готовые оценщики положения и освещения.

С помощью этих оценок авторы включили модель фонговского отражения в нейронную модель объемного рендеринга. Наша модель учится генерировать форму и свойства материала лица таким образом, что при рендеринге в соответствии с естественной статистикой положения и освещения производит фотореалистичные изображения лиц с многопроекционной 3D- и согласованностью освещения.

FaceLit позволяет фотореалистическую генерацию лиц с явным управлением освещением и углами обзора на нескольких наборах данных, таких как FFHQ, MetFaces и CelebA-HQ. По результатам исследования авторы показали современный фотореализм среди 3D-генеративных адверсариальных сетей на наборе данных FFHQ, достигнув FID-оценки 3.5.

Одним из наиболее важных аспектов новой технологии является ее потенциал для использования в различных областях, таких как визуальные эффекты в киноиндустрии, игровой индустрии, медицине, моде и т.д.

Для нас, пользователей, это означает, что с помощью FaceLit можно создавать фотореалистичные изображения лиц в различных условиях освещения и углах обзора без необходимости вручную аннотировать 3D-модель. Это может быть полезно для различных приложений, таких как разработка игр, виртуальной и дополненной реальности, а также в кинематографе и анимации.

FaceLit дает возможность создавать 3D-модели лиц на основе естественных изображений без необходимости ручной настройки захвата и работы с оценщиками освещения. Это открывает новые возможности для различных областей применения, где требуются фотореалистичные изображения лиц.

Если вас заинтересовала эта технология, то мы рекомендуем подписаться на наш телеграм канал, где вы сможете получать еще больше информации о последних научных разработках . Мы будем делиться с вами новостями, статьями и другими интересными материалами, которые помогут вам быть в курсе последних технологических тенденций.