Мой новый коллега – цифровой аватар. Как и зачем компаниям создавать фотореалистичные 3D-модели людей

Распространение 5G сетей и увеличение мощности девайсов ускорило распространение иммерсивных технологий для проведения онлайн конвенций в VR формате и внедрению виртуальных аватаров для взаимодействия в цифровом пространстве.

В 2020, столкнувшись с большим количеством запросов на разработку решений для быстрой организации онлайн встреч в виртуальной реальности, наша компания приступила к реализации решения, которое позволяло бы оперативно оцифровывать человека для дальнейшего использования его аватара, что мы и сделали. Так появилась Ева — виртуальный ассистент нашей студии. Ева — это анимированный виртуальный 3D-персонаж, который может слушать, говорить и отвечать на запросы.

Автоматизация процесса продажи с сохранением возможности эмоционального взаимодействия с клиентом — необходимость 2020 года, обусловленная необходимостью сокращения издержек и перевода персонала на удаленный режим работы. Актуальным решением этой задачи стала разработка виртуальных аватаров для бизнеса. Теперь, благодаря ускорившемуся развитию компьютерной графики (CGI) и технологии motion capture (захват движения), стало возможным создание гиперреалистичных анимированных персонажей для фильмов, телевидения, игр и дополненной и виртуальной реальности быстро и относительно недорого.

Сейчас мы можем производить захват движений при помощи обыкновенного iphoneна достаточно хорошем уровне.!

Виртуальные ассистенты - экономически эффективный способ для взаимодействия с клиентами, при котором личное общение персонализированное, динамичное и уникальное, как и любое человеческое взаимодействие.

Инновации помогут клиентам принимать правильные решения, меньше ощущать нехватку времени или даже повышать их уверенность и удовлетворенность своими решениями.

Скачок в развитии нейросетей способствует прогрессу технологий создания фотореалистичных моделей людей, и с их помощью можно управлять этими 3D-моделями. Аватар при этом не является какой-то искусственной заставкой для лица — он повторяет мимику, эмоции человека, дает ощущение полной эмоциональной связи с говорящим.

На сегодняшний день доступна замена лица человека на видео. Все уже видели клонов Илона Маска, которые подключались к Zoom-конференция? Так вот, здесь была применена технология Deep Fake, когда достаточно всего лишь одной фотографии человека. Для образовательного контента используют Face Swap, тоже самое направление, только не вызывающее этических споров.

Также, еще одна популярная технология — это чат-боты, которые сейчас используются во многих колл-центрах, но не всем клиентам комфортно общаться с роботом и это понятно. Возможно, такая коммуникация будет более приятной, если бы клиент видел своего цифрового собеседника.

Объединяя цифровой аватар с чат-ботом, микрофоном и системой распознавания синтеза речи, можно создавать виртуальных хостесс, продавцов-консультантов, консультантов в госучреждениях и использовать в самых разных сферах — в качестве диктора новостей, актёра, каскадёра, видеоблогера, оболочки для ИИ и так далее. Нейросеть самостоятельно создает необходимый контент. Например, будет достаточно вбить нужный текст, и она проговорит его как полноценный диктор. Также можно задавать сценарии, для этого мы подготовим определенный набор действий - алгоритм для выполнения и выстраивания в последовательные цепочки. Такие модели могут выступать в качестве амбассадоров разных брендов — рекламировать товары, показывать на себе новые аксессуары, одежду и даже переводить контент на разные языки.

На глобальном рынке есть любопытный проект в сфере цифровых аватаров: Samsung – Neon. Благодаря интерфейсу, который может превращать голос в текст, модель анализирует входящую информацию, трансформирует её в решения и отдает внутреннии команды движения рук и других частей тела, кстати трехмерных моделей они обучили хорошо двигаться.

Цифровые аватары сделаны на основе сканирования реальных людей: они генерируют свои жесты, движения и фразы.

На выставке CES 2019 компания показала аватаров медсестры, телеведущего, скаута из национального парка, фитнес-тренера и несколько других.

В России есть компании, которые работают в похожем с нами направлении, например, Malivar, в которую Сбербанк инвестировал 10 млн рублей. Ей принадлежит виртуальный персонаж Алиона Пол (Aliona Pole) — художница, модель и автор коллекций «цифровой одежды».

У Алионы есть свой инстаграм аккаунт, в котором она пропагандирует экологичное отношение к миру и топит за индивидуальность и бодипозитив.

Цифровые модели не только меняют правила моделирования, но и расширяют возможности дизайнеров. Они не стареют, всегда красивы и очаровательны, на них не нужно тратить огромных денег на зарплаты, гардероб, косметику и др. Они не болеют и никогда не станут токсичными для вашего бренда. Воплощайте все, что придет вам в голову.

Базой для всех вышеописанных сценариев является цифровой 3D-аватар, создание которого очень трудоемкий и ювелирный процесс. По факту это виртуальная скульптура человека, выполненная 3D-скульптором, где он прорабатывает все детали внешности, а потом при помощи инструментов симуляции «выращивает» волосы.

Если создавать копию по вашему фото, то здесь вопросов ко внешности не возникает. При этом существуют приложения, которые "на лету" создают аватар по лишь одному фото. Это не очень качественные модели, но для развлечения вполне подойдут. Примером может служить приложение Holo Ava - приложение для поздравления друзей в формате дополненной реальности.

А что если надо с нуля создать виртуального человека, и чтобы он не был лишен индивидуальности? Какими чертами вы его наделите?

Мы провели экспертизу по психогеометрии лица нашего аватара Евы, которая позволила выявить, основанные на паттернах восприятия, взаимосвязи между внешностью человека и тем, какое впечатление он производит. Мы проанализировали особенности внешности каким человек может казаться окружающим, например, добрым, ранимым, неуверенным в себе, спокойным и т.п. и получили определенный набор черт лица, соответствующие чертам корпоративного духа: лидерству, инновационности, надежности, целеустремленности и т.д.

Лицо и в целом вся компьютерная графика состоит из трех компонентов:

1. 3D-модель, которую сложнее всего изменять;

2. Материалы и текстуры, которые наложены на трехмерную модель и которые определяют то, как она выглядит;

3. Освещение (к слову, оно драматически влияет на восприятие образа).

1. Создание модели персонажа

Голова

Мы используем специализированной программное обеспечение, которое позволяет быстро получить высококачественную модель человека путем глубокой настройки параметров черт его лица. Для этого в штате есть специалист по мимике и физиономическим особенностям, а также психолог.

Мы используем текстуры 4К. 8К текстуры дают более качественный результат на крупных планах, но потребность в них случается редко, поэтому от использования 8К текстур мы отказались в угоду производительности. После того как высокополигональная модель готова, мы создаем ее низкополигональную копию и переносим на нее мелкие детали при помощи карт нормалей (карты «выдавливания» поверхности).

Волосы

В нашем решении волосы обладают подвижностью, что немаловажно для восприятия модели. Это достигается весами в модели и специальными шейдерами, которые обеспечивают естественность прическе сохраняя оптимизацию модели и снижая нагрузку на отображающее ее устройство.

Одежда

Для моделирования одежды использовали Marvelous Designer или , а складки и мелкие и характерные детали доделывали в Blender.

2.Текстурирование

Мы выполняем текстурирование одновременно с созданием меша аватара (самой модели). При этом мы можем легко заменить ее прическу или образ при помощи макияжа и изменения скина. Впрочем, для любительниц макияжа это вовсе не секрет. Китаянки с помощью косметических средств ежедневно достигают эффекта, сравнимого с пластической операцией. А для аватаров столь простое изменение внешности означает большую экономию на производстве видеоконтента – три клика, и образ твоего персонажа изменился кардинально – настолько, что это уже совершенно другой человек.

3.Анимация

Наш персонаж сразу имеет блендшейпы для внедрения лицевой анимации и мимимки и риг для привязке движений и настроен под работу с системами захвата движения: мокап-костюмом Xsense или HTC датчики для тела и мокап-системы на базе iMotion для лица.

Xsense управляет движениями туловища, головы и конечностей. Система анимации гибридная: большие массивы геометрии управляются костями, которые, в свою очередь, управляются данными мокап-системы, а складки одежды в районе суставов и других характерных местах управляются вспомогательными блендшейпами (состояниями модели с характерными сгибами в районе суставов), которые обеспечивают корректную работу геометрии там, где костная анимация не позволяет добиться корректного результата.

В необходимости создания блендшейпов заключается основная проблематика создания гардероба персонажа – это трудоемко. Для каждого нового предмета одежды художнику необходимо создать несколько десятков блендшейпов. Мы активно ищем пути автоматизации этой рутины, и если у вас есть идеи или готовые решения, мы будем рады обсудить их с вами в комментах.

IMotion управляет анимацией лица, и настройка лицевой анимации – самая сложная и трудоемкая часть в пайплайне. Дело в том, что под кожей лица скрывается 57 мышц (25% от общего количества мышц в человеческом теле), и движение каждой из них влияет на выражение лица.

Распознавание лиц и эмоций — крайне важная способность, необходимая для существования в социуме, поэтому люди моментально фиксируют неправдоподобную мимику. А значит, для аватара нужно сделать лицевую анимацию, реалистичную на 100%.

iMotion работает по следующему принципу: на голову актера надевают шлем, на котором закреплена камера с датчиком глубины со сверхвысокой скоростью передачи данных. Видео с этих камер транслируется на рабочую станцию, где нейросеть определяет на лице актера якорные точки и в каждом кадре сопоставляет их с якорными точками на виртуальной лицевой маске, заставляя ее двигаться. К движениям лицевой маски привязана система блендшейпов, которые «переключаются» в соответствии с характером движения лицевой маски. Каждый блендшейп создается для всего лица целиком, но переключаться во время анимации он может локально, например, в районе рта или правого глаза отдельно от остального лица. Эти переключения происходят плавно и совершенно незаметно глазу.

4. Рендер

Наша Ева живет в Unity и IClone.

В Unity мы рендерим анимации, не требующие сложной постобработки для дополненной или виртуальной реальностей, потому что Unity не позволяет получить на выходе необходимые для постобработки каналы и маски в полном объеме, а также имеет ряд ограничений. Некоторое время мы экспериментировали с Real time ray tracing (RTX), но, не получив существенного прироста в качестве изображения, отказались от его применения.

Для рендера в Houdini мы используем Arnold. Это CPU рендер, и работает он довольно медленно в сравнении с GPU и RealTime движками, но выбор пал именно на него, потому что сравнительные тесты показали, что Sub Surface Scattering материалы (а материал кожи является именно таким) и материал волос в Arnold работают на порядок лучше, чем в Redshift и Octane.

5. Интерактив

Наиболее перспективным, с нашей точки зрения, направлением развития цифровых аватаров является их связка с программными продуктами – голосовыми помощниками, чат-ботами, системами speech2text и т.д. Такие интеграции открывают возможность для создания масштабируемых продуктов. В настоящее время мы активно работаем в этом направлении, строим гипотезы и прототипы. Если у вас есть идеи подобного применения цифровых аватаров, буду рада их обсудить.

А вы что думаете по поводу аватаров? Скоро вы увидите наш цифровой аватар на различных платформах, онлайн-событиях и сервисах видеосвязи.