Зачем нужны виртуальные люди и как их создавать

Аватар для бренда — это инструмент коммуникации с аудиторией в социальных сетях и метавселенных. Более того, это инструмент продажи товаров в цифровых каналах, который обходится дешевле привлечения крупных селебрити. Бренд инвестирует ресурсы в актив, который принадлежит компании, позволяет выделиться и увеличить охват и вовлеченность в контент.

Объем рынка виртуальных аватаров достигнет $527 млрд к 2030 году, CAGR (англ. Compound annual growth rate) +46,4%. Благодаря каким драйверам удалось достичь такого бурного роста?

Бум метавселенных. Инвестиции в метавселенные в 2021 году $13 млрд, а в 2022 ожидается порядка $120 млрд / рынок по прогнозам McKinsey & Company вырастет до $5 триллионов к 2030 году.
Развитие технологий. Рост вычислительных мощностей GPU/CPU, появление сетей 5G, прогресс в текстовых и голосовых нейронках, ускорение и апдейт таких движков как UE5 (Epic Games) и Omniverse (Nvidia), NFT и переход Ethereum на Proof-of-Work (PoW).
Новые привычки в "постковидную эру". Миллионы компаний по всему миру пересмотрели принципы ведения бизнеса и нарастили свое присутствие в цифровом мире. Ежедневный Zoom, виртуальные офисы, концерты в Fortnite — для виртуального присутствия потребовался аватар.

Как бизнесу, так и обычным людям потребовалась проекция себя в цифровом пространстве — аватар, без которого сложно взаимодействовать в метавселенной. Сразу встал ряд вопросов:

Где взять уникальную внешность? Хороших 3d Character Artist мало, а тех кто работает с гиперреализмом — еще меньше, процесс 3d скульптинга долгий, стоит дорого, все хотят уникальных героев.
Как создавать регулярный контент самостоятельно? Анимация реалистичных персонажей — достаточно сложный процесс, требующий времени, специального софта и квалифицированных специалистов. Под капотом часто: Unreal Engine, Metahumans, Mark IV HMC от Faceware, костюм Xsens Link, перчатки Manus Prime II, плагин Glassbox Technologies Live Client для Faceware Studio, Substance Painter, NVIDIA RTXA6000. Не вариант для рядового пользователя или маркетолога.
Зависимость от внешности реального человека или "а что с правами"? Человек ненадежен, ему нужно платить, он стареет, не может присутствовать в метавселенной, нужно подписывать разрешение на использование внешности.

Виртуальный персонаж может быть разным. Все зависит от канала коммуникации, задач бренда, формата контента, бюджета и аудитории.

Зачем нужны виртуальные люди и как их создавать

реалистичный vs. мультяшный
вымышленный vs. цифровой двойник
human-driven vs. ai-driven
AR, 2D, deepfake etc.

У каждого варианта есть свои ограничения и преимущества. Например, если основной контент вы планируйте публиковать в TikTok и Stories, то эффективнее изначально использовать deepfake или face swap на основе одного изображения. Для omni channel истории потребуется адаптация под все возможные сценарии.

Концепт. Это важный этап, который будет фундаментом всей работы. На основе клиентского брифа готовится техническое задание для художника, на базе которого он рисует 2д-скетчи будущего героя. Есть альтернативные сценарии, такие как генерация скетчей нейронками DALLE-2, Midjourney или StyleGAN.
Скульптинг. Художнику нужно вылепить high poly модель персонажа в ZBrush с максимальной детализацией.
Ретопология, развертка, запекание карт. Это специальные этапы, на которых происходит уменьшение количества полигонов до оптимального, развертка меша для последующего текстурирования, запекание карт в Substance Painter.
Текстурирование. На данном этапе у персонажа появляется завершающий облик, но модель все еще не готова для создания контента.
Риггинг. Создается уникальный скелет для будущих анимаций. Чем сложнее и реалистичнее персонаж, тем больше времени нужно посвятить ригу.

Это основное "бутылочное горлышко" компьютерной графики, так как на стороне клиента обычно нет собственной команды 3д-дизайнеров и специального оборудования. Нужно заказывать контент у продакшн студии — это требует времени и бюджета. Для упрощения процесса мы выделили несколько механик и инструментов:

Как правило, с точки зрения визуального восприятия персонаж = голова. Чем больше 3д-объектов в сцене, тем дольше и дороже работа. Добиться магии реализма можно путем добавления только 3д-головы персонажа, что сохранит его узнаваемость и даст повод аудитории гадать что тут реально, а что нет. Как это работает:

Организуем съемку модели.
Позируем 3д-голову, настраиваем мимику, рендерим.
Композим финальный результат.

Трекинг 3д-головы на видео

Если вам необходимо поместить персонажа в 100% виртуальное окружение, то от full body 3d никуда не уйти. Для подготовки анимации вам все равно потребуются физические съемки и традиционные "suit-based" mocap системы от Xsens и Rokoko.

Основной тренд на рынке аватаризации — поиск простых решений для создания регулярного контента простыми пользователями. Здесь и конструкторы персонажей (Metahuman Creator), и автоматическая лицевая анимация из аудиодорожки (Omniverse Audio2Face), и "camera-based" системы захвата движений с помощью смартфона.

Отдельно остановлюсь на технологии замены лица. Чтобы быть успешным в социальных сетях — нужно ежедневно создавать видео контент с аватаром для TikTok, Reels, Stories и тд. Компьютерная графика не подходит для этих задач — долго и дорого. На помощь приходят нейронки — как традиционный deepfake, так и face swap в высоком разрешении на основе одной фотки. Снимаете модель на смартфон и самостоятельно обрабатывайте в сервисе malivar.io. Дальше больше, на подходе синтезированные real time video + voice фильтры. О технологиях можно узнать больше здесь.

Замена лица на видео с помощью нейронки (справа)

Для создания регулярного контента с виртуальным персонажем нужно окружение. Это могут быть фото (съемки, оффлайн, модель, стилист и тд) или 3д-сцены (моделлеры, специализированный софт и тд). Все это занимает время и тратит ресурсы. На помощь приходят генеративные нейронки в комбинации с графикой.

Генерируем нейронкой Midjourney базовый визуал.
Добавляем части 3д-персонажа Aliona Pole.
Вытаскиваем другой нейронкой глубину и восстанавливаем 3д сцену.

В скором времени мы увидим полноценные сетки Text-to-3D и различные варианты скрещивания NeRF + Text-to-Image, как например технология генерации трехмерных сцен из текстовых подсказок от Apple — GAUDI.

Рынок большой и быстрорастущий. Брендам нужно осваивать новые инструменты для того, чтобы дотянуться до своей аудитории в мире метавселенных и синтетических медиа.
Без аватара сложно взаимодействовать в метавселенной.
Виртуальный персонаж может быть разным. Все зависит от канала коммуникации, задач бренда, формата контента, бюджета и аудитории.
"Бутылочное горлышко" компьютерной графики — регулярное создание видео контента. Нужно использовать упрощенные механики и инструменты автоматизации.
Будущее за решениями на стыке 3д-графики и искусственного интеллекта. Появился новый формат студий ALIONA POLE STUDIO, которые помогают брендам объединять реальные и виртуальные миры.

Зачем нужны виртуальные люди и как их создавать

Рынок

Проблема

Каким должен быть персонаж?

Все начинается с внешности

Как создавать регулярный контент?

Выводы