Как игровые технологии и face tracking изменят коммерческую съёмку

Технологии захвата движения в кинематографе используют уже давно, но качественная передача мимики до недавнего момента оставалась доступной лишь мировым киностудиям. Новые IPhone и игровой движок Unreal Engine 4 (UE4) изменили правила игры. C помощью TrueDepth камеры смартфона можно отслеживать движения лица актёра и переносить их на 3D-персонажа в режиме реального времени. А ещё это очень дёшево. О перспективах технологии в коммерческой съёмке фантазирует видеопродакшен LISPAKO.

Как игровые технологии и face tracking изменят коммерческую съёмку

От шутера к блокбастеру

Unreal Engine разработали в Epic Games в 1998 году и изначально это был исключительно игровой движок для шутеров от первого лица. Но технология оказалась настолько вариативной, что постепенно его адаптировали для других игровых жанров, а к четвёртой версии он стал использоваться и в киноиндустрии.

Самым знаменитым примером стал сериал «Мандалорец». Там UE4 использовали для создания адаптивного фона вместо хромакея. Зелёный фон в студии заменили на большие LED-экраны, куда в реальном времени рендерится фон. Преимущество такого подхода в том, что движок сам поменяет положение объектов, освещение и фокусировку в зависимости от угла съёмки, что значительно сэкономит время на пред- и постпродакшене. Прямо в процессе съёмок можно дорисовывать необходимые объекты и менять время суток. Также UE4 позволяет создать VR-среду для актёров и группы, где всё может меняться прямо в процессе съёмок.

Как игровые технологии и face tracking изменят коммерческую съёмку

Движок даёт и неограниченные возможности для 3D-анимации. Помимо фонов, разработчики уже попробовали рендерить в реальном времени физические объекты, например, автомобили. На конференции GDC Epic Games показали создание Chevrolet Camaro на основе реальной модели без кузова.

Motion capture на максималках

Если технологию захвата движений тела уже неплохо усовершенствовали в кино и играх, то мимика оставалась серьёзной проблемой. Для считывания движения лица используют тяжёлую, неповоротливую и дорогую аппаратуру, данные с которой всё равно приходится дорабатывать вручную. Помощь пришла с рынка портативных устройств.

Начиная с IPhone X Apple использует в смартфонах TrueDepth камеру для распознавания лиц. Камера отслеживает положение 51 точки на лице и присваивает каждой значение от 0 до 1, в зависимости от интенсивности движения. Эти данные можно экспортировать в UE4 и примерить на готового персонажа в режиме реального времени. Риг будет повторять не только движение мышц, но и направление взгляда актёра. Технология позволяет очень качественно перенести мимику с человека на персонажа, при этом не требуя серьёзного оборудования и долгого постпродакшена.

Как игровые технологии и face tracking изменят коммерческую съёмку

Создание персонажа напоминает игру в Sims. Можно выбрать одного из готовых ригов и изменить форму глаз, ушей, носа, цвет кожи и волос. А затем примерить на него собственную мимику. На всё уйдёт не более часа. Пока технология находится в бета-тестировании, но в скором времени её откроют для всех.

Пока перенос мимики возможен лишь на анимированных людей, для всех персонажей также прописан человеческий «скелет». Но после завершения тестирования пользователи ожидают появления возможности создавать и фантастических персонажей или животных. Правда, будет ли настолько же легко переносить на них движения тела, пока не ясно.

Что по деньгам?

Мы уверены, что выход технологии из бета-тестирования обрушит стоимость анимирования 3D-персонажей. Для этого есть несколько причин: доступность оборудования, бесплатный доступ к движку и сокращение времени на постпродакшен.

Для захвата мимики теперь потребуется только смартфон. Это может быть IPhone X или более поздняя модель. Его стоимость начинается от $600. Движок UE4 с 2015 года распространяется бесплатно, но для разработчиков игр, чья выручка превышает $3000 в квартал, предусмотрен роялти в размере 5% от выручки с продаж игры.

Значительно удешевит стоимость производства и сокращение затрат на постпродакшен. Раньше всю анимацию лиц приходилось доделывать вручную, поэтому работа над сценой длиной в несколько секунд могла занимать несколько часов. Описанный способ позволяет создать полность готового к экспорту в среду персонажа за час.

Перспективы в коммерческой съёмке

Локомотивом изменений в производстве видеоконтента, конечно, становятся большие киностудии. Учитывая, что они уже заявили проекты, полностью поставленные на UE4, вскоре мы увидим, как применяют face tracking в полном метре. Энтузиасты уже используют Unreal Engine для воссоздания сцен из любимых фильмов, а также снимают собственные короткометражные мультфильмы. Осталось дождаться первых рекламных роликов.

Отдельные возможности UE4 уже используются в коммерческой съёмке. Например, можно снять виртуальную студию с LED-экранами вместо хромакея под свой проект или даже устроить там виртуальный ивент. Так, МТС во время карантина успела провести в расширенной реальности целый музыкальный фестиваль, где зрители могли взаимодействовать с артистами.

Среди клиентов LISPAKO несколько IT-компаний, который организуют митапы и конференции. Мы планируем экспериментировать с созданием для них виртуальных локаций и переносом в них 3D-моделей спикеров. А ещё вместе с нашими партнёрами мы планируем заменить интервьюера роботом. Как мы тренируемся, смотрите в коротком ролике:

Если вы уже использовали UE4 и face tracking в проектах для коммерческих клиентов или пока только вынашиваете такую идею, расскажите в комментариях. Давайте пофантазируем о будущем вместе.

77
2 комментария

Отличная статья!
Моя девушка давно мечтала сняться в модном рекламном ролике типа Маноло Бланк или сумки Биркин.
Куда можно обратиться?
Ваша студия может помочь со съёмками подобных роликов?

1
Ответить

Спасибо, Лев! Мы вам напишем

Ответить