Как мы меняли лица, делали голограммы и фантастические переходы: CG-приемы от Trehmer в ролике glo

Не так давно в эфире появилось видео Satisfaction для бренда glo HYPER c участием популярного актера Александра Петрова. Съемки и CG для ролика были полностью реализованы нами в Trehmer.

В этой статье мы расскажем о приемах компьютерной графики, которыми буквально напичкано видео, что придает еще большей ирреальности без того нетривиальному сюжету (креатив разрабатывало агентство Geometry Moscow совместно с Романом Кимом и Михаилом Семичевым).

Статья написана по материалам интервью с Максом Алаевым (CG supervisor компании Trehmer CG) и Эриком Баймукашевым (art director компании Trehmer CG).

Дипфейк

DeepFake – это популярная сейчас технология замены одного лица на другое. Это машинное обучение с использованием нейросетей. На входе компьютеру для обучения передаются два лица: исходное лицо с нужной мимикой и лицо, которым его нужно будет заменить, сохранив при этом исходную мимику первого актера. По сути, машине ставится задача: “Я хочу, чтобы ты научился лицом Саши делать то, что делает лицо Маши, сохранив при этом максимально микро-мимику Маши”. Именно «научился». Через видеокарту и видео-процессоры начинается обучение. Нейросеть сканирует лица двух актеров и, в конечном итоге, начинает их совмещать.

Мы в Trehmer CG начали осваивать DeepFake немного раньше, чем пришел проект.

В качестве демонстрации своих скиллов при подготовке к первому PPM мы сделали видео тест: сняли нашего юриста Наташу и наложили на нее лицо и мимику актера Александра Петрова. А лицо Саши Савицкого (прим. редакции – Александр Савицкий – CEO Компании Trehmer) превратили в лицо Тарковского. На встрече с представителями бренда glo™ мы презентовали эти видео-перевоплощения.

видео с тестированием

Нам удалось произвести впечатление на клиента. Дальше мы снимали на видео сначала актрис, потом Александра Петрова. Просили девчонок делать определенные движения, разные выражения лиц, произносить слова, а Александра – стараться максимально точно повторить все это. Чем больше похожих итераций с липсинком, мимикой, движениями корпуса, тем лучше происходит машинное обучение. На выходе получается уже готовое лицо Александра Петрова полностью со всеми движениями актрисы. При этом сохраняется вся мимика исходной актрисы.

Движения точь-в-точь сопоставляются практически в «кишках» компьютера. Непосредственное участие человека заключается только в том, чтобы правильно и максимально детально задать все исходные данные для машинного обучения. Дальше просто ожидание, потому что чем больше времени дать программе, тем больше аналитических итераций она проведет, тем лучше и проработанней будет результат. Например, через 18 часов будет готово движение с актером, через 3 суток появятся морщинки, какие-то мимические действия, а еще через сутки четко прорисуются зубы при открывании рта. Это такой безостановочный процесс. «Учиться, учиться, и еще раз учиться» ©. Нет конечной точки «все, лицо обучено, забирайте». Все упирается только в тайминг, отведенный на проект.

Сам ролик Satisfaction мы снимали 2 смены, а весь пул с Александром Петровым под дипфейк сняли в первый же день для того, чтобы как можно скорее запустить машинное обучение. Сразу со съемочной площадки мы повезли жесткие диски с отснятым материалом в офис Trehmer, где ребята нас уже ждали для оперативной загрузки файлов под машинное обучение. Но перед этим нужно было произвести много мелких технических действий: подкропать кадры, найти ключевые точки, показать машине их взаимосвязь.

Первый черновой монтаж клиенту мы показывали в формате превью – ещё с не полноценными головами в продакшн-качестве.

Масла в огонь этому и без того увлекательному процессу добавил обрушившийся на всех нас карантин и работа на удаленке. Ребята из дома следили за обучающимися станциями, которые были выделены под deepfake, загружали туда новые эмоции под каждый шот. Как только один шот был более-менее готов, ставили на обучение лицо другой актрисы в связке с лицом нашего главного героя. На это ушло 2 недели. Весь композ мы собирали к моменту презентации ролика клиенту, предупредив, что лица еще без финального тюнинга. Клиент согласился продолжить обучение, чтобы в эфир уже все пошло в идеальном качестве.

Голограммы

В ролике используется много голограмм. Задачи с ними были более привычными и понятными в силу их техничности. Нам просто нужно было повторить Голливудского «Бегущего по лезвию 2049»😊

Референс

Мы можем, если надо. В рамках задач по голограммам было проведено небольшое R&D и специально под этот пул задач мы выделили арт-директора – Эрика Баймукашева. Он придумывал, как это реализовать вместе с креативным директором Trehmer Димой Вениковым, а мы тречили 3D основу под девочек, которые потом становились объемными. Далее мы составляли трехмерную сетку из голографических линий и точек. В результате, все это совмещалось на композе, и получалась 3D-голограмма. Голограммы можно создать кучей разных способов так, что визуально они все будут выглядеть по-разному. Об этом подробнее расскажет Эрик.

Здесь требовался особенно качественный уровень проработки, поэтому мы начали процесс придумывания еще до съемок. Где-то спустя неделю после съемок у нас были уже готовые персонажи девчонок, которых мы показали. Плюс 4-5 дней композа, и клиент принял работу.

МНОГО ПРОФЕССИОНАЛЬНЫХ ТЕРМИНОВ И ВСЯ СОЛЬ ПРО ГОЛОГРАММЫ

Голограммы можно создать несколькими разными способами так, что визуально они все будут выглядеть по-разному. Самый простой – это втрэчивание в сцену заранее подготовленной 2D анимации, без каких-либо дистортов и глитчей, так мы сделали, например, окошки нотификейшенов, которые всплывают рядом с прохожими.

С голографическими девушками уже сложнее. Для начала нужно выбрать подходящую фазу и позу из отснятого материала, которая лучше всего будет смотреться в кадре. Отцветокорректить материал, разогнать контраст и добавить цветовые аберрации. Далее, этот подготовленный материал используется как текстура, которая прожектится на двумерное облако точек, чтобы появилась характерная для голограмм «диджитальность» и текстура, напоминающая летающие в воздухе пиксели, которые время от времени «глитчуют».

Самое сложное – это трехмерные голограммы. Например, голографический девайс glo™. Тут мы уже работаем не с 2D-сиквенцией, а с полноценной 3D-моделью, которую сначала создаем, далее по-честному шейдим, освещаем, и эту информацию по свету и цвету передаем на точки, сгенерированные уже в 3D-сцене, через сетап сделанный в Houdini.


Эрик Баймукашев арт-директор Trehmer

Переходы

В основе ролика лежит современный клиповый монтаж, поэтому здесь много переходов. Эти связки были сложные и трудоемкие. Материал нужно было «сшить» в единую канву, с правильными перетеканиями из одного пространства в другое четко по таймингу. Здесь одна голограмма переходит в другую, а здесь мы видим интерфейс смартфона, нажимаем и переходим в следующую сцену, где, например, танцуют актеры.

Перед нами стояла непростая задача сделать все переходы таким образом, чтобы каждый план плавно переходил в следующий, это нужно было сделать интересно и без потери динамики. Большинство переходов мы с режиссерами придумали на этапе препродакшена, но были и такие, что придумывались непосредственно в процессе съемки. Поиск идей не прекращался до самой сдачи финальной версии.

Орг моменты

Разумеется, до официального PPM мы несколько раз встречались с двумя режиссерами проекта: Романом Кимом и Михаилом Семичевым. Мы садились и подробно проговаривали, что и как они будут снимать, где планировать переходы, где нужно строить реальные декорации, а где нет. Я рисовал сториборды для наглядности. Нам ведь потом с этим материалом нужно было плотно работать по графике.

Эффектов glitch в ролике просто не сосчитать

Мы решали, можем ли мы в эти сроки реализовать то, что хочет клиент. Если мы не укладываемся, то ищем компромисс со своей стороны, чтобы это выглядело так же круто, но потребовало меньше времени на реализацию. И уже на двух официальных PPM’ах режиссеры рассказывали клиенту итоги, к которым мы совместно пришли в ходе наших рабочих встреч.

Когда мы сдали проект Satisfaction, то поняли, что сможем сделать все.

И напоследок несколько кадров со съемочной площадки.

0
15 комментариев
Написать комментарий...
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Andreas Blokh

Лайк за Aphex!

Ответить
Развернуть ветку
Trehmer Production
Автор

Aphex - большие молодцы! Мы же нигде не написали, что открыли прием дипфейка. Рассказали о том, как мы его делали в рекламном ролике для клиента. Читайте внимательно материал.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Высшая Школа Брендинга

В статье нет ни слова о продукции бренда. Кому интересно, погуглили и почитали. Статья вообще не о том, а о приемах компьютерной графики.

Ответить
Развернуть ветку
Gluch Nolwar

ну хуйня же реклама, разве нет?

Ответить
Развернуть ветку
Roberto Martinez

согласен, авторы как будто рекламу для лсд делали

Ответить
Развернуть ветку
Trehmer Production
Автор

А причем здесь компьютерная графика, о которой, собственно, статья?

Ответить
Развернуть ветку
Gluch Nolwar

Ну при том, что в обилии кислоты, возможно, это можно посмотреть, но на трезвую голову, я выключил на 30 секунде, сорян ¯\_(ツ)_/¯

Ответить
Развернуть ветку
Andrew Fan

клип сделан круто, но если бы в комментах не увидел, что рекламируют девайс для курения, то так бы и не понял

Ответить
Развернуть ветку
Trehmer Production
Автор

Верно. Только в комментах и увидили. Предмет статьи - не продукция, и даже не сюжет. А CG

Ответить
Развернуть ветку
Константин

Прямая ссылка на табачные компании некорректна. Если это часть маркетинга, то минус заслуженный или все же стоит убрать прямую ссылку.

Ответить
Развернуть ветку
Trehmer Production
Автор

О табачной компании ни слова в статье. Материал ничего не пропагандирует, если Вы не заметили. Мы про графику писали.

Ответить
Развернуть ветку
La Noche Oscura

Какая-то дикая солянка из бенаси, аудио буллис, кемиклов и других. Это от гло такие приходы?

Ответить
Развернуть ветку
12 комментариев
Раскрывать всегда