Как мы меняли лица, делали голограммы и фантастические переходы: CG-приемы от Trehmer в ролике glo

Не так давно в эфире появилось видео Satisfaction для бренда glo HYPER c участием популярного актера Александра Петрова. Съемки и CG для ролика были полностью реализованы нами в Trehmer.

В этой статье мы расскажем о приемах компьютерной графики, которыми буквально напичкано видео, что придает еще большей ирреальности без того нетривиальному сюжету (креатив разрабатывало агентство Geometry Moscow совместно с Романом Кимом и Михаилом Семичевым).

Статья написана по материалам интервью с Максом Алаевым (CG supervisor компании Trehmer CG) и Эриком Баймукашевым (art director компании Trehmer CG).

Дипфейк

DeepFake – это популярная сейчас технология замены одного лица на другое. Это машинное обучение с использованием нейросетей. На входе компьютеру для обучения передаются два лица: исходное лицо с нужной мимикой и лицо, которым его нужно будет заменить, сохранив при этом исходную мимику первого актера. По сути, машине ставится задача: “Я хочу, чтобы ты научился лицом Саши делать то, что делает лицо Маши, сохранив при этом максимально микро-мимику Маши”. Именно «научился». Через видеокарту и видео-процессоры начинается обучение. Нейросеть сканирует лица двух актеров и, в конечном итоге, начинает их совмещать.

Мы в Trehmer CG начали осваивать DeepFake немного раньше, чем пришел проект.

В качестве демонстрации своих скиллов при подготовке к первому PPM мы сделали видео тест: сняли нашего юриста Наташу и наложили на нее лицо и мимику актера Александра Петрова. А лицо Саши Савицкого (прим. редакции – Александр Савицкий – CEO Компании Trehmer) превратили в лицо Тарковского. На встрече с представителями бренда glo™ мы презентовали эти видео-перевоплощения.

видео с тестированием

Нам удалось произвести впечатление на клиента. Дальше мы снимали на видео сначала актрис, потом Александра Петрова. Просили девчонок делать определенные движения, разные выражения лиц, произносить слова, а Александра – стараться максимально точно повторить все это. Чем больше похожих итераций с липсинком, мимикой, движениями корпуса, тем лучше происходит машинное обучение. На выходе получается уже готовое лицо Александра Петрова полностью со всеми движениями актрисы. При этом сохраняется вся мимика исходной актрисы.

Движения точь-в-точь сопоставляются практически в «кишках» компьютера. Непосредственное участие человека заключается только в том, чтобы правильно и максимально детально задать все исходные данные для машинного обучения. Дальше просто ожидание, потому что чем больше времени дать программе, тем больше аналитических итераций она проведет, тем лучше и проработанней будет результат. Например, через 18 часов будет готово движение с актером, через 3 суток появятся морщинки, какие-то мимические действия, а еще через сутки четко прорисуются зубы при открывании рта. Это такой безостановочный процесс. «Учиться, учиться, и еще раз учиться» ©. Нет конечной точки «все, лицо обучено, забирайте». Все упирается только в тайминг, отведенный на проект.

Сам ролик Satisfaction мы снимали 2 смены, а весь пул с Александром Петровым под дипфейк сняли в первый же день для того, чтобы как можно скорее запустить машинное обучение. Сразу со съемочной площадки мы повезли жесткие диски с отснятым материалом в офис Trehmer, где ребята нас уже ждали для оперативной загрузки файлов под машинное обучение. Но перед этим нужно было произвести много мелких технических действий: подкропать кадры, найти ключевые точки, показать машине их взаимосвязь.

Первый черновой монтаж клиенту мы показывали в формате превью – ещё с не полноценными головами в продакшн-качестве.

Масла в огонь этому и без того увлекательному процессу добавил обрушившийся на всех нас карантин и работа на удаленке. Ребята из дома следили за обучающимися станциями, которые были выделены под deepfake, загружали туда новые эмоции под каждый шот. Как только один шот был более-менее готов, ставили на обучение лицо другой актрисы в связке с лицом нашего главного героя. На это ушло 2 недели. Весь композ мы собирали к моменту презентации ролика клиенту, предупредив, что лица еще без финального тюнинга. Клиент согласился продолжить обучение, чтобы в эфир уже все пошло в идеальном качестве.

Голограммы

В ролике используется много голограмм. Задачи с ними были более привычными и понятными в силу их техничности. Нам просто нужно было повторить Голливудского «Бегущего по лезвию 2049»😊

Референс

Мы можем, если надо. В рамках задач по голограммам было проведено небольшое R&D и специально под этот пул задач мы выделили арт-директора – Эрика Баймукашева. Он придумывал, как это реализовать вместе с креативным директором Trehmer Димой Вениковым, а мы тречили 3D основу под девочек, которые потом становились объемными. Далее мы составляли трехмерную сетку из голографических линий и точек. В результате, все это совмещалось на композе, и получалась 3D-голограмма. Голограммы можно создать кучей разных способов так, что визуально они все будут выглядеть по-разному. Об этом подробнее расскажет Эрик.

Здесь требовался особенно качественный уровень проработки, поэтому мы начали процесс придумывания еще до съемок. Где-то спустя неделю после съемок у нас были уже готовые персонажи девчонок, которых мы показали. Плюс 4-5 дней композа, и клиент принял работу.

МНОГО ПРОФЕССИОНАЛЬНЫХ ТЕРМИНОВ И ВСЯ СОЛЬ ПРО ГОЛОГРАММЫ

Голограммы можно создать несколькими разными способами так, что визуально они все будут выглядеть по-разному. Самый простой – это втрэчивание в сцену заранее подготовленной 2D анимации, без каких-либо дистортов и глитчей, так мы сделали, например, окошки нотификейшенов, которые всплывают рядом с прохожими.

С голографическими девушками уже сложнее. Для начала нужно выбрать подходящую фазу и позу из отснятого материала, которая лучше всего будет смотреться в кадре. Отцветокорректить материал, разогнать контраст и добавить цветовые аберрации. Далее, этот подготовленный материал используется как текстура, которая прожектится на двумерное облако точек, чтобы появилась характерная для голограмм «диджитальность» и текстура, напоминающая летающие в воздухе пиксели, которые время от времени «глитчуют».

Самое сложное – это трехмерные голограммы. Например, голографический девайс glo™. Тут мы уже работаем не с 2D-сиквенцией, а с полноценной 3D-моделью, которую сначала создаем, далее по-честному шейдим, освещаем, и эту информацию по свету и цвету передаем на точки, сгенерированные уже в 3D-сцене, через сетап сделанный в Houdini.


Эрик Баймукашев арт-директор Trehmer

Переходы

В основе ролика лежит современный клиповый монтаж, поэтому здесь много переходов. Эти связки были сложные и трудоемкие. Материал нужно было «сшить» в единую канву, с правильными перетеканиями из одного пространства в другое четко по таймингу. Здесь одна голограмма переходит в другую, а здесь мы видим интерфейс смартфона, нажимаем и переходим в следующую сцену, где, например, танцуют актеры.

Перед нами стояла непростая задача сделать все переходы таким образом, чтобы каждый план плавно переходил в следующий, это нужно было сделать интересно и без потери динамики. Большинство переходов мы с режиссерами придумали на этапе препродакшена, но были и такие, что придумывались непосредственно в процессе съемки. Поиск идей не прекращался до самой сдачи финальной версии.

Орг моменты

Разумеется, до официального PPM мы несколько раз встречались с двумя режиссерами проекта: Романом Кимом и Михаилом Семичевым. Мы садились и подробно проговаривали, что и как они будут снимать, где планировать переходы, где нужно строить реальные декорации, а где нет. Я рисовал сториборды для наглядности. Нам ведь потом с этим материалом нужно было плотно работать по графике.

Эффектов glitch в ролике просто не сосчитать

Мы решали, можем ли мы в эти сроки реализовать то, что хочет клиент. Если мы не укладываемся, то ищем компромисс со своей стороны, чтобы это выглядело так же круто, но потребовало меньше времени на реализацию. И уже на двух официальных PPM’ах режиссеры рассказывали клиенту итоги, к которым мы совместно пришли в ходе наших рабочих встреч.

Когда мы сдали проект Satisfaction, то поняли, что сможем сделать все.

И напоследок несколько кадров со съемочной площадки.

{ "author_name": "Trehmer Production", "author_type": "self", "tags": [], "comments": 15, "likes": 5, "favorites": 40, "is_advertisement": false, "subsite_label": "design", "id": 180354, "is_wide": false, "is_ugc": true, "date": "Thu, 26 Nov 2020 13:46:51 +0300", "is_special": false }
0
15 комментариев
Популярные
По порядку
Написать комментарий...

Материальный пёс_анон

5

Это больше на портфолио смахивает, чем на финальный продукт для клиента. Уж слишком вторично вышло.

Aphex Twin в конце 90-х такое и без этих ваших тремеров проворачивал ))

Ответить
1

Лайк за Aphex!

Ответить
0

Aphex - большие молодцы! Мы же нигде не написали, что открыли прием дипфейка. Рассказали о том, как мы его делали в рекламном ролике для клиента. Читайте внимательно материал.

Ответить

Материальный пёс_анон

Trehmer
0

Мы читали. Читайте внимательно коммент ))

Ответить
4

Считаю, что все это говно пытающееся убедить людей, что курение это "модно, стильно, молодежно" надо поганой метлой выкинуть из торговых центров и интернета. 

Ответить
0

В статье нет ни слова о продукции бренда. Кому интересно, погуглили и почитали. Статья вообще не о том, а о приемах компьютерной графики.

Ответить
–1

ну хуйня же реклама, разве нет?

Ответить
0

согласен, авторы как будто рекламу для лсд делали

Ответить
0

А причем здесь компьютерная графика, о которой, собственно, статья?

Ответить
–1

Ну при том, что в обилии кислоты, возможно, это можно посмотреть, но на трезвую голову, я выключил на 30 секунде, сорян ¯\_(ツ)_/¯

Ответить
0

клип сделан круто, но если бы в комментах не увидел, что рекламируют девайс для курения, то так бы и не понял

Ответить
0

Верно. Только в комментах и увидили. Предмет статьи - не продукция, и даже не сюжет. А CG

Ответить
–1

Прямая ссылка на табачные компании некорректна. Если это часть маркетинга, то минус заслуженный или все же стоит убрать прямую ссылку.

Ответить
0

О табачной компании ни слова в статье. Материал ничего не пропагандирует, если Вы не заметили. Мы про графику писали.

Ответить
–1

Какая-то дикая солянка из бенаси, аудио буллис, кемиклов и других. Это от гло такие приходы?

Ответить

Комментарии

null