DeepFake — от стыдного термина до нового медиа, которое убил «Сбер»

Привет, реальный мир.

Меня зовут Володя, мне 25 лет, я делаю DeepFake.

Нет-нет, не надо хлопать, вдруг кто услышит.

Примерно так я относился к этой деятельности, даже когда она стала приносить очень неплохие деньги.

- Лол, у нас есть крутая технология, которая может хорошо прижиться в медиа, но мы будем делать порно, — решил интернет.

- Нет, мам… Мам, я не делаю порно, я делаю рекламу, интерактивные проекты, видео для мероприятий" — оправдывается Володя.

Вот так и сложилось: когда приходишь к заказчику с неверо-яяя-тно, как ты думаешь, креативной идеей и рассказываешь, как можно круто продать его рекламу с помощью технологии DF, ловишь два фидбэка:

1) «Я видел порно, которое так начиналось»

2) «Я видел рекламу Сбера»

Зима 2020, выходит рекламный ролик «Сбера» с актером Журавлевым... это вы, короче, знаете и вряд ли забыли, ибо развидеть такое невозможно, но если что — прогуглите.

И нет, не то что бы прям Сбер убил, они-то как раз сделали все правильно:

- Крутой продакшен

- Противоречивый контекст (из-за которого, правда, комментарии на Ютубе пришлось дропнуть)

- Ностальгия + технологии

За перенос в 21 век героя фильма «Иван Васильевич меняет профессию» отвечала команда «DeepCake».

Извините, не команда. Лаборатория.

И вот с этих ребят все пошло не так…

А непонятно. Информации об этом глубоком пироге чуть больше чем ноль:

- Первый пост в ФБ — за 7 ноябрь 2020.

- Первый (и единственный, что я смог найти) проект — та самая реклама Сбера, которая вышла 1 декабря 2020.

Если верить сайту «DeepCake», на создание образа Жоржа Милославского у ребят ушло 24 дня.

То есть, контракт от Сбера, от государственной компании, получил стартап вообще без какого-либо бэкраунда.

Ладно-ладно, зачехляю свои дроны. В итоге-то, что получилось?

Чтобы ответить на этот вопрос, давайте разберемся, как вообще делается DeepFake.

Создание DeepFake делится на два основных этапа:

1.0. Создание модели.

1.1.Для этого через нейросеть прогоняется массив данных:

- Фейссет — лицо, которое вставляем.

- Датасет — лицо, которое заменяем.

Наглядный пример из свежего кейса:

Превратить ноунэйм-актрису, на секундочку, в Марго Робби!

Вот так, на начальных этапах, нейросеть ищет одинаковые кадры: общие ракурсы и мимику наших актрис.

После долгих поисков, а точнее тренировки, в которую входят более полумиллиона итераций, нейросеть генерирует нечто подобное.

Правда красавица?

Технически — все — дипфейк готов.

Фактически - начинается самое сложное, а именно, второй этап...

В мире идеального DeepFake, сгенерированная нейросетью модель должна отправляться в редактор (чаще всего Adobe After Effects) и там проходить через все круги композитинга:

- Цветокоррекция

- Выставление света

- Сглаживание маски

- Ручная разметка кадров, которые не считала нейросеть.

Короче, доведение до ума. До качественного, реалистичного ума.

Вот как оно, доведение, выглядит на одном из наших видео:

создали молодую копию Сергея Бурунова в фильме "Пара из Будущего".

Так что там с Марго?

С ней мы проделали тот же цикл, но... не получилось.

Стоит сказать, что DeepFake не превратит кого угодно в кого угодно... странно сформулировал, да...

Важно, чтобы у моделей совпадала геометрия лица.

Например, Бенедикта - когда уже пройдет мода на коверкание его фамилии - Камбербетча не получится качественно превратить в круглоголового Дуэна Джонсона. Так же как вы не наденете на большой палец обручальной кольцо. Ну не подходит.

ВАЖНО! ЭТА ПРОБЛЕМА АКТУАЛЬНА, ЕСЛИ РЕЧЬ ИДЕТ О ПЕРЕСАДКЕ ИМЕННО ЛИЦА, А НЕ ВСЕЙ ГОЛОВЫ! Но об этом в другой раз.

Тот же казус случился с нашей актрисой и Робби.

Но мы не отчаялись и стали искать замену. И нашли. Эмилию, мать ее драконов, Кларк.

В общем, только ручными манипуляциями получается достойный, качественный DeepFake, а главное применимый в медиа: в кино, рекламе, клипах, интерактивных проектах и так далее.

Это все вообще к чему?

К тому, что "DeepCake" вот этим вот всем ручным трудом не занимается.

Буквально это говорит СЕО компании Мария Чмир.

Вырезка из интервью каналу "VFXLAB":

Соведущий канала:

- Хотел уточнить, а на этапе постпродакшена все равно же, наверно, с помощью композа немножко шлифуется изображение?

Ответ Марии:

- Мы вообще ничего не понимаем в CG... Поэтому, все что касается постпродакшена, мы не занимались этим ни в каком виде, у нас даже нету такого специалиста в команде...

Получается, "DeepCake" тоже, вроде как, невиноваты в конечном результате: они работу до конца не доводят, они этого не знают/не умеют/не хотят. Oни просто прогоняют видео через нейронную сеть, а уже все остальное - это сторонний продакшен.

Не знаю как у вас, но у меня на этом моменте всплывает Уилл Фаррелл, из фильма "Сводные братья", истошно вопрошающий "А КАКОГО ЧЕРТА?"

Итак, А КАКОГО ЧЕРТА:

- вы не предоставляете полный цикл производства в такой узконаправленной нише?

- так дорого?

Так дорого - это "10-15 тысяч долларов за вживление тебя в "Матрицу,,"...

10-15к... за лицо... одно... незаконченное, просто прогнанное через нейросеть лицо...

Предъявлять претензии к продакшену, который взялся доводить до ума, то что нахимичила ЛАБОРАТОРИЯ глубоких пирожков я не могу, у меня клавиатура не нажмется.

Это очень специфическая задача, в принципе, а тебе, продакшену, еще и пристоит копаться в чужом материале, который просто-напросто просчитан нейросетью, в котором нет вручную размеченных кадров. Нате, занимайтесь.

А, СОБСТВЕННО, КОНЕЧНЫЙ РЕЗУЛЬТАТ ПЛОХ?

Увы и ах.

Здесь я не буду лить воду. По фактам.

1) В первом же кадре слетает маска.

2) Что-то случилось с лицом. Хотя, может Жорж решил закостплеить Джокера, но не хватило пудры....

На большинстве кадров, чтобы скрыть стык лица реального актера и маски, просто заблюрили края. Иными словами, команда, что делал постпродакшен просто не знала как работать с данным материалом.

Вывод: все грустно.

У "DeepCake" была возможность заявить, как о себе, так и самой технологии.

Показать маркетологам, продюсерам, режиссерам, всем, кто причастен к созданию визуального контента:

Смотрите, как можно!

Смотрите, вы можете возвращать актеров, создавать настоящие кроссоверы мечты!

Смотрите, вы можете генерировать интерактивный контент вообще без участия живых людей!

Но "DeepCake" показали иное...

Вот представьте, вы криэйтор.

Невзначай на Ютубчике наткнулись на видео, в котором Сильвестр Сталлоне, ну прям как живой, играет Терминатора.

Вам так понравилось, что вы залипли и уже знаете, что Джим Керри играл и в "Сияние", и в "Джокере", и в "Леоне".

И потом, когда смотреть уже просто ничего не осталось, Вам пришла креативная (вы же криэйтор, правильно) мысль:

- Взять эту фитчу себе в арсенал (для мероприятий, рекламы, приложений, нужное подчеркнуть)!

Ну и естественно, Вы лезете в ру сегмент и видите, что топом топов (по просмотрам и общему уровню хайпа) является реклама Сбера...

Дисонанс.

А за ним вывод "Эээх, не научились у нас еще эти ваши дипфейки делать, раз одна из главных айти-компаний страны делает хуже, чем ютуберы.."

Но вывод ошибочный. А ты поди докажи...