DeepFake — от стыдного термина до нового медиа, которое убил «Сбер»

Привет, реальный мир.

Меня зовут Володя, мне 25 лет, я делаю DeepFake.

Нет-нет, не надо хлопать, вдруг кто услышит.

Примерно так я относился к этой деятельности, даже когда она стала приносить очень неплохие деньги.

- Лол, у нас есть крутая технология, которая может хорошо прижиться в медиа, но мы будем делать порно, — решил интернет.

- Нет, мам… Мам, я не делаю порно, я делаю рекламу, интерактивные проекты, видео для мероприятий" — оправдывается Володя.

Вот так и сложилось: когда приходишь к заказчику с неверо-яяя-тно, как ты думаешь, креативной идеей и рассказываешь, как можно круто продать его рекламу с помощью технологии DF, ловишь два фидбэка:

1) «Я видел порно, которое так начиналось»

2) «Я видел рекламу Сбера»

КАК СБЕР СОЗДАЛ И УБИЛ ХАЙП НА DF В МАРКЕТИНГЕ.

Зима 2020, выходит рекламный ролик «Сбера» с актером Журавлевым... это вы, короче, знаете и вряд ли забыли, ибо развидеть такое невозможно, но если что — прогуглите.

И нет, не то что бы прям Сбер убил, они-то как раз сделали все правильно:

- Крутой продакшен

- Противоречивый контекст (из-за которого, правда, комментарии на Ютубе пришлось дропнуть)

- Ностальгия + технологии

За перенос в 21 век героя фильма «Иван Васильевич меняет профессию» отвечала команда «DeepCake».

Извините, не команда. Лаборатория.

И вот с этих ребят все пошло не так…

DEEPCAKE — ЧТО ЗА ПИРОЖКИ И С ЧЕМ ИХ ЕДЯТ?

А непонятно. Информации об этом глубоком пироге чуть больше чем ноль:

- Первый пост в ФБ — за 7 ноябрь 2020.

- Первый (и единственный, что я смог найти) проект — та самая реклама Сбера, которая вышла 1 декабря 2020.

Если верить сайту «DeepCake», на создание образа Жоржа Милославского у ребят ушло 24 дня.

То есть, контракт от Сбера, от государственной компании, получил стартап вообще без какого-либо бэкраунда.

Ладно-ладно, зачехляю свои дроны. В итоге-то, что получилось?

Чтобы ответить на этот вопрос, давайте разберемся, как вообще делается DeepFake.

DEEPFAKE. ОТ МЫЛА ДО КАЧЕСТВА.

Создание DeepFake делится на два основных этапа:

1.0. Создание модели.

1.1.Для этого через нейросеть прогоняется массив данных:

- Фейссет — лицо, которое вставляем.

- Датасет — лицо, которое заменяем.

Наглядный пример из свежего кейса:

Превратить ноунэйм-актрису, на секундочку, в Марго Робби!

Вот так, на начальных этапах, нейросеть ищет одинаковые кадры: общие ракурсы и мимику наших актрис.

DreamFace

После долгих поисков, а точнее тренировки, в которую входят более полумиллиона итераций, нейросеть генерирует нечто подобное.

Правда красавица?

DreamFaceProd

Технически — все — дипфейк готов.

Фактически - начинается самое сложное, а именно, второй этап...

2. ПОСТОБРАБОТКА - ВСЕМУ ГОЛОВА... И ЛИЦО.

В мире идеального DeepFake, сгенерированная нейросетью модель должна отправляться в редактор (чаще всего Adobe After Effects) и там проходить через все круги композитинга:

- Цветокоррекция

- Выставление света

- Сглаживание маски

- Ручная разметка кадров, которые не считала нейросеть.

Короче, доведение до ума. До качественного, реалистичного ума.

Вот как оно, доведение, выглядит на одном из наших видео:

создали молодую копию Сергея Бурунова в фильме "Пара из Будущего".

Так что там с Марго?

С ней мы проделали тот же цикл, но... не получилось.

Стоит сказать, что DeepFake не превратит кого угодно в кого угодно... странно сформулировал, да...

Важно, чтобы у моделей совпадала геометрия лица.

Например, Бенедикта - когда уже пройдет мода на коверкание его фамилии - Камбербетча не получится качественно превратить в круглоголового Дуэна Джонсона. Так же как вы не наденете на большой палец обручальной кольцо. Ну не подходит.

ВАЖНО! ЭТА ПРОБЛЕМА АКТУАЛЬНА, ЕСЛИ РЕЧЬ ИДЕТ О ПЕРЕСАДКЕ ИМЕННО ЛИЦА, А НЕ ВСЕЙ ГОЛОВЫ! Но об этом в другой раз.

Тот же казус случился с нашей актрисой и Робби.

Но мы не отчаялись и стали искать замену. И нашли. Эмилию, мать ее драконов, Кларк.

В общем, только ручными манипуляциями получается достойный, качественный DeepFake, а главное применимый в медиа: в кино, рекламе, клипах, интерактивных проектах и так далее.

Это все вообще к чему?

К тому, что "DeepCake" вот этим вот всем ручным трудом не занимается.

Буквально это говорит СЕО компании Мария Чмир.

Вырезка из интервью каналу "VFXLAB":

таймкод 19:57

Соведущий канала:

- Хотел уточнить, а на этапе постпродакшена все равно же, наверно, с помощью композа немножко шлифуется изображение?

Ответ Марии:

- Мы вообще ничего не понимаем в CG... Поэтому, все что касается постпродакшена, мы не занимались этим ни в каком виде, у нас даже нету такого специалиста в команде...

Получается, "DeepCake" тоже, вроде как, невиноваты в конечном результате: они работу до конца не доводят, они этого не знают/не умеют/не хотят. Oни просто прогоняют видео через нейронную сеть, а уже все остальное - это сторонний продакшен.

Не знаю как у вас, но у меня на этом моменте всплывает Уилл Фаррелл, из фильма "Сводные братья", истошно вопрошающий "А КАКОГО ЧЕРТА?"

Итак, А КАКОГО ЧЕРТА:

- вы не предоставляете полный цикл производства в такой узконаправленной нише?

- так дорого?

Так дорого - это "10-15 тысяч долларов за вживление тебя в "Матрицу,,"...

Вырезка из интервью каналу "ПослеЗавтра"

10-15к... за лицо... одно... незаконченное, просто прогнанное через нейросеть лицо...

Предъявлять претензии к продакшену, который взялся доводить до ума, то что нахимичила ЛАБОРАТОРИЯ глубоких пирожков я не могу, у меня клавиатура не нажмется.

ОТЧЕГО ЖЕ ОТЧЕГО ЖЕ ОТЧЕГО ЖЕ?

Это очень специфическая задача, в принципе, а тебе, продакшену, еще и пристоит копаться в чужом материале, который просто-напросто просчитан нейросетью, в котором нет вручную размеченных кадров. Нате, занимайтесь.

А, СОБСТВЕННО, КОНЕЧНЫЙ РЕЗУЛЬТАТ ПЛОХ?

Увы и ах.

Здесь я не буду лить воду. По фактам.

1) В первом же кадре слетает маска.

Попытались скрыть глитчем... не вышло.

2) Что-то случилось с лицом. Хотя, может Жорж решил закостплеить Джокера, но не хватило пудры....

На большинстве кадров, чтобы скрыть стык лица реального актера и маски, просто заблюрили края. Иными словами, команда, что делал постпродакшен просто не знала как работать с данным материалом.

Вывод: все грустно.

У "DeepCake" была возможность заявить, как о себе, так и самой технологии.

Показать маркетологам, продюсерам, режиссерам, всем, кто причастен к созданию визуального контента:

Смотрите, как можно!

Смотрите, вы можете возвращать актеров, создавать настоящие кроссоверы мечты!

Смотрите, вы можете генерировать интерактивный контент вообще без участия живых людей!

Но "DeepCake" показали иное...

Вот представьте, вы криэйтор.

Невзначай на Ютубчике наткнулись на видео, в котором Сильвестр Сталлоне, ну прям как живой, играет Терминатора.

Вам так понравилось, что вы залипли и уже знаете, что Джим Керри играл и в "Сияние", и в "Джокере", и в "Леоне".

И потом, когда смотреть уже просто ничего не осталось, Вам пришла креативная (вы же криэйтор, правильно) мысль:

- Взять эту фитчу себе в арсенал (для мероприятий, рекламы, приложений, нужное подчеркнуть)!

Ну и естественно, Вы лезете в ру сегмент и видите, что топом топов (по просмотрам и общему уровню хайпа) является реклама Сбера...

Дисонанс.

А за ним вывод "Эээх, не научились у нас еще эти ваши дипфейки делать, раз одна из главных айти-компаний страны делает хуже, чем ютуберы.."

Но вывод ошибочный. А ты поди докажи...

0
21 комментарий
Написать комментарий...
Shlomo Goldenberg

Актер Журавлев.. Хотя вот и ответ "Меня зовут Володя, мне 25 лет" 

Ответить
Развернуть ветку
Владимир Дрим
Автор

Да, пожалуй, это самая фундаментальная ошибка. Текст посыпался, нет смысла читать. Спасибо,  что указали!

Ответить
Развернуть ветку
Илья Щербаков

Это не элементарная ошибка, а элементарный фактчекинг мелочей. От которых впечатление о тексте (или, даже, об авторе) может поменяться. 

Ответить
Развернуть ветку
Виктор

Актера зовут Леонид Куравлев. Поправили бы.

Ответить
Развернуть ветку
Сергей Гилюк

Классно пишешь, зашло и спасибо, что вдумчиво. Пойду теперь на кухне расскажу, какой сбер плохой!!! 🤣🤣🤣

Ответить
Развернуть ветку
Oleg Yavelov

Как же тяжело воспринимаются эти "продакшен" и прочее, неужели вам красное подчеркивание не даёт подсказку? 

Ответить
Развернуть ветку
Monkey

Интересно

Ответить
Развернуть ветку
Andry Kozhanoff

У Дрейкфейса появился конкурент)))

Ответить
Развернуть ветку
Валерий Гылка

Нормальненько так вы им втащили.

Ответить
Развернуть ветку
Андреева Вероника

особые косяки могут только придирчивые эксперты увидеть и то, если посекундно просматривать ролик. в обычной жизни так никто не делает) если так по кадрам любой фильмы раскладывать, то там тоже много чего «неидеального» найти можно.

Ответить
Развернуть ветку
Николай Лискин

Такие ребята и в фильмах ошибок кучу находят. Люди - которые видят только говно, их цель опозорить что-то, они питаются этими ошибками, одним словом - говноеды

Ответить
Развернуть ветку
Владимир Дрим
Автор

Я не знаю о каких ребятах Вы говорите, я говорю лишь о том, что подход ЭТИХ ребят убил потенциал технологии, которая прижилась, например, в Азии и переросла в целую отрасль

Ответить
Развернуть ветку
Николай Лискин

Именно о вас - которые пиарятся на ошибках других.
Мне вот к примеру ваша технология вообще не упёрлась, думаете мало людей думают также?
Нафига воскрешать эти трупы? Вперёд к новым открытиям.
В Азии вашу технологию хорошо используют мошенники чтоб банковские счета обчищать

Ответить
Развернуть ветку
Владимир Дрим
Автор

Эти косяки увидит потенциальный заказчик, который может быть заинтересованным в использовании ДФ. И очень сомнительно, что он захочет тратить полумиллионный бюджет на качество, которое проигрывает любителям.
Эта работа - показатель, речь лишь об этом, показатель, который дискредитирует нашу деятельность

Ответить
Развернуть ветку
Николай Лискин

Вы далеки от рекламы, сейчас уже никому не нужна одна многомиллионная реклама, это не кино, делают много дешевой так как от нее эффекта больше. А на эти косяки никто не смотрит, суть то иная

Ответить
Развернуть ветку
Владимир Дрим
Автор

Нужна/не нужна, но как раз-таки это пример миллионной рекламы, которая не должна быть таковой, именно дипфейк помогает сильно экономить на актерах, я же о том и пишу. Читайте вкрадчиво , пожалуйста

Ответить
Развернуть ветку
Николай Лискин

Сказочный...

Ответить
Развернуть ветку
Владимир Дрим
Автор

У Вас,Николай, хорошее хобби, каждую неделю, смотрю в комментариях выступаете. Счастливый Вы, свободный от полезного занятия человек, завидую))

Ответить
Развернуть ветку
Николай Лискин

Кому-то втюхивать ненужную технологию, а кому-то наслаждаться жизнью, каждому свое

Ответить
Развернуть ветку
Yoshikazu Hirata

"А зачем стараться, если прямо щас можно залутать бабла?" - классический сценарий почти каждого бизнеса в РФ.

Ответить
Развернуть ветку
Чудак человек
Ответить
Развернуть ветку
18 комментариев
Раскрывать всегда