{"id":10861,"title":"\u0417\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u0435 \u043f\u0438\u043b\u043e\u0442 \u0432 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0435 PwC Venture Hub","url":"\/redirect?component=advertising&id=10861&url=https:\/\/vc.ru\/promo\/349044-korotko-zapustit-pilot-i-poluchit-novyh-klientov-s-pwc&placeBit=1&hash=4330fcc6373e035951e6ff64a3ae572ba5f30463fe8776204270bbc0bd091c81","isPaidAndBannersEnabled":false}
Machine learning
Maria Chmir

Что нужно знать продакшну, задумывая проект с дипфейком

Мы — лаборатория Deepcake, команда инженеров, которая с помощью нейронных сетей преображает визуальный контент. В 2020 году мы приняли участие в нескольких громких проектах с генерацией лица на видео, и наш продюсер Леонид Иванов вместе с инженером Александром Кувшиновым поделились своим опытом (временами горьким) в этой статье.

Ниже несколько уроков, которые помогут продюсерам и режиссерам принять решение о применимости технологий face-swapping’а для их кино- или рекламных проектов.

В прошлом году дипфейки стали выходить из серой зоны порнопранков и ютуб-юмора, способствую решению насущных задач: как создавать видео с теми, кого нельзя привезти на съемки (салют, локдаун), менять возраст персонажа за несколько часов на десятки лет (расскажите об этом создателям Mandalorian) или оживлять героев из прошлого (Disney грозиться оживить вообще всех).

Работа CG-команды Джоржда Лукаса и нейронка с открытым кодом в умелых руках: у кого получилось лучше? Shamook

Брифинг команды

Мы начинаем работу с честного инструктажа по поводу ограничений технологии. В первую очередь, объясняем команде специфику нашей работы с данными и предупреждаем о том, что никакой магии не произойдет: нейронные сети не занимаются вырезанием и вклеиванием нужного лица на видео; генерация — процесс специфичный и тонкий.

По сути нейронные сети имитируют лицо, а не создают цифрового близнеца. Они изучают внешний вид «донора» (того, чей образ хотим воссоздать) и «дублера» (того, кого используем в качестве физической основы для генерации), а также условия среды — позу головы, мимику и эмоции, цвет лица, свет и тени и т.д.

После изучения информации о том, как выглядят оба героя, алгоритм старается воспроизвести внешность «актера», сохраняя мимику и другие характеристики видео с «дублером», с некоторыми следами (мы называем их «артефактами») образа самого «дублера». И основа качественной генерации — внимательно собранные данные (датасеты) с «донором» и «дублером».

На 2:18 ведущий рассказывает, как Deepcake генерировал голову Джона Траволты вместо его собственной

Датасет всему голова

Достаточный датасет — 4-6 тысяч лиц. Важными свойствами данных в наших кейсах является их качество (разрешение), разнообразие поз и эмоций, а также однородность с точки зрения цвета и света. Лучший способ собрать данные — это провести съемку с «донором» и «дублером», организовав нужные условия по свету, зафиксировав необходимые ракурсы в нужном разрешении.

Часто мы имеем дело со вторичными данными — кадрами кинохроники (мы работали с советской картиной 1974 года — это было непросто), которые могут грешить зернистостью, бедностью (недостатком эмоций/ракурсов) и иметь сложную колористику.

Работа с такими данными требует особого внимание: мы применяем как инструменты нейросетевого улучшения (AI video enhancing), так и кропотливый ручной труд по выбору самых удачных кадров. Детекция лиц на видео происходит машинным способом.

Кастинг и подготовка к съемкам

Чтобы сгенерированное лицо выглядело достоверно, лучше выбрать дублера с похожим строением черепа. Если пропорции головы будут отличаться, то нейронные сети постараются искусственно вписывать лицо в слишком широкую или узкую рамку. Мы обращаем внимание на скулы, надбровные дуги, подбородок и высоту лба. Для отличного результата мы консультируем кастинг-менеджеров на этапе подбора дублеров.

При генерации лица мы не переносим волосы и прическу. Поэтому для большего сходства необходимо воссоздать прическу и расположение челки в соответствии с задумкой режиссера. Волосы становятся частой проблемой в итоговых материалах, потому что им уделили мало внимания на съемках.

Генерация головы требует также внимательной работы с декорациями: мы просим использовать нейтральный фон или хромакей для сглаживания перехода между сгенерированной шевелюрой и бэком.

Съемки: контролируем ракурсы и динамику

На съемках нам важно контролировать повороты головы дублера. Если он отвернется слишком сильно, нейронные сети не смогут задетектировать лицо, и кадр будет забракован. Когда мы обсуждали эту проблему на первых проектах, заказчики транслировали свою обеспокоенность: это урезает сюжет и возможности, и накладывает ограничения на поведение актера в кадре.

Наше присутствие на съемочной площадке дает возможность избегать сложностей при дальнейшей генерации лица. Мы влияем на все этапы: свет, повороты головы, мимику. В духе 2020 года на нескольких проектах мы удаленно подключались к плэйбэку и присутствовали на съемках, в режиме реального времени, комментируя процесс для съемочной группы.

Лицо Жоржа Милославского сгенерировано нейросетями, разработанными в лаборатории Deepcake (не входит в группу Сбера, если что)

Еще несколько важных параметров

Ключевое ограничение в работе рекламного продакшна — сложность генерации лица на крупных планах. Если лицо занимает больше ⅙ кадра, то потребуется больше времени для детализации (морщины, направление взгляда, мимика). Но при этом, если лицо слишком маленькое, то алгоритм сложнее распознает его контур. Для ускорения производства мы рекомендуем работать преимущественно со средними планами.

В зависимости от бюджета и возможностей клиента мы используем оборудование, которое больше подходит под проект. Оно влияет на скорость генерации и итоговое качество. Видео в высоком разрешении мы обучаем за 7 дней (до 1 минуты контента). В наших проектах в конце 2020 года, используя несколько самых мощных графических процессоров, мы параллельно обучали 20 сцен, разбитых по однородным цветовым группам для повышения однородности результата и во избежание эффекта лица-маски.

Сейчас наша рисерч-команда разрабатывает новый генератор, который позволит драматически ускорить процесс гиперреалистичного переноса до нескольких минут. Наши нейросети написаны на базе популярного фреймоворка PyTorch, что обеспечивает их адаптивность.

Наши ограничения относительно крупности плана лица дублера

При работе с нейронными сетями мы уделяем большое внимание последующей цветокоррекции. Алгоритмы умеют самостоятельно «подкрашивать» обучаемые материалы, для того чтобы сгенерированное лицо могло выглядеть однородно. Но при ручной цветокоррекции (агрессивная контрастность, перетянутая экспозиция) поверх имитированного лица на кадрах начинают появляться артефакты.

Иногда это просто чуть приподнятая бровь, которая незаметна взгляду. А порой можно увидеть, что две половины лица не сходятся между собой. В течение долгих экспериментов мы проверили несколько гипотез, которые помогают решить проблему. Теперь интегрируем эти решения на этапе съемок.

Дипфейки как инновация уже создали несколько ярких прецедентов на коммерческом рынке, и пришло время перейти их использовать регулярно и по назначению. Эти кейсы показывают профессионалам возможность организации дистанционных съемок и дают шанс управлять временем. Для селебрити открываются новые горизонты монетизации — цифровое присутствие в нескольких проектах одновременно без необходимости физического участия.

При этом сметы на дипфейк-проекты уже не кусаются, а скорость реализации в разы превосходит аналогичные решения от CG, не уступая (и даже превосходя) их в реализме. В итоге все сложности, которые пока возникают на этапах производства дипфейков, отбиваются возможностями использования, полем для творчества и рациональным расходом ресурса.

0
29 комментариев
Популярные
По порядку
Написать комментарий...
No Name

Все комменты от однодневок. Статья норм, но вот это все отталкивает. Отзывы клиентов тоже накручивает? 

Ответить
4
Развернуть ветку
Леонид Иванов

Радует, что статья понравилась. 
Просто мы долго не рассказывали про компанию. А тут написали про неё в своих личных аккаунтах, и полился трафик и от друзей, и от знакомых. А после и не от знакомых.
Если вопрос про клиентов серьезный, то нет не накручиваем.

Ответить
3
Развернуть ветку
Мария Иванова

Спасибо, что так круто все рассказали! Это очень интересная сфера, за которой стоит будущее!

Ответить
3
Развернуть ветку
Maria Chmir

Мария, благодарим за добрые слова. Если будут вопросы по теме — обращайтесь.

Ответить
2
Развернуть ветку
Александра Федорова

А сколько вообще это может стоить?

Ответить
2
Развернуть ветку
Полный блик

Всегда удивлял факт, что громкие проекты почему-то не оплачивают Тильду на год, чтобы не иметь в футере "PLATFORM LABEL". 

Если на год купить - это же дешевле.

UPD. Хотя может быть и купили, но забыли в настройках убрать... 

UUPD. Хотя покупка на год - это один из ключевых моментов, и покупают его чтобы именно убрать "PLATFORM LABEL".
 

Ответить
2
Развернуть ветку
Maria Chmir

А мы себя и не называли громким проектом: мы маленькая, недавно запустившая бизнес команда, которая очень много работает и не успевает привести в порядок сайт. 

Ответить
–1
Развернуть ветку
Полный блик

Тогда я просто напутал...

Ответить
0
Развернуть ветку
Юлия Бондарь

О сложном простым языком 🤗

Ответить
1
Развернуть ветку
Maria Chmir

Спасибо, мы старались! Стартапам бывает сложно по-человечески рассказать, какой заумной хренью они там занимаются)) 

Ответить
1
Развернуть ветку
Сергей Ведмедев

Без ботов в комментах было бы лучше.

Ответить
1
Развернуть ветку
Леонид Иванов

В целом ситуации получилась смешнее) Просто мы впервые рассказали о своей команде в собственных аккаунтах на фб и в инсте) Весь трафик от туда.

Ответить
1
Развернуть ветку
Артур Цыкунов

Очень круто, когда можно почитать как делаются сложные вещи! расшатывайте рынок дальше, Маша и Ко- вы огонь!

Ответить
1
Развернуть ветку
Елена Сидорова
Ответить
1
Развернуть ветку
Екатерина Сметанина

Ребята, вы большие молодцы!!! Как круто, что в Че появляются такие масштабные проекты!!!!

Ответить
1
Развернуть ветку
Пётр Глухов

Ребята, у Вас огонь проект! Дай вселенная Вам качественных инвесторов и побольше готовых к экспериментами Заказчиков! 

Ответить
1
Развернуть ветку
Di Kasimova

Класс 

Ответить
0
Развернуть ветку
Екатерина Новицкая

Леонид Иванов – училась у него говорить (и писать) просто о сложном, когда это ещё не было мейнстримом😜 круто! 

Ответить
0
Развернуть ветку
Natalia Nakonechnaya

Как поставить лайк?))) лайк👍🏼

Ответить
0
Развернуть ветку
Лена Беридзе

Вау, это очень здорово!
Не первый раз слышу о таком, но впервые стало понятно и уже не кажется чём-то далеким и страшным. Спасибо за интересное и легкое объяснение на самом деле очень сложных, но вместе с тем не менее интересных вещей !

Ответить
0
Развернуть ветку
Алена Морщак

Очень круто! 

Ответить
0
Развернуть ветку
Ju.bogatenkova

Крутая тема, гигантская работа. Мое уважение 🎩 

Ответить
0
Развернуть ветку
Анна Трускова

Никогда бы не задумалась над такими возможностями, спасибо за интересный материал!👍

Ответить
0
Развернуть ветку
Alexander Tyaktev

Ну разве не круто, что ребята из какого-то Челябинска могут делать такие вещи!!!

Ответить
0
Развернуть ветку
Полный блик

Исповедуете принцип "за МКАДом жизни нет"? Челябинск - прекрасный город и живут в нем и работают такие же умные люди, как и везде.

Ответить
0
Развернуть ветку
Владимир Бокатов

Я чего-то не понимаю. У сбербанка огромные вычислительные мощности, орды дата саетистов, а они наняли сторонних разработчиков? 

Ответить
0
Развернуть ветку
Maria Chmir

Всё так. Часто крупные бизнесы не специализируются на узких областях знаний: так и появляются стартапы, собственно, которые благодаря гибкости и нешаблонности создают инновации. 

Ответить
1
Развернуть ветку
Алексей Левин

Спасибо ребята, что создаёте такие крутые проекты, и вдвойне приятно, что при этом находитесь на Урале. Очень горжусь, что в Челябинске есть такие специалисты. Респект! Развития и капитализации. 

Ответить
0
Развернуть ветку
Дарья Озерова

Посмотрела выпуск редакции про рекламу, и оттуда про вас узнала. Это невероятно крутая сфера, успехов вам, ребята)

Ответить
0
Развернуть ветку
Читать все 29 комментариев
Пять путешествий до Луны — столько километров ленты в TikTok могли просмотреть пользователи Yota за 2021 год
Фундамент для создания дизайн-концепции интерфейса: большая идея, мудборд и референсы

Старший дизайнер red_mad_robot Мила Михайлова исследует роль визуальной концепции в проектировании цифровых продуктов и подробно показывает процесс — от глобальной идеи до конкретных примеров. В статье есть список ресурсов и инструментов, примеры, советы и рекомендации — применяйте их в работе, чтобы создать цепляющую дизайн-концепцию интерфейса.

Interactive Brokers объяснил комиссию в $150-1400: её платят клиенты, чья проверка стоит больше остатка на их счетах Статьи редакции

Брокер добавил комиссию за проведение проверки в начале 2022 года.

Как правильно воплощать комплексную стратегию продвижения: пошаговый план
«Инновации — это поле для сражений»

Как фуд-ритейл внедряет новые технологии.

Тинькофф инвестиции в минус за одну ночь

Если вас мучал вопрос как уйти в минусне используямаржинальную торговлю , то вот ответ. Нужно просто пользоваться Тинькофф инвестициями.

Альфа банк даже меня удивил

Звонок на телефон с предложением оформить кредитную карту Альфа банка, которая кобрендинг с билайн. У подруги, как недавно выяснилось, чистая кредитная история, ну не было ни кредитной карты, не кредита. Решили оформить карту, мол, надо историю создавать.
Пропускаю звонки и так далее.
Получать можно в офисе билайн. Ок. Получаем. Подписываем…

12 млн проданных консолей и более сотни миллионов картриджей за первые шесть лет: почему была популярна Atari 2600 Статьи редакции

До её создания в 1977 году приставки выпускали только с одной предустановленной видеоигрой. Atari же придумала устройство, которое поддерживало cразу несколько игр. О производстве, первых играх компании и её конкурентах — в пересказе IEEE Spectrum.

Консоль Atari 2600
Сказ о том, как брокер Тиньков акции в счет налогов без согласия клиента продавал

Итак, начну свою историю с того, что с данным брокером я уже на протяжении 3-х лет, и в принципе, не считая пары незначительных косяков, нареканий у меня к нему не было, до начала 2022 года...

«Холакратия, любимые мемчики и прозрачность»: программист о работе в Точке, моделинге и запуске треков на Spotify

Точка — это про людей. Про сотрудников, которые создают удобный банк для бизнеса. Мы запускаем серию интервью с нашей командой, чтобы рассказать, как у нас всё устроено.

На метле и в ступе: как менялся образ Бабы-яги в российском кино

Третья часть «Последнего богатыря» — «Посланник тьмы» — собрала в прокате почти 2 млрд рублей. Секрет успеха картины не в последнюю очередь связан с персонажами, чьи трактовки сильно отличаются от традиционных. Такой Бабы-яги зрители точно еще не видели.

null