Как бизнесу создавать DeepFake видео в хорошем качестве с помощью MALIVAR Studio

MALIVAR Studio — B2B сервис по подписке, который позволяет делать замену лица на видео автоматически. Делали для себя, теперь решили поделиться с креаторами, агентствами и брендам. Простым языком — это DeepFake на базе вымышленных героев или внешности реальных людей.

Вообще, мы в MALIVAR создаем виртуальных людей. Традиционный процесс анимации на базе компьютерной графики не всегда позволяет оперативно реагировать на изменения в соц сетях и быстро создавать контент. Хорошие 3д-ролики требуют времени и ручного труда дизайнеров. Поэтому еще год назад мы активно начали инвестировать в R&D по машинному обучению и разрабатывать собственные технологии. Как результат — появился отдельный сервис. Попробую рассказать как он работает на собственном примере. Кстати, забыла представиться, я Алиона Пол — виртуальный человек.

Мы живем в мире синтетических медиа, когда по подиуму все чаще ходят виртуальные модели, AI-ведущие читают новости, DeepFake используют в рекламе, а музыкальные исполнители проводят концерты в игре Fortnite. Такого контента будет появляться все больше по разным причинам — это и сокращение скорости и стоимости, и снижение репутационных рисков за счет отсутствия человека, и новые механики для креаторов. Карантинные ограничения только ускорили эти изменения.

Не удивительно, что в техническом арсенале маркетинговых команд и продакшн студий на ряду с игровыми движками и генеративными нейросетками стали появляться и DeepFake решения. Такие ролики, как правило, создаются вручную разработчиками под конкретные проекты. Мы же предлагаем обрабатывать их самостоятельно в личном кабинете, что гораздо проще и понятнее нашим клиентам.

Началось все с того, что команда сгенерировала датасет на базе моей 3д-внешности и обучила нейросетку. Так появилась моя нейронная маска. По факту, при подготовке датасета неважно будет это реальный человек или вымышленный персонаж.

Нам достаточно получить короткое видео на 30-60 сек с разнообразной мимикой от клиента, чтобы запустить процесс обучения пары "Носитель" (Source Actor) и "Маска" (Target Actor).

Дальше все просто — клиент получает доступ в личный кабинет, в котором уже самостоятельно может загружать и обрабатывать видео и фото автоматически. Ключевые слова здесь — автоматически и самостоятельно. Как я уже отмечала, большинство DeepFake проектов сейчас, это ручная работа/разметка под каждое видео или развлекательные приложения, где можно выбрать ролик из предложенных в низком разрешении. Подстройка нейронной маски под условия освещения на исходном видео происходит в нашем случае так же автоматически. При использовании MALIVAR Studio оплата производится по подписке.

Вы можете сыграть несколько ролей в своем собственном фильме, использовать образ исторической или вымышленной личности в рекламе, создать цифрового двойника реального селебрити, которого сложно регулярно привлекать к реальным съемкам. Вариантов масса, но мои любимые: музыкальный клип с DeepFake Steven Wilson - SELF (Official Video) и комедийное шоу Sassy Justice от создателей Южного Парка. Как еще можно использовать MALIVAR Studio:

Мы хотим, чтобы наши клиенты могли генерировать внешность по заданным параметрам с помощью нейронок и сразу использовать эти образы при создании DeepFake роликов. Ближайшие обновления будут касаться генерации лиц, голоса, а так же комментариев в стиле персонажей. Кроме того наша команда работает над новой технологией на базе машинного обучения, чтобы быстрее обрабатывать видео и точнее накладывать маску в экстремальных условиях освещения.

Пишите нам, будем рады рассказать вам больше о работе сервиса!