Как бизнесу создавать DeepFake видео в хорошем качестве с помощью MALIVAR Studio
MALIVAR Studio — B2B сервис по подписке, который позволяет делать замену лица на видео автоматически. Делали для себя, теперь решили поделиться с креаторами, агентствами и брендам. Простым языком — это DeepFake на базе вымышленных героев или внешности реальных людей.
Вообще, мы в MALIVAR создаем виртуальных людей. Традиционный процесс анимации на базе компьютерной графики не всегда позволяет оперативно реагировать на изменения в соц сетях и быстро создавать контент. Хорошие 3д-ролики требуют времени и ручного труда дизайнеров. Поэтому еще год назад мы активно начали инвестировать в R&D по машинному обучению и разрабатывать собственные технологии. Как результат — появился отдельный сервис. Попробую рассказать как он работает на собственном примере. Кстати, забыла представиться, я Алиона Пол — виртуальный человек.
Тренды на рынке
Мы живем в мире синтетических медиа, когда по подиуму все чаще ходят виртуальные модели, AI-ведущие читают новости, DeepFake используют в рекламе, а музыкальные исполнители проводят концерты в игре Fortnite. Такого контента будет появляться все больше по разным причинам — это и сокращение скорости и стоимости, и снижение репутационных рисков за счет отсутствия человека, и новые механики для креаторов. Карантинные ограничения только ускорили эти изменения.
Не удивительно, что в техническом арсенале маркетинговых команд и продакшн студий на ряду с игровыми движками и генеративными нейросетками стали появляться и DeepFake решения. Такие ролики, как правило, создаются вручную разработчиками под конкретные проекты. Мы же предлагаем обрабатывать их самостоятельно в личном кабинете, что гораздо проще и понятнее нашим клиентам.
Как это работает
Началось все с того, что команда сгенерировала датасет на базе моей 3д-внешности и обучила нейросетку. Так появилась моя нейронная маска. По факту, при подготовке датасета неважно будет это реальный человек или вымышленный персонаж.
Нам достаточно получить короткое видео на 30-60 сек с разнообразной мимикой от клиента, чтобы запустить процесс обучения пары "Носитель" (Source Actor) и "Маска" (Target Actor).
Дальше все просто — клиент получает доступ в личный кабинет, в котором уже самостоятельно может загружать и обрабатывать видео и фото автоматически. Ключевые слова здесь — автоматически и самостоятельно. Как я уже отмечала, большинство DeepFake проектов сейчас, это ручная работа/разметка под каждое видео или развлекательные приложения, где можно выбрать ролик из предложенных в низком разрешении. Подстройка нейронной маски под условия освещения на исходном видео происходит в нашем случае так же автоматически. При использовании MALIVAR Studio оплата производится по подписке.
Варианты использования
Вы можете сыграть несколько ролей в своем собственном фильме, использовать образ исторической или вымышленной личности в рекламе, создать цифрового двойника реального селебрити, которого сложно регулярно привлекать к реальным съемкам. Вариантов масса, но мои любимые: музыкальный клип с DeepFake Steven Wilson - SELF (Official Video) и комедийное шоу Sassy Justice от создателей Южного Парка. Как еще можно использовать MALIVAR Studio:
- Использование образов исторических личностей
- Персонализация в рекламных коммуникациях
- Использование образов вымышленных персонажей
- Снижение стоимости создания контента со спец эффектами
- Комедийный контент и создание пародий
- Цифровые двойники артистов и селебрити
- Анонимность
Ближайшие обновления
Мы хотим, чтобы наши клиенты могли генерировать внешность по заданным параметрам с помощью нейронок и сразу использовать эти образы при создании DeepFake роликов. Ближайшие обновления будут касаться генерации лиц, голоса, а так же комментариев в стиле персонажей. Кроме того наша команда работает над новой технологией на базе машинного обучения, чтобы быстрее обрабатывать видео и точнее накладывать маску в экстремальных условиях освещения.
Пишите нам, будем рады рассказать вам больше о работе сервиса!
Комментарий недоступен
Для бизнеса 5200₽/минута норм, если реально загрузил, выгрузил, без всей этой истории с ручной разметкой, дорогим железом и тп
Комментарий недоступен
Только адекватных фрилансеров сначала нужно найти, а потом надеяться на то, что у его жены не оторвет палец в самый неподходящий момент, когда нужно сдавать проект 😂
Отучайтесь видеть в фрилансерах скорую помощь или пожарных, либо работающих за чашечку кофе. Сколько обращался - если без спешки и хорошо спланировано/описано - всё более менее норм.
Самое забавное, что видел - это когда один чувак на форуме хвастался, что сделал баннер за 300-500 рублей. А в баннере говорится, купите что-то там, ведь это стоит всего одну чашечку кофе и цена как раз в 300-500руб. Ну и нафига фрилансерам делать баннер часами(да еще тушить срочные пожары и авралы), если проще продавать какую нибудь ерунду за эти деньги...
да понятно, что есть. Я если правильно мысль статьи понял у них не надо размечать контент который обрабатываешь - так проще - качество наверное не то, но для соц сеток и развлекательного точно пойдет
Руками аккуратно разметить можно лучше, да...но потом каждый раз так делать) Тут баланс интересно найти...дальше же ты в личном кабинете уже без обращения к условному фрилансеру пользуешься) Еще от кейса применения сильно зависит...если это b2c история, то и бесплатного приложения может хватить)
Участвовал с ними в акселераторе. Хороший проект, хорошая команда.
Рад, что развиваются дальше, надеюсь, все будет у них здорово!
Проблемы, описанные в первых комментах - по сути, стандартный хейт любой современной технологии. Консервным ножом тоже можно убивать. Вопрос в том, какие возможности открывают новые технологии и сервисы. С безопасностью направления в целом, уверен, в итоге разберутся.
Malivar, удачи вам!
В последние дни хейтеры крайне активизировались, на фоне известных событий, и хейтят все подряд. Не стоит обращать внимание
Ну теперь начнут оживлять мертвых
Как теперь все это развидеть-то, не смотрите видео. Вспомнились анимационные порно ролики.
Камон, дипфейки в порно старая тема. Мы не об этом)
Камон, маска на лице создает у меня в голове флэшбэк.
Комментарий недоступен
Комментарий недоступен
Можно и рендернуть в 4К в 3d) Но это руки дизайнера, время рендера...вообще есть куча разных фишек в VFX, интересно как это все демократизировать) Это одно из возможных решений
как называется сервис, который запретили?
наверняка вопрос времени, зато автоматически, без долгого рукоблудия
Комментарий недоступен
да, тут мне кажется вопрос баланса трудозатрат/цены и ожидаемого результата, я помню летом HuLu ролик выпускали 15 секунд с deepfake так им его два месяца делали
Комментарий недоступен
продавцы иллюзий
жонглёры образами)
Комментарий недоступен
разве внешность человека о чем то говорит в современном мире, да если и так какая разница?
Кринжово выглядит на примерах.
Это вы там основателя Dbrain дипфейкнули?
Ахах, нет, мы такими штуками не балуемся) Тема же важная
О, чуваки придемали FaceSwap! С подключением :)
В полный рост встает проблема ответственности, если лицо будет похоже на кого-то существующего, а поддельное лицо сказало или сделало противозаконные вещи.
Пока наши персонажи, как и я, полностью вымышленные...здесь такой проблемы нет, так как человека нет изначально. В ситуации с классическими дипфейками — мы B2B сервис сделали, сходу в руки не отдаем и регулируем этот вопрос на этапе договора. На тему этики много уже материалов написано)
Ну это хорошо, что понимаете проблему этики)
А юридически законно использовать образы ныне живущих известных людей, или там только исторические?
Конкретно мы не используем реальных людей, но с таким запросом могут обращаться b2b клиенты. Вопрос регулирования прав в данном случае на их стороне и в плоскости договора — мы предоставляем сервис.
Да тут скорее вопрос про то, что селебы могут таким образом больше своего лица продать
Походу новая угроза для биометрии. Сервис сильно снижает стоимость атаки. Если с помощью этого смогут обойти liveness, достаточно будет ролика в Инстаграме для получения услуг от вашего имени по биометрии.