Как нейронные сети заменяют рендеринг

Нейронные сети уже везде. И фильтры в фотошопе, и подделка лиц в видео. Но многое пока ещё невозможно. Магические слова "сделай мне видео по моей любимой книжке" пока не работают. Хоть потихоньку движемся к этому. В этой статье я попробую рассказать что сейчас делается в этом направлении и где проходит современный технический прогресс.

Сейчас нейронные сети развиваются в область создания и манипулирования контентом. Началось все с каких-то простых фильтров для фотошопа и подходов для манипуляции лиц.

Это время прошло, и инструментов для видео появляется все больше и больше. Может быть многие помнят этот пример от Nvidia:

Тут, конечно, нейронная сеть была использована лишь для правки изображений ( https://github.com/NVIDIA/vid2vid )

В целом, говоря про улучшение видео, можно поговорить про подходы для улучшения изображений на нейронных сетях, варианты вырезания фона, замену лиц, тела, и.т.д.

Но я хочу сосредоточиться на одной теме: “как нарисовать произвольного человека в видео”. Сюда будут входить как и подходы для полного рендера, про которые говорит Nvidia, так и принципиально другие вещи, например “анимация человека видео напрямую”.

Кстати, если стена текста вас пугает, у этой статьи есть вариант в виде youtube-видео.

Давайте попробуем сформулировать задачи которые существуют, а дальше классифицировать на типы решения, разобрав каждый из них.

На сегодня существуют сотни работ на тематику “трансфер позы/трансфер движения”. И многие из них опираются на свою постановку задачи. Рассматривая все это многообразие для себя я выработал классификацию по наличию априорной информации (доступных для генерации данных) + по типу первичной генерации данных. Сначала про априорную информацию:

Теперь несколько способов на основе чего генерировать анимацию (их можно комбинировать!). Более подробно будут описаны ниже:

Теперь пройдем подробнее по каждому типу генерации: где его применяют и зачем.

В целом, улучшение рендеринга, это сравни тем “улучшалкам”, про которые я особо не хотел говорить в этой статье. Но в контексте анимации не могу не упомянуть про них. По сути это что-то среднее между “style transfer”/”поправить текстуру”/”поправить освещение”. Самые популярные работы в этом направлении у Nvidia. В первую очередь vid2vid. Именно её, как они уверяют, они использовали для создания видео с Дженсеном, приведенное выше (вот тут более полная версия рассказа + блогпост).

Процесс тут состоял из нескольких частей:

При этом можно использовать принципиально другие подходы к рендерингу/нейронные сети могут помочь в других его проявлениях. Например вот тут:

ребята используют нейронную сеть чтобы сгладить/улучшить облако точек/починить проблемы 3д камер.

Примерно для таких же целей "улучшения" есть сетки по типу GanCraft, на которую вы могли наткнуться:

Сетка выше требует предварительно сгенерированного человека. Что не всегда просто. Посмотрим как задача решается в ситуации когда мы хотим сгенерировать изображение когда у нас есть только скелет.

Есть несколько вариантов входных данных/вариаций алгоритмов. Рассмотрим базовый. На мой взгляд это https://github.com/menyifang/ADGAN . С ним все сравниваются. Его реально запустить. У него наиболее понятный и очевидный подход. Официальные примеры на сайте очень даже убедительны!

На вход нужно подать человека которого мы моделируем. Плюс несколько дополнительных параметров для него:

И, вуаля, можно отрендерить. На практике, когда я решил поэкспериментировать, у меня не получилось такого качества как показывают авторы:

Что-то узнается, но, если честно, сильно хуже чем в примере авторов. Даже жалко нескольких потраченных вечеров (вечер запустить, ещё вечер обучить сетку детекции частей тела и ещё вечер - подобрать скелетную сетку чтобы собрать realtime). Конечно, можно получше модельку для скелетов использовать. Можно подобрать более аккуратно входные картинки. Это даст прирост качества. Но до идеального далеко. С другой стороны - и статья двухлетняя. Аналогов такой работы много. Но их не тестил/не запускал:

https://github.com/siyuhuang/PoseStylizer

https://github.com/Ha0Tang/XingGAN

https://github.com/rocketappslab/SCA-GAN

Плюс приведенных проектов - синтез идет только по скелету. А скелет достаточно просто нарисовать/отснять или синтезировать. Но, если дать чуть больше информации чем дает скелет - можно сделать сильно больше. Посмотрим какие есть варианты.

Первый вариант заслуживающий внимания - забафанный ADGAN - PISE (почти то же самое а PINet_PG):

Здесь генерация идет не только по скелету. К скелету добавляется сегментационная карта человека. Такую карту обычно не сложно создать из генератора, либо заснять с реального человека. А в случае с PINet авторы даже пробуют сами синтезировать её:

Если чуть-чуть добавить данных, то все будет сильно проще для нейронки:)

По сути, вместо скелета и карты частей тела можно подложить 3D болванку человека, которую использовать в качестве опорных данных (в каждой точке болванки дается оценка нормали точки (плюс, для одной статьи используется зеркальное отражение)):

Есть две хороших статьи текущего года которые так умеют (и обе без сорсов, так что нет уверенности что все работает!):

Pose with Style https://pose-with-style.github.io/ :

Который дает такие результаты:

И StylePoseGan https://vcai.mpi-inf.mpg.de/projects/Styleposegan/

С такими результатами:

С сорсами тоже есть одна сетка. Но там:

У ребят есть рабочий колаб. Я запихнул себя на зеленом фоне - в принципе работает, но проблемы видны неподготовленным взглядом (текстура на стене отражается с передней части).

Поговорим про трансфер текстура-текстура для видео. Эти подходы больше всего разрабатываются в Snap. И самые лучшие статьи по этой теме у них. Вы могли наталкиваться на First Order Motion Model из 2019 года или на более свежую Motion Representation for Articular Animation из 2021:

Идея и тут и там близка к тем что было выше в скелетах/расширенных скелетах, только завернуто с другой стороны и оптимизировано под видео:

Но нужно понимать ряд ограничений данного подхода:

При этом нельзя отметить, что out-of-the-box результата такие сетки дают неплохое качество:

Из свежего. Уже появились сетки которые могут как-то генерить изображение по тексту (NUWA). По сути метод основан на VQGAN. На базе которого Сбер недавно выпустил свою сетку. Да и в целом, как я и говорил в прошлой своей статье - очень перспективная работа, которая действительно определила развитие на следующие пол года. Сорсов пока нет, анонс был две недели назад. Картинки выложенные авоторами подробнее можно посмотреть тут:

А прелесть VQGAN’а в том что можно создать любой Conditional Stream с априорными данными. Например авторы предлагают вот так:

Раз мы упомянули про VQGAN, то сделаю небольшое отступление на его тему. Мне кажется что в следующие пару лет оно может упростить сегодняшние подходы.

Даже небольших вычислительных мощностей хватает чтобы сделать следующее (во второй половине этого видео я подробнее рассказываю как я потратил пару вечеров чтобы запустить это хозяйство):

Теперь нужно вернуться и поговорить что используется в качестве основы для генератора. Я не буду глубоко рассказывать как это все делать, лишь обозначу возможные варианты.

Как вы заметили, самый простой подход - использовать в качестве основы другое видео. И использовать можно несколькими способами:

Можно использовать для генерации любой 3D движок, в котором можно отрисовать человека. При этом, есть следующие варианты:

Мы в нескольких проектах использовали Unity для генерации таких данных. Я знаю, что люди делали и что-то полусамописное. Кто-то для похожих задач использовал Unreal.

Кроме 3D, зачастую надо сделать анимацию. И тут, опять же, много вариантов. Для того же Unity есть много предварительно сгенеренных анимаций. Несложно записать MotionCaption для целевых действий. Например мы делали такое когда генерировали датасеты с активностями и падениями в CherryLabs:

Nvidia для анимации Дженсона использовала красивый подход “audio2gestures”:

Для варианта Audio2Face у Nvidia есть даже открытый пример в их Omniverse - https://www.nvidia.com/ru-ru/omniverse/apps/audio2face/ (но с его помощью анимируется не картинка, а 3D модель). Для анимации изображения лица по аудио есть например Wav2lip или LipGan.

Есть подходы где анимация генерируется по вектору движения и по 3д местности:

Но в реальности, генерация действий человека, это отдельная тема которая заслуживает отдельной статьи. А если не забывать говорить про генерацию анимации для лица/генерацию артикуляции - там ещё сотни подходов:)

Мне кажется, нельзя быть экспертом во всех тех областях, про которые я упомянул. Да и мы касались лишь каких-нибудь отдельных тематик из представленных. Но мне кажется, что такие обзоры помогают неплохо понять что сейчас происходит, зафиксировать текущий момент. Про вещи которые мне чаще попадаются в проде, когда нет достаточного объема для Хабра я пишу/рассказываю на своём канале - https://t.me/CVML_team (youtube, vk).