Photo Wake-Up — метод создания 3D-анимации из обычной фотографии

Разработчики из Вашингтонского университета в Сиэтле создали алгоритм, который анимирует объекты в неподвижных изображениях, заставляя их двигаться.

Сотрудник университета Чунг-И Вен и пара его приятелей создали программу под названием Photo Wake-Up, которая может «оживлять» центрального персонажа на фотографии, оставляя остальную часть изображения нетронутой. Разработчикам удалось решить главную проблему — научить машинное зрение определять положение человека на двухмерном изображении.

Задача весьма сложная, если учесть, что тела могут быть частично закрыты, например, когда человек на фото стоит со сложенными руками. Это затрудняет определение трехмерной структуры по двухмерному изображению.

До исследователей из Вашингтоского университета многие разработчики пытались решить эту проблему. Microsoft и Институт интеллектуальных систем Макса Планка в Германии создали программу, которую Чунг-И Вен и его команда положили в основу свой разработки.

Программа вырезала изображение человеческого тела и накладывала трехмерный скелет на вырезанную фигуру. Затем скелет можно было анимировать, чтобы создать ощущение движения. Программа могла вырезать изображение с головы до ног, но технически она не могла определить положение руки перед телом, или положение ног, когда кто-то сидит со скрещенными ногами и в целом не создавала реалистичной анимации.

Команде Вена удалось решить эту проблему. Они нашли способ обработать 2D-изображение таким образом, чтобы создать реалистичную 3D-модель тела. 2D-изображение делится на отдельные зоны — что-то вроде сетки. А затем, используя алгоритмы, определяет отдельные части тела — голову, правую руку, правую ногу, левую руку, левую ногу и туловище — и изменяет каждую из них таким образом, чтобы соответствовать исходному оригиналу.

Особое внимание разработчики уделяют голове, на которую, как правило, обращают внимание в первую очередь. «Точность в позе головы важна для хорошей анимации», — говорят они. Алгоритм также идентифицирует такие особенности, как направление взгляда и угол поворота головы, а затем использует его, чтобы получить правильное положения головы и тела в целом.

Разработчики признают: их методы не совершенны, хоть и хороши. Поэтому команда также разработала пользовательский интерфейс, который позволяет самостоятельно исправлять любые ошибки и детально настраивать анимацию.

Конечный результат — впечатляющая анимационная фотография. Алгоритм определяет человеческое тело на фотографии, вырезает его из изображения и заполняет пустую область с помощью алгоритма заполнения. Затем он анимирует тело в трех измерениях, заставляя его «выходить» из фотографии, бегать, прыгать или махать руками. Алгоритм работает даже в формате дополненной реальности.

Команда выпустила видео, показывающее метод и результаты их работы.