NeRF в действии: разбираем инструменты на основе новой технологии
За последний год наблюдается рост интереса к съемкам в виртуальной среде. Повышение спроса влечет за собой и рост требований к качеству ассетов для съемок. Важны и скорость создания, и степень детализации. Поэтому, когда впервые заговорили о NeRF, мы поспешили изучить, какие решения в этой сфере уже есть и, главное, можно ли их применять в профессиональных съемках.
Собрали для вас инструменты, основанные на NeRF, которые уже могут многое.
Instant NeRF от NVIDIA
Мы привыкли фотографируя сохранять объемную сцену в 2D-изображении, а что насчет обратного процесса? Инженеры по работе с искусственным интеллектом и команда NVIDIA Research работают над программой, которая запускает процесс обратного рендеринга. Процесс подразумевает под собой использование ИИ для расчета падения и отражения света на фотографиях, чтобы воссоздать 3D сцену из 2D изображений. Для лучшего результата необходимы фото с разных ракурсов.
Команда NVIDIA Research заявляет, что они разработали алгоритм, который позволяет сделать такой рендеринг почти моментально. Это первый в своём роде подход, использующий обучающиеся нейронные сети и производящий быстрый рендеринг.
Luma AI
Такие программы, как Luma AI, уже позволяют создавать собственные файлы NeRF, а затем экспортировать их в различные форматы, просто и эффективно. Во время теста бета-версии программы была создана NeRF статуи лошади в Корее, которую сняли с помощью iPhone. Видео ниже - это не движение камеры в реальном времени, это движение камеры NeRF вокруг объекта. Приложение Luma обрабатывает данные в облаке и производит визуализацию.
ИИ Luma работает великолепно, но только на статичных сценах. Для захвата движения эта программа не пока не подходит. Будущие приложения NeRF должны не только воссоздавать сцену, но и улавливать движение и, в конечном итоге, позволять оживлять или создавать новые выразительные сюжеты.
Решение от Synthesia
HumanRF - это 4D динамическое нейронное представление сцены, которое захватывает внешний вид всего человека в движении с нескольких ракурсов и позволяет воспроизводить его с любой невидимой точки зрения. Synthesia уже имеет крупный SaaS-бизнес по созданию фотореалистичных цифровых людей на основе отложенного нейронного рендеринга с учетом точки обзора. Их аватары обращены лицом к камере и могут вести любой диалог, который вы пожелаете, основываясь только на тексте или аудиоклипе.
Но для создания 3D аватаров данная технология еще не столь совершенна. Для этой задачи необходимо намного больше данных, ведь и функций у 3D-персонажа гораздо больше.
Используют ли уже NeRF в видеопродакшне ?
В поисках ответа на этот вопрос мы побеседовали с человеком, чья компания третья в мире после McDonald's и Skoda стали применять данную технологию для съемки разноформатного видео-контента - Тим Ситников.
Тим рассказал, что тренды последнего года - это развитие нейронных сетей для создания профессиональной графики; Stable Diffusion для генерации концептов, фона, объектов композитинга, художественной обработки изображения; NeRFs для 3D съемок.
Конкретно для съемок в виртуальной среде и в постпродакшене, NeRF - это идеальный инструмент оцифровки реальности. Быстрая оцифровка и качественный вывод графики помогают делать быстро превизы локаций, набирать библиотеки объектов под съёмки.
Для съемок рекламы, клипов и творческих проектов NeRFs способны выдавать приемлемое качество картинки. Мы тестировали работу с NeRF на съемках проекта для международного бренда, и сцены снятые с их помощью дали большую свободу для камеры. Вместе с оператором мы могли строить ракурсы, экспериментировать с оптикой и скоростью полета камеры.
Сказанное выше лишь еще раз доказывает, что NeRF - технология будущего. И еще неизвестны все области возможного ее применения. Одно знаем точно, для съемок в виртуальной среде NeRF - гениальное решение, которое мы обязательно протестируем, как только будет проект, где это будет необходимо.
А пока, в предвкушении изучаем, читаем и делимся информацией с вами здесь и в нашем телеграм-канале, где мы рассказываем про лучшие кейсы индустрии шоу, телевидения и event и делимся важными новостями и новинками оборудования. Подписывайся!