Нейрокино на основе NeRF от Jake Oleson
NeRF это способ генерации 3D сцен на основе того, что вы сняли на камеру. Кадры (видео или набор фото/скриншотов) скармливаются нейронке, которая запоминает данные о визуальной составляющей, и может интерпретировать их для отображения углов камеры, которые не были использованы при съёмке.
Коридоры годное видео на эту тему сделали:
Таким образом, можно кружить как угодно в пространстве, проходить сквозь объекты, и даже попасть в зазеркалье:
Сделать NeRF задача не из простых: можно упороться с установкой питона, разбивкой видео на кадры, тренировкой на них нейронки для создания датасета, и при попытке сгенерить из этого NeRF упереться в недостаток оперативки своей видюхи. Есть облачное решение в виде Colab, но при компиляции может выйти ошибка, и че с ней делать — дальше ты сам (или дискорд).
Хорошая новость в том, что появляются проекты вроде Luma, которые берут на себя обработку данных для NeRF, а ты можешь через веб-интерфейс это всё режиссировать.
Сегодня они выпустили плагин для UE 5 и теперь можно будет генерить невозможные пируэты камеры в реальном времени.
Нужно будет запилить детальный пост как это всё работает и что с этим делать. Потом испеку.
Больше интересного у меня в телеге: