Как использовать нейросеть Runway для «оживления» 3D-моделей и создания панорамных облётов интерьеров

Собрали несколько примеров от пользователей.

В ноябре 2024 года в нейросеть для генерации видео Gen-3 Alpha Turbo от Runway добавили расширенное управление камерой в генерируемых сценах.

Для доступа к функции нужно выбрать генерацию видео и модель Gen-3 Alpha Turbo, затем загрузить фото и активировать функцию Camera Control со значком фотоаппарата.

Есть шесть параметров управления: перемещение камеры по горизонтали и вертикали, панорама вокруг объекта, наклон, зум, а также вращение по часовой стрелке и против неё. Можно задавать движение ползунками или перемещая фоторамку в нужном направлении.

Управление камерой после загрузки фото. Скринкаст vc.ru
Исходное изображение интерьера. Источник: <a href="https://api.vc.ru/v2.8/redirect?to=https%3A%2F%2Fhsedesign.ru%2Fdesigner%2Fprkpnk&postId=1662393" rel="nofollow noreferrer noopener" target="_blank">Арина Прокопенко</a>
Исходное изображение интерьера. Источник: Арина Прокопенко
Видео Runway. Рендер vc.ru

При создании широкой панорамы нейросеть сама «дорисует» недостающие на исходном изображении детали. Но для более точного результата можно описать, как должна выглядеть картинка, в строке для промпта. Например: «Камера перемещается вправо, открывая панорамный вид на городской пейзаж».

Новые детали на фото после применения панорамной съёмки

Примеры генераций пользователей

Облёт интерьера, созданный из статичного изображения пользователем X. Источник: WorldEverett
Художница «заставила» виртуальную камеру вращаться вокруг статичных объектов. Источник: KarolineGeorges
Анимация 2D-картинки, сделанной в Midjourney. Источник: Ror_Fly
Пользователь X взял 2D-изображение, настроил движение камеры в Runway и использовал получившуюся трехмерную сцену в среде для разработки компьютерных игр Unity. Источник: DSkaale
Пользователь Reddit создал видеоэкскурсию по заброшенному салону красоты от первого лица. Источник: Unlike-Evidence
Ролик, созданный с помощью Runway и Luma Labs. Источник: Burconsult

Управление камерой доступно для подписчиков всех тарифов Gen-3 — в том числе бесплатного. При регистрации каждый аккаунт получает 125 кредитов, этого хватит для генерации трёх видео. В бесплатном плане доступно создание видео по фото длиной до 10 секунд и преобразование видео в видео до 4 секунд.

55
33
11
4 комментария

Круть! Город, конечно, так себе, но там исходник какой-то не очень.
Лес грибов — рай берсерка (-:

Runway молоды, у них одних есть самый привлекательный пакет, безлимитный, если брать помесячно то выходит где то 100 бакинских но это того стоит. Просто чтобы добиться нормальной генерации нужно пройти несколько циклов, а это при масштабной работе приемлемо только при безлимитном пакете, ну и качество у них на высоте и именно в реализме.

Прикольная фишка)) Отличный инструмент для создания крутых видеороликов. Никогда бы не подумала, что можно оживить 3D-модели так реалистично.

Как круто, думаю может пригодиться не только для дизайнеров и архитекторов, а даже для тех, кто ремонт хочет затеять. Поможет лучше протестить различные варианты до начала работ.