Runway Gen-3 Alpha создаст реалистичное видео с монстром и оживит любую фантазию
Что умеет нейросеть, которую обучали профессионалы киноиндустрии.
Runaway Gen-3 Alpha — третье поколение технологии Runway AI, которая генерирует видео. Нейросеть точно передаёт движения, соблюдая правила анатомии, и позволяет управлять камерой, словно пользователь — оператор.
В этом материале — всё о возможностях недавно вышедшей модели с реальными примерами.
Преимущества Runaway Gen-3
В сравнении с прошлыми версиями новая генерирует ролики куда лучшего качества. Вот что она умеет:
- Реалистично передавать движения. Это по-прежнему слабая сторона многих нейросетей: при генерации части тела деформируются, а движения выглядят неестественными. Но Gen-3 создаёт сложные действия с высокой точностью. Передать эмоции и изобразить жесты она тоже сможет.
- Совмещать кадры почти как человек. Это значит, что от начала до конца в видео будут логичные переходы, как если бы редактированием занимался опытный монтажёр. При этом в запросе можно указать желаемую последовательность кадров. Например, чтобы ролик начался с крупного плана, а потом камера отъехала назад.
- Работать с разными стилями и эффектами. Как вариант, нейросеть замедлит видео или передаст атмосферу 70-х, если попросить об этом в техническом задании — промпте.
- Генерировать безопасный контент. Для этого в Gen-3 Alpha добавили систему визуальной модерации — она отфильтрует неприемлемый или вредный контент.
Как работать с Gen-3 Alpha
Для начала нужно зарегистрироваться на сайте с помощью кнопки «Get started». Можно указать почтовый ящик, а также привязать аккаунт Google или Apple.
Доступ к Gen-3 Alpha пока возможен только по подписке — цена стартует от $12 в месяц (более ранние модели Gen-1 и Gen-2 — бесплатные, но с ограничением в 525 кредитов, доступных для новых пользователей). В тарифный пакет за $12 входит 625 кредитов каждый месяц, которые можно докупать при необходимости, скачивание результатов без водяных знаков, ускоренная генерация, экспорт видео в 4K.
После оплаты тарифа можно приступать к генерации. Для этого необходимо:
- Перейти к инструменту Text/Image to Video — он доступен на домашней странице.
Выбрать Gen-3 Alpha из доступных для генерации моделей.
- Ввести промпт. Модель умеет работать как с короткими текстами, так и с развёрнутыми описаниями.
- Выбрать, что создавать — 5-секундное или 10-секундное видео. Первое будет готово примерно за 60 секунд, а второе — за 90 (при выборе формата 720p).
Gen-3 Alpha также сможет создать видео на основе изображения. Чтобы «направить» нейросеть в нужную сторону, нужно загрузить картинку и ввести текстовый запрос. Если приступить к генерации без предисловий, модель сама предложит вариант, как оживить изображение.
При желании можно воспользоваться продвинутыми инструментами редактирования:
- Advanced Camera Controls — управление положением камеры.
- Director Mode — расширенная кастомизация при создании видео с предпросмотром результата.
- Motion Brush — выделение объектов и областей в исходном изображении, которые должны двигаться.
Как писать промпт для Gen-3 Alpha
Создатели оставили некоторые рекомендации по написанию запросов к нейросети. Так, советуют быть как можно конкретнее — указать объект и сцену, пожелания по освещению и движению камеры, скорости и переходам.
Для оптимального результата предлагают разделить промпт на две части: в первой сообщить, что нужно изобразить, во второй — как должна двигаться камера.
Например, так.
Промпт: «Visual: A pillow fort in a cozy living room. The pillow fort is made from an assortment of quilts, fabrics and pillows. Camera motion: Hand held camera smoothly zooms into the entrance of the pillow fort, revealing an ancient castle in the interior».
«Визуал: Форт из подушек в уютной гостиной. Форт из подушек сделан из множества одеял, тканей и подушек. Движение камеры: Ручная камера плавно приближается ко входу в форт из подушек, открывая взору старинный замок внутри».
Но давать Gen-3 слишком сложные запросы всё же не стоит: нейросеть может не успеть уложиться с деталями в 10 секунд. Например, с очень длинным промптом результат получился таким.
Промпт: «Slow motion close-up to wide angle: a worn, vintage teddy bear sits motionless on a child’s bed in a dimly lit room. Golden sunlight gradually filters through lace curtains, gently illuminating the bear. As the warm light touches its fur, the bear’s glassy eyes suddenly blink. The camera pulls back as the teddy bear slowly sits up, its movements are becoming more fluid and lifelike».
«Замедленная съëмка крупным планом с широким углом: потëртый, винтажный плюшевый медведь неподвижно сидит на детской кровати в тускло освещëнной комнате. Золотистый солнечный свет постепенно проникает сквозь кружевные занавески, мягко освещая медвежонка. Когда тëплый свет касается его меха, стеклянные глаза медведя внезапно моргают. Камера отъезжает назад, и медвежонок медленно садится, его движения становятся более плавными и реалистичными».
С сокращённым запросом модель справилась уже лучше.
Промпт: «Slow motion close-up to wide angle: a vintage teddy bear on a child’s bed blinks to life as golden sunlight filters through lace curtains, the camera is pulling back to reveal the bear sitting up and becoming animated».
«Замедленная съëмка крупным планом с широким углом: винтажный плюшевый медведь на детской кровати оживает, когда золотистый солнечный свет проникает сквозь кружевные занавески. Камера отъезжает назад, чтобы показать, как медведь садится и оживает».
Источник: Tom’s Guide
Примеры сгенерированных видео
Их можно найти прямо на сайте Runway — здесь опубликованы созданные Gen-3 ролики. Так, модель и вправду умеет генерировать максимально реалистичные видео — хоть с лавой в водовороте, хоть с человеком в повседневной обстановке. Только посмотрите:
Промпт: «Aerial shot of the ocean. A maelstrom forms in the water swirling around until it reveals the fiery depths below».
«Аэрофотоснимок океана. В воде образуется водоворот, который кружится, пока не обнажает огненные глубины внизу».
Промпт: «A close-up shot of a young woman driving a car, looking thoughtful, blurred green forest visible through the rainy car window».
«Крупный план молодой женщины за рулëм автомобиля, взгляд задумчивый, размытый зелëный лес виден через залитое дождём окно автомобиля».
Со стилем аниме и монстрами Gen-3 справляется не хуже:
Промпт: «A Japanese animated film of a young woman standing on a ship and looking back at camera».
«Японский анимационный фильм о молодой женщине, стоящей на корабле и оглядывающейся на камеру».
Промпт: «A giant humanoid, made of fluffy blue cotton candy, stomping on the ground, and roaring to the sky, clear blue sky behind them».
«Гигантский гуманоид, сделанный из пушистой голубой сахарной ваты, топает по земле и ревёт в чистое голубое небо».
А вот какой результат получил один из пользователей, попросив нейросеть сымитировать полёт по неоновому городу.
Промпт: «Hyperspeed POV: racing through a neon-lit cyberpunk city, data streams and holograms blur past as we zoom into a digital realm of swirling code».
«Вид с гиперскорости: мчимся по залитому неоновым светом киберпанк-городу, потоки данных и голограммы расплываются, когда мы попадаем в цифровое царство вихрящегося кода».
Runway Gen-3 штука не плохая особенно по подписке, я знаю что у них есть безлимитный пакет с неограниченными генерациями