Как создать AI-фильм в Runway Gen-3 Alpha: процесс, промты, лайфхаки

Мой Ai-фильм"Eternal Struggle" созданный в Runway

Эпоха стремительно развивающихся AI-технологий открыла новые горизонты для творческих людей, и я не стала исключением. В этой статье хочу поделиться историей создания моего первого AI-фильма «Eternal Struggle», созданного с помощью нейросети Runway Gen-3 Alpha.

Концепция и вдохновение

Я вдохновлялась японской культурой и кинематографом.
"Вечная борьба" – это притча о дуальности бытия. В центре истории – японская девушка, олицетворяющая весну, жизнь и цвет. Её противник – загадочный юноша в черно-белом кимоно, символизирующий тьму, зиму и неизбежность конца. Их борьба – это метафора вечного конфликта между жизнью и смертью, светом и тенью. В финале, когда белое снежное поле покрывается красными цветами, мы видим триумф жизни над смертью, весны над зимой. Потом всё повторяется снова, и эта борьба продолжается бесконечно.

Процесс

Разработка сценария: Первым шагом было разработать сюжетную линию и визуализировать ключевые сцены, чтобы наметить последовательность событий и визуальную эстетику.

Создание промтов

Начните с общего описания сцены, затем добавьте детали по мере необходимости. Экспериментируйте с различными комбинациями ключевых слов, чтобы добиться желаемого эффекта.

Чтобы достичь необходимого визуального стиля и точной композиции, я использовала термины из кино и операторской работы.

Движение камеры: Используйте ключевые слова такие как "tracking shot" для создания эффектов трекинг-камеры или "aerial view," "drone shot", "bird's eye view"для создания вида с дрона. Эти термины помогут нейронке понять, какую сцену вы хотите получить.

Prompt: back view, drone long shot with zoom, slow zoom: a girl, 25 years old, wearing a traditional 18th century red kimono. walks far away through a snowy wasteland. lonely atmosphere. 

Свет: "soft lighting" для создания мягкого освещения или "dramatic shadows" для добавления драматических теней, и т.д.

Композиция сцены: Используйте операторские термины, такие как "wide shot" для широких кадров или "close-up" для крупных планов.

Prompt: close-up: a black raven stares into the camera against the background of a snowy field. the camera follows the graceful movements, cinematic style.

Seed (семя): В Runway Gen-3 Alpha можно использовать начальное значение seed, которое используется для генерации случайных чисел в алгоритмах машинного обучения и генеративных моделей. В контексте создания сцен seed позволяет воспроизводить результаты и контролировать процесс генерации изображений, что значительно облегчает процесс.

Скрин интерфейса Runway
Скрин интерфейса Runway

Текст: Классная особенность Runway в том, что нейронка может генерировать текст. Я использовала эту возможность для создания заставки в конце. Приятным бонусом стало то, что на одной из генераций нейросеть сама добавила два иероглифа означающих "Книга небес" - что отлично подошло по смыслу к моему сюжету.

animation in japanese calligraphy style. the camera captures the moment as the image turns into refined calligraphic lines.the text "eternal struggle" appears in japanese calligraphy. artistic and symbolic atmosphere. smooth transition animation, cinematic

Генерация сцен: В Runway каждая сцена генерировалась на основе промтов. Этот этап требовал итеративного совершенствования, чтобы визуальные элементы соответствовали эмоциональному тону и тематическим элементам истории.

Монтаж: После генерации сцен я сделала монтаж в CapCut. Расположила сцены в нужном порядке, добавила музыку, подпись, корректировки цвета и других настроек для обеспечения визуальной консистентности.

Технические ограничения: Хотя эта нейронка довольно мощная, но пока не совершенна. Потребовалось большое количество генераций к каждой сцене чтобы достичь желаемого результата. Балансировка творчества с этими ограничениями была ключевой частью процесса.
! Поэтому рекомендую сразу брать безлимитный тарифный план.

Смотрите «Вечную борьбу» здесь и присоединяйтесь ко мне в творческом путешествии!

Больше интересного в моем телеграм-канале посвященному творчеству с помощью нейросетей ↓

Поделитесь своими впечатлениями после просмотра. Буду рада вашей и поддержке и комментариям)
11
5 комментариев

очень интересно но дороговато в ген 3, возьму на вооружение но буду использовать скорее китайский

Для китайской kling нужен китайский номер телефона 🤷‍♀️