Я создал видеоролик, используя Midjourney и Runway Gen-3 и разместил его на YouTube: вот чему я научился и как я его делал

В последнее время я погрузился в мир создания видео с помощью ИИ. Я считаю, что эти инструменты достаточно развились, чтобы с помощью них можно было создавать достойные видеоистории, и единственный способ по-настоящему узнать это - сделать это самому.

Используемые инструменты:

Поскольку эти инструменты все еще относительно новые, рабочий процесс является экспериментальным, и я рассчитываю, что он будет меняться с каждым уникальным проектом.

Вот обзор процесса, которому я следовал при работе над этим проектом.

Еще больше полезностей - в телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.

Как дизайнер, я часто черпаю вдохновение в отдельных изображениях. Мне понравился стиль sref 3456119169:

Я хотел создать мрачную историю об одиноком фантастическом охотнике за головами, используя этот референс в качестве идеи. С этими мыслями я обратился к ChatGPT и Claude AI для мозгового штурма идей, задав следующий промпт:

Просмотрев ответы, я выбрал понравившиеся идеи и доработал историю с помощью этого промпта:

Теперь, имея базовый вариант сценария, я использовал его в качестве руководства для создания изображений с помощью Midjourney и Freepik.

Чтобы сохранить единую эстетику во всем видео, я использовал параметр sref в Midjourney, а именно sref 3456119169. Это позволило создать оранжевое, туманное настроение для всех изображений. Вот несколько примеров сгенерированных изображений:

Некоторые изображения, созданные с помощью этого sref, были немного грубоваты, что может быть проблематично при анимации.

На следующем этапе мы анимировали эти изображения с помощью Runway, LumaLabs и Kling. Добавление краткого промпта с описанием необходимых действий помогло оживить сцены:

Функция смешивания изображений LumaLabs оказалась полезной, позволив мне поэкспериментировать с переходами между сценами. Результаты добавили глубину в композицию.

Основная структура уже вырисовывалась.

Но тут возникает САМАЯ БОЛЬШАЯ ПРОБЛЕМА ИИ-фильмов:

Согласованность персонажей.

Это остается серьезной проблемой в ИИ-кинематографе, и она далеко не полностью решена. Для этого проекта я использовал обходной путь, благодаря которому получил удовлетворительные результаты.

У меня было четкое представление о внешности персонажа, основанное на упоминании знаменитостей. Мой первоначальный промпт был таким:

Он работает.

Он сработал достаточно хорошо, поэтому я использовал его в качестве базового шаблона для всех сцен с персонажами, изменив только описание сцены и добавив параметр -cref с URL-адресом изображения для усиления.

Хотя и не идеально, но достаточно хорошо для проекта.

Совет: Не переживайте по этому поводу. На данный момент идеального решения не существует. Но вы можете сами обучить модель генерировать изображения с одинаковым персонажем. Как это сделать - прочитайте в статье.

Для персонажей второго плана есть еще один прием: создайте основной портрет персонажа и используйте редактор Midjourney для изменения окружения. Это вносит достаточное разнообразие в сцену и делает персонажей достаточно разными после анимации.

После оживления они будут достаточно разными.

Существует несколько вариантов добавления голоса и звука персонажам:

Кроме того, звуковые эффекты улучшают качество видео. И ElevenLabs, и Capcut предоставляют возможность генерировать или добавлять их.

Какой вариант вам больше нравится?

Это окончательный результат. Я буду рад узнать ваши мнения.

#midjourney #runway #kling #ai #ии

Источник статьи на английском - здесь.