Ролик про миры «Гарри Поттера», «Вархаммера 40.000» и «Игры престолов» (3 в 1), созданный с помощью нейросетей

Возможности генеративных нейросетей поистине все больше и больше поражают воображение и постепенно все глубже проникают в разные творческие индустрии. В 2023 году произошел очередной прорыв, на этот раз в области генерации видео. Я, как человек, который очень тесно связан с производством контента более 15 лет не смог оставаться в стороне и как только появилась более-менее сносная для этих целе моделей, сразу начал эксперименты с ними.

В этом ролике я использовал целый набор различных нейросетей:
Все изображения генерировались в Midjourney v6

Анимирование в ComfyUI со StableVideoDiffusion

Апскейл Topaz Video AI 4

Фейсвап в https://www. deepswapper.com/

Липсинк в https://synclabs.so/

Голоса https://elevenlabs.io/

Монтаж и цветокорр в DaVinci

Музыка авторская, Кирилл Горохов (Unstoppable Music)

Было создано около 214 изображений, из которых в монтаж вошло 41. Создание всего ролика заняло около 2 недель при работе в свободное время. Все, кроме музыки создано одним человеком.

Конечно, пока еще далеко до идеала, много артефактов, много деталей изображений пропадает при анимировании и в целом пока подобные видео напоминаю продвинутые слайд-шоу. Но еще год назад даже такое себе представить было невозможно, а пределом качества генерации видео было вот это:

А уже через полгода уже можно было получать вот такой результат с разрешением 1024х1024:

Модель StableVideoDiffusion была представлена 21 ноября 2023 года и на мой взгляд сейчас дает наиболее качественный результат, хотя содержит не так много настроек как RunWay.

Очевидно, что в ближайшие годы нас ждет существенный прорыв в этом направлении и мы будем свидетелями появления новой эпохи генеративного кинематографа.

А вы готовы смотреть "генеративное кино"?