Как я сделал в ИИ-клип для "Игры престолов"

Я люблю работать с ИИ-видео и решил, почему бы не сделать музыкальный клип. Дал басс-гитару Джону Сноу, Тириона Ланнистера посадил за ударные. Джейми Ланнистеру досталась ритм гитара. Ну и Король Ночи тоже получил музыкальный инструмент. И вот что получилось:

Музыка сделана в Udio. Песня — полностью сгенерена ИИ. Слова тоже.

Изображения делал в Midjourney. После анимировал их во всех известных и существующих сервисах. Лучше всего показали себя Dream Machine от Luma Labs и китайская Kling (которую справедливо называют "убийцей Sora". Нет, позиции Sora пока незыблемы, но результаты у китайцев впечатляющие.

Создание этого AI-клипа стало для меня настоящим испытанием. Нужно было не только сочинить музыку, но и создать сотни изображений — при этом не просто генерации на тему «Игра престолов», то, что соответствует тексту песни (все слова выложил на YouTube).

Следующий шаг анимировать изображения для воспроизведения сложных движений персонажей и реалистичной игры музыкантов.

Затем пришлось синхронизировать музыку с движениями музыкантов, чтобы казалось, что они действительно играют свои партии.

Особенно сложно было добиться точного совпадения ударных Тириона Ланнистера с ритмом, чтобы его удары палочками идеально попадали в такт. Но я ударник (да, я занимался в музыкальной школе по классу «духовые инструменты) — так, что чувство ритма у меня в крови течет.

В итоге, это оказался самый сложный проект, который я когда-либо создавал. Да, некоторые кадры неидеальны. Но так или иначе — я выжал из нейросетей 300% процентов всего, что они умеют на сегодняшний день.