Делаем музыкальное видео на готовую песню с помощью ИИ

Пять лет я писал музыкальный альбом, а когда он вышел, начал изучать нейросети для создания музыкальных видео. Хочу показать всем, что получилось. Посвящается любителям психоделики и Санкт-Петербурга.

К сожалению, музыка пока недоступна на Яндексе, Сбере и ВК, но это временно. Если подпишетесь на соцсети, точно не пропустите эти релизы!

Где можно послушать альбом:

А теперь технические нюансы!

Для создания видео я использовал image-to-video в Adobe Firefly. В качестве исходника всегда брал собственные фотографии, иногда редактируя их заранее, в том числе с помощью ИИ. За несколько минут генерируется 5-секундное видео. Редко удавалось получить удовлетворительный результат с первой попытки — иногда приходилось делать до пяти итераций, перебирая разные промпты.

Таким образом, первый этап — это сбор и подготовка исходников, после чего следует непосредственно генерация. Это муторный и кропотливый, но творческий и потому очень интересный процесс. Я получил огромное удовольствие, создавая материалы для клипа.

И, наконец, последним этапом идёт монтаж. Я не стал заморачиваться и воспользовался тем, что было под рукой — iMovie (маководы поймут). Это довольно примитивная программа с ограниченным функционалом: начать с ней просто, но при работе с более сложными элементами приходится изобретать способы, как закостылить нужные эффекты. Возможно, когда-нибудь напишу об этом подробнее.

Да, удовольствие это не дешёвое, ведь каждая генерация стоит денег. На создание этого видео у меня ушло около 5000 рублей и два рабочих дня. Конечно, это копейки по сравнению с тем, сколько бы это стоило без нейросетей.