Анимирование изображения с помощью нейросетей. Туториал

Вы наверняка встречали видео на просторах интернета с анимированной головой какого нибудь политика или мультипликационного персонажа. У кого-то данные видео вызывали недоумение, у кого-то восторг, кто-то просто перелистывал, а кто-то захотел создавать такие же. Так вот, дорогой друг, если ты из последней категории, то моя статья для тебя ;)

В одном из своих видео я решил изменить стих Сергея Саныча, озвучить его, сгенерить изображения нового поэта и добавить в него капельку жизни. С результатом вы можете ознакомиться ниже.

Сгенерировано с помощью трёх нейросетей мною

Сложно ли сделать такое видео??!

На самом деле нет. Так как всю работу делают нейросети, кроме генерации самой идеи - тут нужно воображение) И конечно же, знания где и куда нажимать. Последнее вы получите прочитав этот туториал ;)

Данное видео можно сделать совершенно бесплатно. Итак НАЧНЁМ!

Нам потребуются два исходника:

- фото, которое мы оживим;

- озвучка.

🖼 Фото можно взять готовое, либо сгенерировать в нейросетях: Midjourney (платно), Stable Diffusion, Leonardo AI - эти три нейронки лучшее на сегодня.

Как пользоваться Midjourney я писал в этой статье.

🔉 Озвучка. Тут два пути.

1. Есть масса сервисов, которые преобразовывают текст в голос. Мне нравится VoxWorker;

2. Записать свой голос на диктофон и обработать.

🖥 Обработка звука.

Используем автоматическую обработку с помощью нейросети Adobe Podcast:

1. Переходим по ссылке и проходим авторизацию;

2. Закидываем наш голос через кнопку Upload;

3. Ждём и скачиваем.

Дополнительно можно ещё поиграться с высотой тона и темпом тут.

Теперь у нас готовы все исходники и остаётся склеить это всё вместе.

📀 Анимация в D-iD:

1. Переходим по ссылке и проходим авторизацию;

2. Нажимаем Create Video;

3. Нажимаем +ADD и загружаем фото;

4. Справа выбираем Audio и загружаем файл с обработанным звуком;

5. Нажимаем GENERATE VIDEO в верху экрана;

6. Ждём и скачиваем.

🥳 Поздравляю у тебя есть видео!

Но его можно довести до ума, так как в бесплатной версии накладывается водяной знак. Его можно убрать тут.

Дальше можно наложить субтитры в CapCut и использовать разные приемы монтажа, но это уже другая история))

Специально для тебя я записал видео, где наглядно за 3 минуты показываю, как это работает, где и куда нажимать!

Буду благодарен за лайк и подписку. В VC, YouTube, Instagram, Telegram рассказываю о нейросетях, вэлком!

2121
13 комментариев

Мы тоже в D-ID говорящие головы делаем. Прелесть в том, что и фотку, и мультяшного персонажа можно озвучить.

1
Ответить

Можете посоветовать решения с открытым исходным кодом? Что бы реальном времени можно было аудио голоса в d-id стримить?

1
Ответить

Попробовал.
Интерфейс кривоватый - сразу видно что не заморачивались. )))
Но в целом все просто и работает.
Сделал тестовое - чисто чтобы показать.
///
Сервис подойдет для создания "говорящей головы" для прикольных вставок в блог.
///
Ограничение в 10 слов - только у меня?
Принимает только людей.
Хотел вставить зверушку - не распознала.
Но рисованный человечек - заработало.
///
В целом годный сервис для определенных задач.
Мне понравилось.

1
Ответить

Если загружать аудио файл, как в туториале, то не будет ограничения.
//
Про зверей не знал, но была мысль создать. Поищу решение.

Ответить

Спасибо.
По ходу я знаю, чем будет занято на выходных мое больное воображение... )))
///
Ваш гайд как раз то, что я искал.

1
Ответить

Скинете варианты того что вы сделали?))

1
Ответить

Комментарий недоступен

Ответить