Анимирование изображения с помощью нейросетей. Туториал
Вы наверняка встречали видео на просторах интернета с анимированной головой какого нибудь политика или мультипликационного персонажа. У кого-то данные видео вызывали недоумение, у кого-то восторг, кто-то просто перелистывал, а кто-то захотел создавать такие же. Так вот, дорогой друг, если ты из последней категории, то моя статья для тебя ;)
В одном из своих видео я решил изменить стих Сергея Саныча, озвучить его, сгенерить изображения нового поэта и добавить в него капельку жизни. С результатом вы можете ознакомиться ниже.
Сложно ли сделать такое видео??!
На самом деле нет. Так как всю работу делают нейросети, кроме генерации самой идеи - тут нужно воображение) И конечно же, знания где и куда нажимать. Последнее вы получите прочитав этот туториал ;)
Данное видео можно сделать совершенно бесплатно. Итак НАЧНЁМ!
Нам потребуются два исходника:
- фото, которое мы оживим;
- озвучка.
🖼 Фото можно взять готовое, либо сгенерировать в нейросетях: Midjourney (платно), Stable Diffusion, Leonardo AI - эти три нейронки лучшее на сегодня.
Как пользоваться Midjourney я писал в этой статье.
🔉 Озвучка. Тут два пути.
1. Есть масса сервисов, которые преобразовывают текст в голос. Мне нравится VoxWorker;
2. Записать свой голос на диктофон и обработать.
🖥 Обработка звука.
Используем автоматическую обработку с помощью нейросети Adobe Podcast:
1. Переходим по ссылке и проходим авторизацию;
2. Закидываем наш голос через кнопку Upload;
3. Ждём и скачиваем.
Дополнительно можно ещё поиграться с высотой тона и темпом тут.
Теперь у нас готовы все исходники и остаётся склеить это всё вместе.
📀 Анимация в D-iD:
1. Переходим по ссылке и проходим авторизацию;
2. Нажимаем Create Video;
3. Нажимаем +ADD и загружаем фото;
4. Справа выбираем Audio и загружаем файл с обработанным звуком;
5. Нажимаем GENERATE VIDEO в верху экрана;
6. Ждём и скачиваем.
🥳 Поздравляю у тебя есть видео!
Но его можно довести до ума, так как в бесплатной версии накладывается водяной знак. Его можно убрать тут.
Дальше можно наложить субтитры в CapCut и использовать разные приемы монтажа, но это уже другая история))
Специально для тебя я записал видео, где наглядно за 3 минуты показываю, как это работает, где и куда нажимать!
Мы тоже в D-ID говорящие головы делаем. Прелесть в том, что и фотку, и мультяшного персонажа можно озвучить.
Можете посоветовать решения с открытым исходным кодом? Что бы реальном времени можно было аудио голоса в d-id стримить?
Попробовал.
Интерфейс кривоватый - сразу видно что не заморачивались. )))
Но в целом все просто и работает.
Сделал тестовое - чисто чтобы показать.
///
Сервис подойдет для создания "говорящей головы" для прикольных вставок в блог.
///
Ограничение в 10 слов - только у меня?
Принимает только людей.
Хотел вставить зверушку - не распознала.
Но рисованный человечек - заработало.
///
В целом годный сервис для определенных задач.
Мне понравилось.
Если загружать аудио файл, как в туториале, то не будет ограничения.
//
Про зверей не знал, но была мысль создать. Поищу решение.
Спасибо.
По ходу я знаю, чем будет занято на выходных мое больное воображение... )))
///
Ваш гайд как раз то, что я искал.
Скинете варианты того что вы сделали?))
Комментарий недоступен