ТУТОРИАЛ: Как сделать крутейший дипфейк в новой (и самой дешевой) модели для липсинка
Сделано @cocal_ai (не забудьте включить звук)
На fal.ai доступна новая крутейшая липсинк модель от Tavus: Hummingbird-0.
Модель появилась во время тренировки другой модели — Phoenix-3, полноразмерного рендерера лица.
По результатам сравнительных испытаний с открытыми и закрытыми решениями Hummingbird лидирует по реалистичности, сохранению идентичности и точности синхронизации губ. А еще она дешевле других ведущих моделей.
Как сделать такой же дипфейк?
- Ищем подходящий видеофрагмент длиной 30-90 секунд, качаем с ютуба, если нужно обрезаем в Capcut или любом другом видеоредакторе.
- С помощью CapCut или другого видеоредактора экспортируем только аудио. Лучше использовать аудио на том же языке, на котором будет текст дипфейка, иначе появится акцент. Нам он показался даже забавным, поэтому решили оставить.
- Регистрируемся на fish.audio 🐟, загружаем аудио в Voice Cloning.
- Идем в библиотеку, используем склонированный голос и генерируем аудио фрагменты с нужным текстом. В бесплатной версии можно сделать 20 генераций по 500 символов, нам потребовалось 4 на 45-секундный ролик. Кусочки аудио склеили в единое целое в том же редакторе.
- Загружаем в Hummingbird на fal.ai исходное видео и финальное аудио, запускаем генерацию, получаем результат.
На весь процесс ушло 10 минут и $0.02 за генерацию в Hummingbird. 🤑
Начать дискуссию