В открытом доступе появилась нейросеть для дубляжа LipDub — она может «заставить» героя видео говорить заданный текст
В 2024 году с её помощью Уилл Смит «заговорил» на португальском в рекламе Nomad.
- Сервис LipDub AI, которым раньше пользовалось ограниченное число компаний, вышел из режима закрытого тестирования.
- Нейросеть может переозвучивать видео на 40 языков, включая русский. Можно также загрузить готовый аудиофайл и синхронизировать движение губ персонажа с аудиодорожкой на «любом» языке. Для примера разработчики показали видео на валирийском и языке инопланетян из «Аватара».
Сервис синхронизировал губы спикера и аудиодорожку на вымышленных языках из фильмов. Благодаря клонированию, голос звучит одинаково. Источник: LipDub AI
- Также добавили функцию озвучивания заданного текста — до тысячи символов. ИИ скопирует голос спикера и синхронизирует губы с новым аудио. Для клонирования голоса видео должно длиться не менее 30 секунд.
Героиня сериала «Игра в кальмара» произносит текст песни Эминема. Источник: DubCreation
- В июле 2024 года нейросеть использовали в рекламе бразильского финтех-стартапа для открытия зарубежных счетов Nomad. Они клонировали голос актёра Уилла Смита и сделали дубляж на португальском. Их лозунг — «Мы заставили Уилла Смита говорить по-португальски, и можем заставить ваши деньги говорить по-английски».
Источник: Nomad
- Сервис обрабатывает видеофайлы длиной до одной минуты в разрешении 1080 р. Для тестирования дают 50 бесплатных кредитов. Перевод видео с синхронизацией губ стоит 10 кредитов, а копирование голоса — 25.
- Подписка начинается от $149 в месяц (около 14,6 тысяч рублей по курсу ЦБ на 30 января 2025 года).
26 комментариев