Как синхронизировать движение губ на видео: 4 бесплатные нейросети для липсинка
Заставляем Киллиана Мёрфи восхищаться материалами на vc.ru.
Для развлечения, мемов, дубляжа или презентаций — мы нашли четыре ИИ-сервиса для липсинка с бесплатными тарифами или пробным периодом. С их помощью персонаж на видео будет произносить текст, а его губы будут синхронно двигаться, попадать в слова.
Ниже — инструкция и результаты эксперимента: озвучили мем со скучающим Киллианом Мёрфи и заставили его признаться в любви материалам vc.ru.
Текст:
«Знаете, в любую свободную минуту я открываю сайт виси ру. Особенно люблю читать редакционные материалы. Мой любимый — про инопланетян».
Примечание: многие нейросети, которые генерируют голос, не всегда понимают, как правильно читать название сайта vc.ru, поэтому мы решили написать название по-русски.
Исходное видео:
Lipsync-2-Pro
Сайт: sync.so.
Регистрация: с помощью Google-, Github-аккаунта или через почту.
Стоимость: бесплатно при регистрации — $5. Обработка 301 кадра видео стоит $0,6, генерация 11 секунд аудио — $0,04. Платные тарифы стоят от $5 в месяц.
Инструкция и эксперимент
- Добавьте или перетащите исходное видео в окно на главной странице (после регистрации на него перекинет автоматически).
- Нажмите «Generate speech» или добавьте готовое аудио.
- Пропишите реплику и выберите голос, которым она будет озвучена.
- Настройте аудио: укажите стабильность голоса (степень его эмоциональности от 0 до 1, где 1 — монотонный) и уровень сходства с выбранным голосом (от 0 до 1, где 1 — идентичный оригиналу голос).
- Нажмите «Preview audio» → синюю кнопку «Lipsync».
Мы выбрали наименее стабильный голос. Видео с озвучкой было готово через 10 минут. В результате Киллиан почти не открывает рот, но говорит без акцента.
Kling AI
Сайт: app.klingai.com.
Регистрация: через почту, Google- или Apple-аккаунт.
Стоимость: 166 кредитов в месяц — бесплатно. Синхронизация губ стоит 10 кредитов. Платные тарифы стоят от $6,99 за 660 кредитов в месяц.
Инструкция и эксперимент
- Перейдите во вкладку «Video» → «AI lyp-sinc video generator».
- Добавьте видео.
- Напишите реплику.
- Выберите голос, который озвучит текст, задайте скорость и эмоциональность.
- Нажмите «Add speech» → «Generate».
В нашем случае текст нарушал правила сервиса — реплики пока нельзя озвучивать на русском языке, поэтому фразу пришлось перевести на английский.
«You know, in any free minute I open the site visi.ru. I especially like to read editorial materials. My favorite is about aliens».
Видео было готово через 10 минут. В результате Киллиан двигает губами, но выглядит мимика неестественно.
FalcoCut
Сайт: app.falcocut.com.
Регистрация: через почту или Google-аккаунт.
Стоимость: бесплатно — 10 кредитов ежемесячно. Одна синхронизация губ стоит 5 кредитов. Платные тарифы стоят от $19,5 за 200 кредитов в месяц.
Инструкция и эксперимент
- Перейдите во вкладку «Avatar generate».
- Добавьте исходное видео («My avatar»).
- Дайте имя проекту, нажмите «Confirm».
- Выберите загруженное видео.
- Во вкладке «Voice-over» выберите подходящий голос и настройте громкость.
- Добавьте реплику и нажмите «Script to subtitle».
- Нажмите «Export».
Этот Киллиан говорит голосом Джеффри — мужчины средних лет. Реплики озвучены без акцента, мимика довольно естественная.
Pollo
Сайт: pollo.ai.
Регистрация: через почту, с помощью Google- или Facebook-аккаунт (принадлежит компании Meta, признанной в РФ экстремистской).
Стоимость: ежедневно — бесплатно 20 кредитов. Если зарегистрироваться, сервис «подарит» ещё два кредита. Синхронизации губ стоит 22 кредита. Платные тарифы стоят от €10 за 300 кредитов в месяц.
Инструкция и эксперимент
- Перейдите во вкладку с ИИ-инструментами.
- Выберите «Синхронизация губ с искусственным интеллектом».
- Добавьте видео длительностью от 2 до 10 секунд.
- Добавьте готовое аудио или реплику, озвучку которой нужно сгенерировать.
- Выберите голос, настройте скорость речи.
- Нажмите «Создавать».
Всего на обработку видео у сервиса ушло около трёх минут. Этот сервис может озвучивать текст только на английском языке.
Озвучил видео голос ИИ-персонажа по имени Томас. Как и на видео, обработанном в Kling AI, Киллиан шевелит губами, но мимика всего лица не соответствует движению рта.