Обновления видеогенератора KLING - Новая функция синхронизации губ и API
Kling - китайский аналог Sora. Однако сейчас заметна тенденция перещеголять Runway. Сами посудите:
- Как и Runway GEN-2 встроили инструмент Motion Brush для движения отдельных объектов в свою модель KLING 1.0. В KLING 1.5. пока такой функции нет, как и в новом GEN-3.
- KLING так же как и Runway сделали доступным API.
- Скоро в KLING добавят ИИ редактор видео, и будет вообще китайский конкурент Runway. Итак, остановимся на обновлениях.
Новые обновления Kling:
Новая функция синхронизации губ
Встроенная функция синхронизации губ создает невероятно естественный эффект при загрузке закадрового голоса, даже немного отдаленного персонажа:
Или песен, создавая впечатление, что персонаж действительно говорит или поет:
Как работает липсинк:
- Генерируете видео в Kling или модно использовать ранее сгенерированный (а то я до сих пор жду когда мое видео обработается)
- Выбираете видео и под ним нажимаете кнопку «Match Mouth Type»
- Загружаете аудио - можно песню и Kling AI подгонит движение губ.
Советы по взаимодействию и ограничения:
- Работает в версиях Kling 1.0 и с Kling 1.5
- Подходит для говорящих персонажей и для песен
- Не работает липсинк понятное дело там, где нет лица, например Дарт Вейдер, или на животных. Еще если отсутствует постоянно видимое лицо, или лицо часто уходит с экрана.
- Однозначно классно, что теперь на одной платформа можно сгенерить видео хорошего качества и там же озвучить его
Новый раздел «Сообщество
На официальном сайте появился новый раздел «Сообщество». Там можно делиться своими творениями, и одна работа может принести до 666 бесплатных кредитов!
API сервисы доступны всем пользователям
Вслед за Luma и Runway, API KLING теперь доступен без списка ожидания! Через API теперь можно получить доступ к генерации видео, изображений, и виртуальной примерочной Virtual Try-on.
Я решила сгенерировать видео в бесплатной версии KLING 1.0, но, к сожалению, мой ролик до сих пор обрабатывается (видно на скрине), а видео, что у меня были, не подходят для липсинка - лицо постоянно двигается:
UPD: прошел час, изменений никаких:
Поэтому любителям бесплатных тарифов, как я, придется запастись терпением. Или посмотреть примеры и подробнее ознакомиться с обновлениями можете здесь. А свой результат, я надеюсь, дождусь и поделюсь им позже.
Хотите узнавать о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подпиcывайтесь на телеграм канал НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.
Хоть бы нейронки научились ударения правильно читать и петь