Новый китайский ИИ-видеогенератор «Kling» бросает вызов Sora от OpenAI

В одной из своих предыдущих статей я рассказывал о китайском генераторе видео с ИИ под названием Vidu. Я назвал его реальным конкурентом Sora из-за того, насколько впечатляющими были примеры видео. Недавно был представлен еще один ИИ-инструмент для создания видео под названием Kling, и он выглядит даже лучше, чем Vidu.

Еще больше полезностей - в моем телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.

Kling - это новый генератор видео с искусственным интеллектом от Kuaishou («быстрая рука»), компании из Пекина, которая конкурирует с TikTok.

Kling может генерировать видео длительностью до 120 секунд с частотой 30 кадров в секунду в разрешении 1080P и свободном соотношении сторон. По словам создателей, их ИИ-модель лучше понимает физику и точно моделирует сложные движения.

Интересный факт: для создания минутного ролика Sora требуется восемь графических процессоров NVIDIA A100, которые работают более трех часов. Один NVIDIA A100 стоит более 10 000 долларов США. Таким образом, для создания 2-минутного видео Kling, вероятно, потребуется вдвое больше вычислительной мощности.

Взгляните на этот пример видео:

Вы можете видеть, насколько хороша временная когерентность на этом примере видео.

Временная когерентность в видео ИИ означает способность модели генерации видео создавать последовательность кадров, которые являются последовательными и логически связанными по времени.

Это означает, что модель должна быть способна поддерживать последовательное повествование, сохранять одну и ту же сцену или обстановку, а также обеспечивать последовательность и правдоподобность действий и движений объектов внутри сцены с течением времени.

Вы можете изучить сайт и поразиться примерам. Также вы можете посмотреть примеры GIF, которые я прикрепил ниже. В настоящее время Kling открыт для тестирования в приложении Kmovie для видеоклипов Kuaishou.

Действия, влияющие на состояние мира, - одни из самых сложных симуляций, с которыми сталкивается ИИ-видеогенератор. Например, художник может оставлять новые мазки на холсте, которые сохраняются в течение долгого времени, или человек может съесть бургер и оставить следы от укуса.

И Sora, и Kling могут это делать.

Так почему бы не поставить их рядом? Вот пример видео, на котором человек ест гамбургер:

Оба результата поражают воображение. На первый взгляд легко обмануться, что это не настоящие видео.

Но при более внимательном рассмотрении этих примеров можно заметить, что результат Sora отличается большей детализацией объекта и лучшими условиями освещения.

Однако Kling может создать двухминутное видео, что в два раза больше, чем у Sora.

Я заметил, что со вчерашнего дня работа сайта замедлилась, а некоторые пользователи сообщают, что он недоступен из-за резкого увеличения количества обращений. Поэтому я приложил несколько примеров ниже:

Также вы можете посмотреть другие примеры в этой теме X.

На данный момент модель ИИ или приложение для создания видеороликов не доступны для общественности. По имеющимся данным, она доступна через приложение Kwaiying для приглашенных бета-тестеров.

Для получения более свежих новостей о его доступности вы можете проверить их официальный сайт, хотя весь текст на китайском языке.

Один из пользователей Reddit утверждает, что Kling будет доступен для всех желающих либо в конце этого, либо в следующем году.

Помимо генератора текста в видео, Kuaishou также выпустила инструмент, который может генерировать танцевальное видео из одного изображения человека.

Несмотря на то что существуют приложения, позволяющие создавать ИИ-видео, Kling отличает то, как плавно каждый кадр переходит в другой, придавая ему реалистичность нового уровня. То, как одежда взаимодействует с движением объекта, также очень хорошо.

В целом, Kling - впечатляющая ИИ-модель, судя по примерам, продемонстрированным ее создателями. Лучше ли она, чем Sora? В некоторых случаях - да. Но Sora была представлена несколько месяцев назад, и с тех пор в нее могли быть внесены улучшения, о которых OpenAI пока не сообщала.

Лучше ли он, чем Veo от Google? Да.

Лучше ли она, чем Pika Labs, RunwayML и StableVideo? Намного лучше.

Еще одна-две версии, и Kling может оказаться на грани подрыва всей индустрии видеоконтента. Стремительное развитие технологии генерации видео с помощью искусственного интеллекта поражает воображение. С каждым новым релизом грань между реальным и сгенерированным ИИ контентом стирается еще больше.

Теперь общественность ждет, что OpenAI объявит об обновлении Sora.

Еще больше полезностей - в моем телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.

#kling #sora #ai #ии

Источник статьи на английском - здесь.