Luma представила Dream Machine - генератор видео с искусственным интеллектом, которым можно реально пользоваться

Не прошло и недели после того, как китайский стартап Kuaishou анонсировал свой впечатляющий ИИ-видеогенератор Kling, призванный составить конкуренцию долгожданному видеогенератору Sora от OpenAI, как появился новый конкурент.

Еще больше полезностей - в моем телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.

Luma Labs запустила новую модель ИИ-генератора видео под названием Dream Machine.

В отличие от других ИИ-инструментов, вы можете попробовать Dream Machine уже сегодня, без всякого списка ожидания.

Dream Machine от Luma Labs - это ИИ-видеогенератор нового поколения, способный создавать высококачественные, реалистичные видео на основе текстовых промптов и изображений.

Ключевые особенности:

Эти возможности действительно впечатляют, но нам нужно протестировать их и убедиться в этом самим.

Перейдите на страницу Dream Machine от Luma Lab и нажмите на кнопку «Try Now» в правом верхнем углу.

Создайте свой аккаунт, и вы увидите текстовое поле, в котором опишите видео, которое вы хотите создать.

Вот мое первое видео, созданное с помощью Dream Machine:

Полное видео можно посмотреть по этой ссылке.

В отличие от других конкурентов, таких как Stable Video, Runway и Pika, которые просто панорамируют и масштабируют 2D-изображения, Dream Machine действительно делает переходы между сценами и реалистично перемещает объекты.

Вот еще один пример:

Результат соответствует промпту, а качество видео выглядит хорошо. Однако тигр не оставил следов лап на снегу, что немного странно.

Теперь давайте попробуем статичное изображение, созданное с помощью MidJourney V6.

Вы можете перетащить изображение и добавить такой же промпт на Dream Machine.

Вот конечный результат:

Вот изображение, созданной пользователем X Татьяной Цигулевой.

Эталонное изображение сгенерировано с помощью MidJourney:

Видео, сгенерированное Dream Machine:

Посмотрите полный ролик здесь.

Это выглядит невероятно. Ребята из VFX, наверное, вспотели, когда увидели, что подобные сцены генерируются искусственным интеллектом менее чем за 2 минуты.

Как и в случае с любым ИИ-инструментом, при использовании Dream Machine важно учитывать безопасность и этические аспекты. Видео, созданные ИИ, могут быть невероятно реалистичными, что открывает возможности для злоупотреблений.

Luma Labs, похоже, знает об этих опасениях.

Я попробовал воспользоваться приведенным ниже промптом, чтобы проверить, как их модель ИИ справляется с подобным содержанием.

Dream Machine отклонила промпт и выдала ошибку «Не удалось создать генерацию для запрашиваемого промпта». Благодарим Luma за внедрение этих мер защиты.

Однако всегда найдутся пользователи, которые попытаются обмануть модель и найти способы генерировать небезопасный контент. В ближайшие дни мы увидим, насколько эффективны эти меры и нужны ли дополнительные меры предосторожности.

Лучший способ судить - сравнить результаты между собой. Вот видео, на котором человек ест гамбургер, созданное Dream Machine, Kling и Sora.

Если посмотреть на эти видео, то Sora и Kling все равно превосходят Dream Machine. Но, учитывая, что последние видео - это тщательно отобранные примеры, кто знает, сколько попыток потребовалось, чтобы добиться такого качества?

Прежде чем вы придете в восторг от бесплатного доступа к Dream Machine, важно отметить, что сервис работает по модели freemium. Это означает, что вы получаете только 30 бесплатных генераций в месяц, а если хотите создать больше AI-видео, вам придется заплатить за дополнительные кредиты.

Вот информация о ценах:

В целом Luma проявляет невероятную щедрость, предоставляя общественности доступ к своему ИИ-генератору видео. Хотя 30 бесплатных генераций в месяц может показаться мало, этого достаточно, чтобы протестировать и оценить качество видео и согласованность результатов.

Теперь давайте поговорим о качестве. Находится ли оно на одном уровне с Sora от OpenAI? Близко, но не совсем. Dream Machine по-прежнему испытывает трудности с временной когерентностью. Однако она определенно лучше, чем Runway или Pika.

Luma знает об ограничениях Dream Machine. Они даже упомянули о них на своем сайте.

Первые отзывы пользователей и созданные ими видеоролики должны предоставить ценные данные для дальнейшего обучения и настройки модели для достижения лучших результатов в следующей версии.

Еще больше полезностей - в моем телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.

#генерациявидео #dreammachine

Источник статьи на английском - здесь.