Новая убийца Sora от Luma AI Dream Machine - мой обзор. Как получить более реалистичные генерации хорошего качества

Годная реклама какого-нибудь ресторана, не правда ли? А ведь я полностью сгенерировала ролик в новой нейросети Dream Machine от Luma AI, которую уже окрестили убийцей Sora. Я протестировала новую нейросеть и ниже поделюсь своими выводами.

Кстати, кто не знает, что такое Sora, в своей статье я по полочкам разложила, что это и почему наделало столько шума.

Luma AI представила свою модель text2video Dream Machine - нейросеть для генерации видео, которая составит конкуренцию популярной нейросети Sora в реалистичности своих видеотворений.

Можно прописать текстом, что вы хотите видеть в конечном видео, а можно к этому еще и приложить изображение, для наглядности, что должно быть на видео

Предупрежу, что сервер иногда бывает перегружен, но, по крайней мере у меня, запросы обрабатывались, но видео не грузилось, просто черный экран, а сегодня все мои видео сохранились, и я смогла посмотреть результат, и он того стоил, скажу я вам, сами потестите. В месяц дается 30 бесплатных генераций.

В моем канале НейроProfit больше полезных нейросетей, о которых я рассказываю.

По моим наблюдениям, лучше всего получаются генерации с предоставлением изображения, а если это еще и крупный план-так вообще. Сами посудите, я взяла изображение крупного плана еды, который я сгенерировала в Midjourney:

Приложила это изображение в качестве референса и прописала вот такой промпт:

Best shot, salty lobster with steam coming over it, good serving, plate edges shining, Michelin star level restaurant, best food photography

То есть, использовала структуру, как в Midjourney. Кстати, кто хочет научиться использовать Midjourney, читайте описание профиля. Первый вариант того, что получилось, вы видели на превью, вот вам второй вариант того, что получилось:

Смотрите какое реалистичное качество, чтобы доказать, что лучше всего и реалистичнее получаются кадры именно из готовых изображений, ниже я сравню разные варианты.

Вот например самый простой и беспроигрышный вариант - близкий кадр девушки, все генераторы видео справляются с этой задачей лучше, и результаты получаются реалистичными. Тут изображение я не прикладывала, а использовала вот такой промпт:

Extreme closeup footage of a young sailor woman with a concerned expression during a rainstorm. (Экстремальные кадры крупным планом молодой женщины-моряка с озабоченным выражением лица во время дождя.) - ну как вариант для какого-нибудь отрывка из фильма

Вот первый вариант:

Вот второй вариант:

Не идеал, но честно, на мой взгляд гораздо лучше Pika и Runway GEN-2.

С дальними планами и несколькими людьми в кадре посложнее - появляются артефакты.

Я опять решила просто написать запрос:

three people conferring in an office, a girl on the left is touching her hair with her hand, a man in the center is tapping a pen on a desk (Три человека беседуют в офисе, девушка слева трогает рукой свои волосы, мужчина в центре постукивает ручкой по столу)

Тут я обозначила, что девушка должна быть изображена слева, и она должна трогать волосы, соответственно мужчина должен быть по центру, постукивать ручкой по столу, а выбор третьего персонажа я оставила за Dream Machine, вот что получилось.

Первый вариант:

Надо отдать должное, нейросеть наполовину выполнила мое задание, качество правда не очень, но будем реалистами- это уже что-то, ну и артефакты видно. Женщина действительно теребит волосы, а вот руки мужчины - это отдельный вид искусства )

Второй вариант:

Ну здесь тоже все верно расположены, руки мужчины-более менее, но никто не выполняет заданных в промпте действий.

А теперь давайте сделаем тоже самое, но приложим в качестве референса изображение:

И используем тот же промпт, вот, что получилось на выходе:

Благодаря тому, что я прикрепила реалистичное изображение, которое сгенерировала в Midjourney по своему запросу - с ручкой и поправлянием волос, получилась реалистичная генерация.

Хотите узнавать первыми о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подпиcывайтесь на мой телеграм канал НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.