Как с помощью нейросети Luma оживить фото в телеграм-боте: инструкция

В этой статье мы покажем, как с помощью нейросети Luma оживить фото в телеграм-боте. Luma - это нейросеть, которая способна создавать видео из ваших фотографий. Нейронная сеть Luma имеет возможность вручную анимировать изображения независимо от изначально предоставленного изображения, однако этот подход крайне ненадежен, что делает его не заслуживающим дальнейшего обсуждения. Наше внимание будет сосредоточено на анимации с использованием уже существующих изображений.

Чтобы эффективно использовать нейросеть Luma, вы должны иметь высококачественное оригинальное изображение, соответствующее вашим стандартам, будь то фотография или генерация нейронной сети, такой как Midjourney, Stable Diffusion или Dalle.

На нашем форуме есть обсуждения процесса создания изображений в этих нейронных сетях: Midjourney, Stable Diffusion, Dalle-3.

Важно помнить, что нейронная сеть Luma придерживается жесткой политики против создания анимаций, которые включают контент для взрослых, изображают акты насилия или потенциально могут оскорбить определенные группы людей по политическим, религиозным или аналогичным темам.

1. Использование фото с промтом (текстовым запросом) для анимации

Этот подход пользуется большой популярностью из-за простоты использования.

Анимация будет завершена 6-секундным видеороликом за считаные минуты.

Руководство по созданию промтов №1: краткий гайд

Опишите объект в кадре: его действия, направление движения и т.д. Здесь искусственный интеллект Luma попытается заполнить детали анимации, которые вы описали, например: Девушка идет по дороге.

Примечание. В Yes Ai Bot у вас есть возможность отправлять промты (текстовые запросы) на любом языке, включая русский.

Руководство по созданию промтов №2: подробный гайд

Следуйте алгоритму:

Имейте в виду, что выбор сложного изображения анимации требует пристального внимания к разным элементам, персонажам, окружению и дополнительным особенностям, поскольку нейронная сеть Luma не будет пытаться изменить вашу анимацию. Крайне важно сформулировать не только содержание кадра, но и предполагаемые действия или взаимодействия этих элементов, например: ходьба, прыжки, танцы, парение и т.д.

Достижение результатов высокого уровня обычно не получается с первого раза, поэтому требуется развитие навыков создания промтов и умелого подбора изображений. Выбор исходного изображения имеет решающее значение. Предпочтительнее выбирать изображения, на которых четко различимы предметы, люди и т.д. Если изображения размыты или деформированы, анимация будет содержать множество неточностей.

При использовании этой техники простота ее применения очевидна, однако качество получаемой анимации во многом зависит от однородности предоставляемых изображений.

Предположим, что начальное изображение — к примеру, сцена из «Матрицы», где Нео уклоняется от пуль, а завершающее — культовая «Мона Лиза» Леонардо да Винчи. Понятно, что создание высококачественной анимации будет сложной задачей из-за минимальной связи между двумя изображениями с точки зрения содержания.

И наоборот, если на начальном и конечном фото изображен один и тот же объект (или объекты, имеющие сходство), снятые с разных точек зрения или в разных положениях, вероятность достижения более плавной анимации значительно возрастает.

Фундаментальный принцип, которого необходимо придерживаться, заключается в следующем: чем больше сходства между исходными изображениями, тем более плавной и связной будет конечная анимация.

Поэтапное создание анимации в нейросети Luma с двумя изображениями:

Примечание. Убедитесь, что начальный и заключительный кадры представляют собой отдельные изображения, чтобы в вашем видео не остался неанимированный кадр.

Желательно поэкспериментировать с различными художественными стилями, такими как фотореализм и аниме и др. Не забудьте продемонстрировать свои достижения, поделившись ими в специальной теме Luma на нашем форуме Telegram.

Этот метод объединяет два описанных выше, позволяя указать как первоначальный, так и заключительный кадр и использовать промт. Эта стратегия обеспечивает более предсказуемый результат анимации.

Дальнейшие разъяснения излишни, просто придерживайтесь рекомендаций, изложенных в предыдущих методах.

Однако стоит отметить, что анимации, созданные в Luma, имеют возможность расширения, т.е. нейронная сеть может удлинять уже созданное видео.

Гайд по продлению видео, созданного Luma:

Этот процесс можно повторить несколько раз, чтобы добавить к вашему видео 5-секундную анимацию. У вас есть возможность анимировать каждый сегмент с помощью различных промтов (запросов).

Если последующая анимация не оправдает ваших ожиданий, просто вернитесь к предыдущей задаче и дополните видео пересмотренным и более точным промтом.

🚩 [Обновление от 4 сентября 2024 г.] Нейронная сеть Luma Dream Machine была обновлена до версии 1.6, которая теперь позволяет вращать камеру во время анимации изображения. Чтобы использовать эту функцию, просто добавьте в промпт (запрос) команду, указывающую желаемый тип движения камеры.

Ниже приведены команды, которые вы можете использовать для управления камерой в Dream Machine Luma:

Вы можете применить любую из этих команд с помощью @yes_ai_bot, включив выбранную вами технику движения камеры в свое описание при отправке нового запроса анимации в Luma.

Краткий итог: очевидно, что нейронная сеть Luma значительно продвинулась вперед, особенно в сравнении со своей предшественницей Stable Video Diffusion. Этот скачок характеризуется расширенным набором функций, включением промтов и возможностью определять как финальные, так и промежуточные кадры.

Кроме того, Luma демонстрирует более надежное сохранение исходного изображения персонажей, сложных деталей и др.

Несмотря на достигнутые успехи, в нейросети Luma есть еще некоторые проблемы:

Тем не менее, важно признать, что нейронные сети развиваются быстрыми темпами, и вполне вероятно, что Luma значительно улучшится в ближайшем будущем.

В настоящее время с помощью нейронных сетей можно добиться весьма впечатляющих анимированных изображений, а результаты дополнительно улучшить с помощью других инструментов постобработки.

Пример с постобработкой: