Как с помощью нейросети Luma оживить фото в телеграм-боте: инструкция

В этой статье мы покажем, как с помощью нейросети Luma оживить фото в телеграм-боте. Luma - это нейросеть, которая способна создавать видео из ваших фотографий. Нейронная сеть Luma имеет возможность вручную анимировать изображения независимо от изначально предоставленного изображения, однако этот подход крайне ненадежен, что делает его не заслуживающим дальнейшего обсуждения. Наше внимание будет сосредоточено на анимации с использованием уже существующих изображений.

Как с помощью нейросети Luma оживить фото в телеграм боте
Как с помощью нейросети Luma оживить фото в телеграм боте

Чтобы эффективно использовать нейросеть Luma, вы должны иметь высококачественное оригинальное изображение, соответствующее вашим стандартам, будь то фотография или генерация нейронной сети, такой как Midjourney, Stable Diffusion или Dalle.

На нашем форуме есть обсуждения процесса создания изображений в этих нейронных сетях: Midjourney, Stable Diffusion, Dalle-3.

Важно помнить, что нейронная сеть Luma придерживается жесткой политики против создания анимаций, которые включают контент для взрослых, изображают акты насилия или потенциально могут оскорбить определенные группы людей по политическим, религиозным или аналогичным темам.

Пример простой анимации изображения с помощью нейросети Luma

Методы оживления изображений с помощью нейросети Luma

1. Использование фото с промтом (текстовым запросом) для анимации

Этот подход пользуется большой популярностью из-за простоты использования.

  • запустите бот @yes_ai_bot в Telegram;
  • в нижнем меню нажмите на "нейросеть: [изменить]";
  • в новом сообщении выберете опцию "Yes Video (для работы с видео)"
  • выберите опцию «Ani-Image» для анимации вашего изображения»;
  • отправьте боту изображение, убедившись, что его размеры (высота и ширина) не превышают 2000 пикселей;
  • в следующем меню выберите нейронную сеть "🐠 Luma» (см. скриншоты ниже)";
Методы оживления изображений с помощью нейросети Luma
Методы оживления изображений с помощью нейросети Luma
Как с помощью нейросети Luma оживить фото в телеграм-боте: инструкция
  • чтобы начать процесс, выберите кнопку "Prompt", а затем опцию "♻ Изменить" (см. скриншот ниже);
Как с помощью нейросети Luma оживить фото в телеграм-боте: инструкция
  • дайте краткое объяснение желаемого действия для сцены на фото. ИИ превосходно оживляет сцены с участием объектов, людей и животных, однако вам предлагается изучить более творческие визуальные эффекты. Важно отметить, что Luma может не выполнить анимацию безупречно, и элементы вашего описания могут быть упущены из виду;
  • после того как вы отправите свое описание, используйте кнопку "↖ Вернуться назад";
  • запустите анимацию, нажав кнопку "🎞 Анимировать изображение".

Анимация будет завершена 6-секундным видеороликом за считаные минуты.

Руководство по созданию промтов №1: краткий гайд

Опишите объект в кадре: его действия, направление движения и т.д. Здесь искусственный интеллект Luma попытается заполнить детали анимации, которые вы описали, например: Девушка идет по дороге.

Примечание. В Yes Ai Bot у вас есть возможность отправлять промты (текстовые запросы) на любом языке, включая русский.

Руководство по созданию промтов №2: подробный гайд

Следуйте алгоритму:

  • предоставьте подробное руководство по элементам сцены, включая действия, которые необходимо с ними предпринять, траекторию движения главного героя и любые конкретные движения, например танцы;
  • детализируйте траекторию камеры: должна ли она приближаться (zoom in), отдаляться (zoom out) или смещаться по горизонтали или по вертикали. Уточните обстановку, игру света и дополнительные нюансы, например: по аллее прогуливается молодая дама в лазурном платье, устремив взгляд вперед. Порыв ветра поднимает в воздух ее шаль. Дневной свет великолепен, камера постепенно отдаляется, и солнечный свет танцует на оконных стеклах окружающих зданий.


Имейте в виду, что выбор сложного изображения анимации требует пристального внимания к разным элементам, персонажам, окружению и дополнительным особенностям, поскольку нейронная сеть Luma не будет пытаться изменить вашу анимацию. Крайне важно сформулировать не только содержание кадра, но и предполагаемые действия или взаимодействия этих элементов, например: ходьба, прыжки, танцы, парение и т.д.

Достижение результатов высокого уровня обычно не получается с первого раза, поэтому требуется развитие навыков создания промтов и умелого подбора изображений. Выбор исходного изображения имеет решающее значение. Предпочтительнее выбирать изображения, на которых четко различимы предметы, люди и т.д. Если изображения размыты или деформированы, анимация будет содержать множество неточностей.

2. Использование фото с финальным кадром

При использовании этой техники простота ее применения очевидна, однако качество получаемой анимации во многом зависит от однородности предоставляемых изображений.

Предположим, что начальное изображение — к примеру, сцена из «Матрицы», где Нео уклоняется от пуль, а завершающее — культовая «Мона Лиза» Леонардо да Винчи. Понятно, что создание высококачественной анимации будет сложной задачей из-за минимальной связи между двумя изображениями с точки зрения содержания.

И наоборот, если на начальном и конечном фото изображен один и тот же объект (или объекты, имеющие сходство), снятые с разных точек зрения или в разных положениях, вероятность достижения более плавной анимации значительно возрастает.

Фундаментальный принцип, которого необходимо придерживаться, заключается в следующем: чем больше сходства между исходными изображениями, тем более плавной и связной будет конечная анимация.

Поэтапное создание анимации в нейросети Luma с двумя изображениями:

  • вернитесь к @yes_ai_bot и выберите нейросеть "Yes Video", а затем "Ani-Image";
  • предоставьте боту изображение, которое будет служить начальным кадром вашей анимации;
  • выберите по запросу в меню опцию "Финальный кадр", а затем "📥 Загрузить" (см. скриншот ниже);
Использование фото с финальным кадром
Использование фото с финальным кадром
  • отправьте боту второе изображение, которое должно стать заключительным кадром вашей анимации;
  • после отправки приглашения нажмите кнопку "↖ Вернуться назад", чтобы начать процесс анимации.

Примечание. Убедитесь, что начальный и заключительный кадры представляют собой отдельные изображения, чтобы в вашем видео не остался неанимированный кадр.

Желательно поэкспериментировать с различными художественными стилями, такими как фотореализм и аниме и др. Не забудьте продемонстрировать свои достижения, поделившись ими в специальной теме Luma на нашем форуме Telegram.

3. Использование фото с промтом и финальным кадром для анимации в нейросети Luma

Этот метод объединяет два описанных выше, позволяя указать как первоначальный, так и заключительный кадр и использовать промт. Эта стратегия обеспечивает более предсказуемый результат анимации.

Дальнейшие разъяснения излишни, просто придерживайтесь рекомендаций, изложенных в предыдущих методах.

Однако стоит отметить, что анимации, созданные в Luma, имеют возможность расширения, т.е. нейронная сеть может удлинять уже созданное видео.

Гайд по продлению видео, созданного Luma:

  • дождитесь уведомления о завершении ранее начатой задачи;
  • под видео в настройках выберите "⏩ Продлить видео", а затем "⏩ Продолжить видео";
  • платформа предложит вам написать промт для предстоящей 5-секундной сцены, придерживайтесь данных правил, составьте сообщение и отправьте его боту;
  • дождитесь завершения работы нового продления видео анимации.

Этот процесс можно повторить несколько раз, чтобы добавить к вашему видео 5-секундную анимацию. У вас есть возможность анимировать каждый сегмент с помощью различных промтов (запросов).

Если последующая анимация не оправдает ваших ожиданий, просто вернитесь к предыдущей задаче и дополните видео пересмотренным и более точным промтом.

4. Новое управление движением камеры в Luma 1.6

🚩 [Обновление от 4 сентября 2024 г.] Нейронная сеть Luma Dream Machine была обновлена до версии 1.6, которая теперь позволяет вращать камеру во время анимации изображения. Чтобы использовать эту функцию, просто добавьте в промпт (запрос) команду, указывающую желаемый тип движения камеры.

Ниже приведены команды, которые вы можете использовать для управления камерой в Dream Machine Luma:

  • camera move left (смещает камеру влево)
  • camera move right (смещает камеру вправо)
  • camera move up (поднимает камеру вверх)
  • camera move down (опускает камеру вниз)
  • camera push in (приближает камеру к объекту)
  • camera pull out (уменьшение масштаба за счет удаления камеры от объекта)
  • camera pan left (поворачивает камеру влево вокруг оси вращения)
  • camera pan right (поворачивает камеру вправо вокруг оси вращения)
  • camera orbit left (камера кружит вокруг объекта слева)
  • camera orbit right (камера кружит вокруг объекта справа)
  • camera crane up (поднимает камеру вверх вокруг объекта съемки)
  • camera crane down (камера опускается вниз вокруг объекта съемки)

Вы можете применить любую из этих команд с помощью @yes_ai_bot, включив выбранную вами технику движения камеры в свое описание при отправке нового запроса анимации в Luma.

Краткий итог: очевидно, что нейронная сеть Luma значительно продвинулась вперед, особенно в сравнении со своей предшественницей Stable Video Diffusion. Этот скачок характеризуется расширенным набором функций, включением промтов и возможностью определять как финальные, так и промежуточные кадры.

Кроме того, Luma демонстрирует более надежное сохранение исходного изображения персонажей, сложных деталей и др.

Несмотря на достигнутые успехи, в нейросети Luma есть еще некоторые проблемы:

  • Luma может проигнорить ваш промт, если неясно, как его выполнить с данным изображением;
  • выражения лиц людей могут меняться во время анимации;
  • действиям, особенно связанным с ходьбой, может не хватать ощущения реальности.

Тем не менее, важно признать, что нейронные сети развиваются быстрыми темпами, и вполне вероятно, что Luma значительно улучшится в ближайшем будущем.

В настоящее время с помощью нейронных сетей можно добиться весьма впечатляющих анимированных изображений, а результаты дополнительно улучшить с помощью других инструментов постобработки.

Пример с постобработкой:

Существует альтернатива Luma

Вышла нейросеть KLING, которая может оживлять изображения и фотографии лучше, чем Luma - рекомендуем ознакомиться: Описание нейросети Kling

1313
22
8 комментариев

Так он бабки просит бот этот…;)

3
Ответить

А в статье есть упоминание что это бесплатно?

Ответить

Спасибо за подробный гайд по анимации в нейросети Luma. Luma - это сестра Stable Diffusion?

Ответить

Это гораздо круче, чем Stable Video Diffusion, если про нее речь

Ответить

Вспомнила ролик "Luma попросили показать обычные соревнования по фигурному катанию".

Ответить