Luma AI: как бесплатно оживить фото

Подробная инструкция по использованию нейросети, доступной каждому.

Luma AI создаёт пятисекундные видео. Их особенность — плавное движение и кинематографичность. Можно оживлять фото и картинки или обратиться к нейросети с текстовым запросом. Результат, скорее всего, вас повеселит.

В чём смысл?
Как создать видео
Цена

На самом деле Luma AI — это компания, которая создала сервис Dream Machine. Он умеет оживлять изображения и генерировать видео по описанию. Модель тренировали именно на видео, поэтому результаты получаются реалистичными, без явных искажений.

Но пока нейросеть несовершенна. Например, Dream Machine может написать слово с ошибками, превратить бегущую собаку в летящую или сгенерировать медведя с двумя головами.

Та самая летящая собака.

Luma AI постоянно работает над своим продуктом — 14 августа 2024 года компания объявила об обновлении Dream Machine 1.5. В нём анонсировано более качественное понимание промптов, пользовательских подсказок и улучшенное преобразование картинок в текст.

Важно запастись терпением — нейросеть обрабатывает запрос в бесплатном тарифе около часа. Из плюсов — можно отправить сразу несколько коротких формулировок — промтов. Они будут стоять в очереди, пока вы занимаетесь своими делами.

Генерировать видео можно прямо в браузере. Для начала авторизуйтесь на сайте — потребуется Google-аккаунт, другого способа завести профиль пока нет.

Далее сервис предложит два варианта: сгенерировать видео или загрузить изображение, которое хотите оживить. Для каждого сценария в Luma есть подробный гайд.

Рекомендации для создания идеального текстового промта такие:

Чем точнее, тем лучше. Смело описывайте желаемые объекты, окружение и прочие детали, которые хотите увидеть в качестве результата. Напишите, как должна двигаться камера, а что — делать ваши герои.
Учитывайте эмоции и атмосферу. В отдельном предложении упомяните, какими они должны быть в вашем видео.
Без сложных терминов и жаргона. Модель лучше справится с запросом, если вы напишете его простым языком.

Также в Luma есть фича ‘enhance prompt’ — выглядит она как чекбокс под строкой ввода.

Галочка уже стоит по умолчанию, и создатели крайне рекомендуют её не убирать. Нейросеть сама внесёт конкретику в запрос, чтобы ИИ справился с задачей лучше. Совет рабочий: с выключенной функцией нейросеть покрасила в розовый не таксу, а тапки хозяина. Запрос был таким: “pink dachshund runs after his owner's slippers” — «розовая такса бежит за тапочками хозяина».

Запрос с включенным ‘enhance prompt’

Запрос с неактивным ‘enhance prompt’

Если же результат с ‘enhance prompt’ не устраивает, можно снять галочку и ввести расширенный запрос вручную. Понадобится 3–4 предложения — описание визуала сцены — кого и где нужно показать — и движения.

Результат по примеру промта из гайда Luma AI вышел странным. Похоже, с анатомией сервис пока справляется не очень.

“A woman dancing ballet, her arms gracefully extending upward as she twirls around, the dancers behind her bowing low to the ground” — «Женщина танцует балет, когда она вращается, ее руки грациозно вытянуты вверх, танцоры позади нее низко кланяются».

Можно использовать собственное изображение или сгенерировать с помощью нейросетей. В рекомендованном списке ИИ — Midjourney, DALL·E, Leonardo. Лучше всего видео получится, если исходная картинка будет с соотношением сторон 16:9 (Luma AI обучали именно на этом формате). Загружать можно в JPG, JPEG и PNG.

После загрузки картинки уточните в текстовом промте, что хотите получить в итоге. Проверьте, что галочка в чекбоксе ‘enhance prompt’ на месте. Если результат не подойдёт, шаги те же, что и при генерации видео по тексту: снимаем галочку и пишем подробный запрос. Оставить поле для текста совсем пустым тоже можно.

Один из вариантов, который уже полюбился пользователям Luma — оживлять старые мемы. Вот каким получился оживший кот.

А здесь после загрузки двух мемов один кот превращается в другого.

Ещё несколько примеров роликов с мемами на YouTube.

Каждому пользователю доступен тариф Free с 30-ю бесплатными генерациями в месяц. В день можно отправить не более 10 запросов. Коммерческое использование видео не допускается, результат сохраняется с водяным знаком.

Стоимость платных тарифов начинается от $29.99 — во столько обойдётся пакет Standart. Он даёт 120 дополнительных генераций в месяц, приоритет в очереди и право на коммерческое использование контента без водяного знака. В день можно отправлять сколько угодно запросов.

Более продвинутые тарифы отличаются от Standart увеличенными лимитами генераций и меньшим временем ожидания: