Как оживить фото с помощью нейросети? | Топ 4 нейросети для оживления фото

Оживление фотографии - это процесс, который стал возможен каждому благодаря появлению нейросетей. Вы можете легко сделать видео из фото с помощью нейросетей, и это без скачивания и установки каких-либо сложных программ - все делается удаленно, на сервере. А если у вас нет фото - его тоже вы можете сделать с помощью нейросетей. Давайте попробуем оживить фотографию в разных нейросетях с одним и тем же запросом и посмотрим, что у нас получится

Содержание

Как оживить фото? | Наш подход

1. Берем фотографию, которую будем оживлять

Для оживления фотографии мы будем использовать четыре нейросети: Veo 3, Veo 3 Fast, Luma, Midjourney Video. Все эти нейросети должны прекрасно справиться с этой задачей, но у них есть свои плюсы и минусы, о них - позже

Оживлять фото мы будем в телеграмм-боте Нейрон

В качестве подопытной фотографии берем эту:

Фото крестьянина, найденное на просторах интернета
Фото крестьянина, найденное на просторах интернета

Для достижения наилучшего результата я для начала улучшу разрешение и качество этой фотографии, также через Нейрон бот

Как улучшить качество фото

Теперь эту увеличенную фотографию с хорошим качеством мы будем использовать для оживления

2. Теперь нам нужно сформулировать запрос к нейросети (промпт)

Нейросеть должна понять, а как именно мы хотим оживить фотографию. Какие действия должны на ней происходить, куда должна поворачиваться камера и что на фото в этот момент должен делать человек. Для этого нам нужно написать промпт. Советы по написанию промптов, а также готовые промпты вы можете найти в нашем телеграмм канале и в нашей библиотеке, здесь я это объяснять не буду, так как статья не об этом. Но мы обязательно напишем об этом или сделаем об этом видео на нашем Youtube канале.

Здесь я только лишь скажу, что нейросети лучше всего понимают английский язык, поэтому промпты надо писать на английском. Вот пример хорошего (но не идеального) промпта для оживления фотографии через нейросеть (на английском):

The man in the photo slowly lifts the bread on the tray and begins to smile. The weather is slightly windy, so the tablecloth is slightly swaying in the wind. The camera is static, not moving. Video style - a black and white film from the 30s

Промпт на английском

Мужчина на фотографии медленно приподнимает хлеб на подносе и начинает улыбаться. Погода слегка ветренная, так что скатерть слегка колышется на ветру. Камера статична, не двигается. Стиль видео - черно-белый фильм 30ых годов

Перевод промпта

Начинаем оживление фотографии

Оживлять мы будем в четырех нейросетях. Стоит отметить, что первые две поддерживают генерацию звука и речи, поэтому для них мы дополним наш промпт. Расположил нейросети в порядке убывания "крутости" самой нейросети и ее результата. А найти эти нейросети можно тут:

Кстати, там добавилось еще много нейросетей. Теперь их более 16 и они доступны всего от 29 рублей для пробы.

1. VEO 3

Это сильная нейросеть для генерации кинематографичных видео. Она может генерировать речь, в том числе и русскую, поэтому давайте дополним наш промпт:

Мужчина на фотографии медленно приподнимает хлеб на подносе и начинает улыбаться. Погода слегка ветренная, так что скатерть слегка колышется на ветру. Камера статична, не двигается. Стиль видео - черно-белый фильм 30ых годов. После того как мужчина поднял хлеб на подносе, он произносит с улыбкой Милости прошу к нам в гости, заходи не стесняйся

Дополненный промт на русском

The man in the photo slowly lifts the bread on the tray and begins to smile. The weather is slightly windy, so the tablecloth is slightly swaying in the wind. The camera is static, not moving. The video style is a black and white film from the 30s. After the man picked up the bread on the tray, he says with a smile милости прошу к нам в гости, заходи не стесняйся. NO SUBTITLES

Дополненный промт на английском, после перевода

Если вы хотите, чтобы речь была на русском - ОБЯЗАТЕЛЬНО пишите его на русском в промте, без кавычек, двоеточий и прочего. Просто сплошным текстом, но на русском. Как неграмотный ребенок-первоклассник. Иначе, VEO переведет все на английский

Так как фотография у нас - вертикальная, то выбираем формат 9:16

Примечание: формат 16:9 может быть в качестве 1080p, в то время как 9:16 - только 720p

Вот видео с пошаговым объяснением куда нажимать:

А вот и результат:

Результат оживления. Не забудьте включить звук.

Итоги: данная нейросеть справилась с оживлением очень круто. Конечно, промпт желательно доработать и сгенерировать еще раз, но на этом для 90% моих задач уже хорошо.

Плюсы данной нейросети:

  • Хорошо озвучивает видео
  • Дает результат в качестве 1080р для формата 16:9 (горизонтального)
  • Хорошо может делать кинематографичные и красочные видео
  • Дает видео длиной 8 секунд

Минусы данной нейросети:

  • Нужно хорошо и детально написать промпт. Желательно, использовать JSON-промптинг (о нем будет позже). Иначе, деньги в трубу
  • Очень дорогая. Стоимость данного оживления - 250 токенов (около 500 рублей)
  • Нельзя прикрепить конечный кадр, которым закочнится видео

На мой взгляд, для задачи оживления фотографии использовать VEO 3 - глупая затея. Оживить фото можно почти в 5 раз дешевле - через VEO 3 Fast и результат ничем не хуже. И на этом, переходим к следующей нейросети

2. VEO 3 Fast

Эта нейросеть работает быстрее и используется в случаях, когда вся мощь VEO 3 не нужна. Этот пример оживления фотографии - идеальный для демонстрации VEO 3 Fast

Промпты, фото - используем такие же, как и для VEO 3, просто выбираем другую нейросеть в Нейрон бот

Вот видео, куда заходить:

А вот и результат:

Результат оживления. Не забудьте включить звук

Итоги: данная нейросеть справилась ничем не хуже, чем VEO 3. Неопытный взгляд вряд-ли заметит отличия

Плюсы данной нейросети:

  • Хорошо озвучивает видео
  • Дает результат в качестве 1080р для формата 16:9 (горизонтального)
  • Цена. Данное видео - примерно 120 рублей
  • Дает видео длиной 8 секунд

Минусы данной нейросети:

  • Нельзя прикрепить конечный кадр, которым закочнится видео

Использовать VEO 3 и VEO 3 Fast целесообразнее всего тогда, когда вам нужен звук в видео. Но, если вам нужно просто оживить картинку или фотографию без звука, то дешевле всего воспользоваться оставшимися двумя нейросетями: Luma и Midjourney Video

3. Luma

Данная нейросеть может оживить вашу фотографию и перевести фото в видео без звука, но достаточно быстро и дешево.

Запрос для данной нейросети формируем без прямой речи, так, как мы сформулировали тут

Оживлять фотографию будем также через бот Нейрон:

Вот видео с отправкой задания в Luma:

А вот и результат:

Результат оживления фотографии через Luma

Итоги: данная нейросеть неплохо оживила фотографию, но сделала это дольше, чем VEO и без звука. Да и запрос не особо поняла, но это моя проблема, не слишком подробно расписал. Однако, цена достаточно приятная - примерно 80 рублей за 1 видео.

Плюсы данной нейросети:

  • Можно выбрать начальный и конечный кадры вашего видео
  • Может делать видео длиной до 10 секунд
  • Может генерировать любые видео без стартовых кадров
  • Большой выбор форматов видео

Минусы данной нейросети:

  • Иной раз она плохо вас понимает с первого раза
  • Генерация видео происходит без звука
  • Долгая генерация

Замыкает наш рейтинг - Midjourney Video

4. Midjourney Video

Данная нейросеть от разработчиков известной нейросети для создания изображений Midjourney. И она, как и при генерации изображений, делает вам аж целых 4 видео! А после генерации, если вам не хватило длины, вы можете продлить понравившееся вам видео.

Запрос для данной нейросети формируем без прямой речи, так, как мы сформулировали тут

Оживление фото делаем в Нейрон бот:

Вот видео с отправкой задания на оживление фотографии в Midjourney Video:

А вот и результат:

Отобрал из четырех вариантов самый лучший

Итоги: данная нейросеть хорошо оживляет фотографии и выдает вам целых четыре варианта. Вы можете выбрать любой понравившийся. Да и очень быстро сгенерировала, что очень приятно. Цена тоже порадовала - примерно 80 рублей за генерацию

Плюсы данной нейросети:

  • Можно продлить видео после генерации (на самом деле, продлить можно везде, вставив конечный кадр в качестве начального)
  • Выдает 4 варианта видео, есть из чего выбрать
  • Приятная цена: 20 рублей за видео (4 видео - примерно 80 рублей)
  • Поддерживает два режима генерации: быстрый и медленный (быстрый - для динамичных видео, медленный - для более статичных и драматичных сцен)
  • Быстро работает

Минусы данной нейросети:

  • Длина видео - только 5 секунд
  • Не поддерживает генерацию звука
  • Иногда выдает непредсказуемые результаты:)

Более 16 нейросетей, от 10 рублей за генерацию видео

2
Начать дискуссию