Обзор топовых нейросетей для генерации видеоконтента

С каждым днём появляется всё больше нейросетей различных компаний с одинаковыми ИИ-инструментами. В поисках наиболее эффективных, а также для их изучения, мы тратим слишком много времени. Компания AIUI решила облегчить поиск наиболее эффективных и удобных в использовании услуг по генерации изображений.

Сегодня делаем обзор 5 нейросетей!

В каждом наборе представлены по два видео с героями мультсериала Губка Боб Квадратные Штаны (Губкой и Патриком). Первое видео каждого персонажа создано без промта, а вторые - с идентичным промтом для обоих.

Промт для Губки Боба: "The character in the photo is laughing, dancing and tossing a cooking spatula."

Промт для Патрика: "The camera pulls away from the main character as he smokes a cigarette and shakes his head."

Промты краткие, но довольно сложные. Они описывают динамичный сюжет с активными действиями персонажей. Изначально можно предположить, что нейросети не справятся с такой задачей, но именно в этом и заключается интерес - увидеть, какая из них окажется ближе к заданному сценарию или предложит интересную импровизацию.

Перейдём к нейросетям:

1. Kaiber требует два промта. Нейросеть отказывается импровизировать сама и работает только по запросу, поэтому тут для примера только 2 видео.

Сначала описание сцены, затем стиль видео (реалистичный, мультяшный, карандашный, акварельный и т.д.). Нейросеть генерирует несколько вариантов в формате превью, из которых можно выбрать любой для дальнейшей анимации. Процесс быстрый, предоставляется 2-3 бесплатные генерации.

Генерация вариантов происходит последовательно, нельзя загрузить несколько промтов одновременно. Результат интересный (Патрик стал настоящим волосатым скуфом), но больше похож на простую анимацию фото, чем на полноценное оживление с использованием камеры, освещения, перспективы и сюжета. Это существенный недостаток подобных сервисов. Их достаточно много и все они довольно однообразны. Гораздо эффектней полноценно оживлять фото и наблюдать за развитием сюжета. С промтом нейросеть справилась, мягко говоря, не очень, но это ожидаемо.

Однако стоит отметить высокую детализацию и качество. В этом сервис превосходит многие другие из списка и вообще из других рейтингов.

2. Pika Labs позволяет загрузить как просто фотографию, так и описать желаемые действия в одном промте.

Генерация происходит довольно быстро, возможно создание нескольких вариантов одновременно. Точное количество не указано, но в этот раз все 4 варианта генерировались параллельно. В целом, ситуация схожа с Kaiber. Нейросеть обычно не справляется с сюжетом и расширением фото, а камера долго приближается или отдаляется, что не очень впечатляет. С промтом справилась также посредственно, но хотя бы присутствует некоторое движение камеры.

3. Haiper недавно подверглась значительному обновлению, хотя глобальных изменений не наблюдается.

Основные изменения:

- количество бесплатных генераций в день сократилось до 10 (ранее был безлимит), а максимальное количество одновременных генераций уменьшилось до трех.

Работает достаточно быстро, хотя промт сначала попадает в небольшую очередь и лишь после этого генерируется. В целом, весь процесс занимает не более 10 минут.

Нейросеть способна выдать впечатляющие результаты, но для получения качественного видео может потребоваться значительное время, так как многие генерации получаются некачественными, и поиск "алмаза" среди них - процесс длительный. Преимуществом является способность иногда отлично анимировать задний план фотографий, однако, исходя из предыдущего опыта, создание динамичного контента маловероятно.

Стоит отметить, что нейросеть плохо справляется с анимацией движений и людей. Работа с камерой оставляет желать лучшего, практически отсутствует импровизация и, повторюсь, динамика. Результат выглядит качественнее и немного живее, но с заданным промтом все равно не справляется.

4.Luma AI - действительно впечатляющий инструмент, за развитием которого будет интересно наблюдать.

На сегодняшний день это одна из самых качественных общедоступных нейросетей для генерации видео, к тому же с бесплатными генерациями. Однако процесс генерации крайне медленный.Ожидание результата может занять от нескольких часов до суток. Это обусловлено огромными очередями, пик которых приходится на дневное время. При отправке промта днем можно рассчитывать на получение результата не раньше, чем через 5 часов (бывали случаи ожидания до 16 часов).

Сам процесс генерации (без учета времени ожидания в очереди) достаточно быстрый, сопоставимый с другими нейросетями. Условия использования меняются практически ежедневно. Недавно пользователям было доступно 30 генераций в месяц с ограничением в 5 генераций в день. Затем их количество в день снизили до 3, а сейчас увеличили до 20. Аналогично менялось и количество одновременных вариантов генерации: от 3 до 1 и обратно к 3.

Среди существенных недостатков также можно отметить ограничение на описание промта и недостаток параметров для указания движения камеры, стиля, освещения и сюжета.

Однако недавно было добавлено интересное новшество - возможность использовать две фотографии в промте: первую как начальный кадр, вторую как конечный. В этом случае нейросеть выстраивает сюжет, плавно (или не очень, в зависимости от удачи) переходя от первого изображения ко второму.

С заданными промтами Luma AI справилась относительно неплохо. В видео присутствует динамика, заметно смещение камеры, импровизация и сравнительно мало ошибок. При генерации дополнительных вариантов возможно получение еще более качественных результатов. Стоит отметить, что при генерации видео без фото-референса качество может быть ниже.

5. Отдельного внимания заслуживают Runway Gen2 и Gen3. Так как в политике ИИ прописано, что с нуля популярных персонажей и личностей нельзя создавать, были сгенерированы другие видео.

Gen2 уже не соответствует современным требованиям, особенно в сравнении с такой альтернативой, как Luma. Однако Gen2 все еще способна анимировать фотографии, чего пока нет в Gen3.

Gen3, в свою очередь, значительно превосходит Luma в генерации видео, настройке промптов, специальных параметров и общей гибкости при создании видеоконтента.

В Gen3 можно настроить камеру по своему усмотрению, и генерация будет точно следовать заданному промту. Есть возможность установить освещение и общую цветовую палитру по желанию, и результат будет соответствовать заданным параметрам. Реалистичность результатов впечатляет, динамика также легко настраивается через промт. Качество отличное, а количество ошибок минимальное. Если в Gen3 добавят возможность анимации фотографий с дополнительными промтами, это может сделать Luma менее актуальной.

Gen3 генерирует видео довольно быстро, примерно как и другие нейросети, но с существенным преимуществом. Она способна создавать видео длительностью до 10 секунд, в то время как остальные ограничены 4-5 секундами.

Рынок нейросетей для генерации видео и анимации фотографий стремительно развивается. Каждый инструмент имеет свои сильные и слабые стороны. Luma AI впечатляет качеством и бесплатными генерациями, но страдает от длительного времени ожидания. Haiper предлагает интересные возможности, но требует терпения для получения качественных результатов. Kaiber и Pika Labs хороши для простой анимации, но ограничены в создании сложных сюжетов.

Runway Gen3 выделяется своей гибкостью в настройках и качеством выходного материала, становясь серьезным конкурентом для других платформ. Однако отсутствие функции анимации фотографий пока сдерживает его потенциал.

Хочется отметить, что крутая нейросеть - Sora все также пока недоступна

Ещё больше интересного о сфере ИИ читайте в нашем телеграм-канале AIUI.