Stability AI наконец-то представила сайт для Stable Video, на котором можно генерировать видео

Stability AI впервые представила Stable Video в ноябре 2023 года, опубликовав коды моделей на GitHub и веса на HuggingFace, чтобы пользователи могли скачать их и запустить локально на мощном оборудовании.

Если вам интересна тема нейросетей, подпишитесь пожалуйста на мой канал про нейросети, а если вы хотите больше узнать про генерацию изображений, добро пожаловать в этот канал!

Но как быть тем, у кого нет мощного GPU или технических навыков для установки всего этого? На этой неделе компания Stability AI наконец-то запустила свой сайт со Stable Video, и теперь каждый может попробовать сгенерировать видео.

Все, что вам нужно для начала, - это учетная запись Google и веб-браузер.

Stable Video Diffusion - это мощный инструмент, предназначенный для широкого спектра видеоприложений в сфере медиа, развлечений, образования и маркетинга. Он позволяет пользователям превращать текст и изображения в яркие сцены, превращая идеи в реальные видео.

Stable Video Diffusion выпускается в виде двух моделей преобразования изображения в видео, способных генерировать 14 и 25 кадров с настраиваемой частотой кадров от 3 до 30 в секунду.

Вот на что она способна:

• Продолжительность видео: 2-5 секунд
• Частота кадров: до 30 FPS (кадров в секунду)
• Время обработки: 2 минуты или меньше

В основе Stable Video Diffusion лежит сложный процесс, использующий диффузионные модели (DM), управление без классификаторов и архитектуру базовой модели, специально разработанную для создания видео.

Если вы хотите узнать больше о том, как это работает, ознакомьтесь с этим техническим описанием.

Приведенные ниже примеры видео были созданы сообществом и представлены на сайте Stable Video.

Перейдите на их сайт и войдите в систему, используя свою учетную запись Google. Панель управления выглядит следующим образом:

Вы можете описать видео с помощью текстового промпта или загрузить изображение в качестве исходных данных. При регистрации вы получите 150 бесплатных кредитов.

Вот пример с текстовым промптом:

ИИ не будет сразу выдавать видео.

Сначала ИИ генерирует четыре изображения, позволяя вам выбрать наиболее понравившееся. После нажатия кнопки "proceed" начинается генерация финального видео. Пока вы ждете, ИИ Stability использует это время, показывая вам два видео и запрашивая ваши предпочтения, чтобы помочь улучшить будущие модели.

Примерно через две минуты видео будет готово.

Хотя качество пока не может полностью сравниться с качеством Sora, оно все равно достаточно приличное.

Примечание: Генерация с помощью текстового промпта обойдется вам в 11 кредитов. Использование изображения в качестве исходных данных стоит 10 кредитов за генерацию.

Давайте попробуем другой пример. Изображение, которое я использовал ниже, - это кадр из одного из примеров Sora от OpenAI.

Вот конечный результат:

Новые пользователи получают 150 бесплатных кредитов. Дополнительные кредиты можно приобрести следующим образом:

• $10 за 500 кредитов: около 50 генераций видео.
• $50 за 3 000 кредитов: около 300 генераций видео.

К сожалению, нет.

Stability AI предоставляет код модели и весовые коэффициенты для исследовательских и некоммерческих целей. Лицензия и политика приемлемого использования Stability содержат конкретные ограничения.

В целом я рад, что на этой неделе был анонсирован еще один ИИ-видеогенератор. Темпы прогресса в области ML за последний год поражают воображение.

Мне не терпится увидеть, что люди будут делать с этим, когда ControlNet будет должным образом адаптирован к видео. Генерировать видео с нуля - это круто, но реальная польза от этого будет заключаться во временной последовательности.

Можно ли сравнить это с Sora? Не совсем.

Для получения качественного видео из стабильной диффузии обычно требуется много ручной постобработки для устранения мерцания. Возможно, после еще нескольких версий он станет таким же хорошим, как Sora.

Кроме того, ценник в 10 долларов за 50 видеороликов, на мой взгляд, тоже дороговат. Если у вас есть высокопроизводительный GPU, просто запустите видеомодель на своем ПК и генерируйте неограниченное количество видео бесплатно.

Если вам интересна тема нейросетей, подпишитесь пожалуйста на мой канал про нейросети, а если вы хотите больше узнать про генерацию изображений, добро пожаловать в этот канал!

Источник - здесь.