Stability AI наконец-то представила сайт для Stable Video, на котором можно генерировать видео

Stability AI впервые представила Stable Video в ноябре 2023 года, опубликовав коды моделей на GitHub и веса на HuggingFace, чтобы пользователи могли скачать их и запустить локально на мощном оборудовании.

Если вы хотите больше узнать про генерацию изображений, добро пожаловать в этот канал!

Но как быть тем, у кого нет мощного GPU или технических навыков для установки всего этого? На этой неделе компания Stability AI наконец-то запустила свой сайт со Stable Video, и теперь каждый может попробовать сгенерировать видео.

🔥Телеграм-бот SYNTX предоставляет доступ к более чем 40 нейросетям. Без ВПН, оплата любой картой, запросы на любом языке, пробуйте бесплатно!
🎙 Общайтесь в одном диалоговом окне с GPT4o/Gemini/Claude, выход в интернет, работа с файлами, неограниченное количество символов!
👨‍🎨 Создавайте изображения в MidJourney, DALL-E 3 и Ideogram
🆕 Любой образ, в любой локации с вашим фото сделает ФотоМастер
🎞 Генерируйте видео текстом или по картинке
🎵 Сочиняйте мировые хиты с помощью Suno
🖼 Редактор с 12 различными ИИ-инструментами для ретуши фото
☝️Это только часть функций, доступных в SYNTX!

Все, что вам нужно для начала, - это учетная запись Google и веб-браузер.

Stable Video Diffusion - это мощный инструмент, предназначенный для широкого спектра видеоприложений в сфере медиа, развлечений, образования и маркетинга. Он позволяет пользователям превращать текст и изображения в яркие сцены, превращая идеи в реальные видео.

Stable Video Diffusion выпускается в виде двух моделей преобразования изображения в видео, способных генерировать 14 и 25 кадров с настраиваемой частотой кадров от 3 до 30 в секунду.

Вот на что она способна:

Продолжительность видео: 2-5 секунд
Частота кадров: до 30 FPS (кадров в секунду)
Время обработки: 2 минуты или меньше

В основе Stable Video Diffusion лежит сложный процесс, использующий диффузионные модели (DM), управление без классификаторов и архитектуру базовой модели, специально разработанную для создания видео.

<p>Изображение из технического описания Stable Video</p>

Если вы хотите узнать больше о том, как это работает, ознакомьтесь с этим техническим описанием.

Приведенные ниже примеры видео были созданы сообществом и представлены на сайте Stable Video.

Промпт: aurora borealis

Промпт: african elephant

Промпт: depth of field anime girl operating space shuttle cockpit close-up laser light show reflective mirrors god rays ray tracing metallicsaturated vivid colors a stunning Asian female fashion model with long brown in the style of daz3d, cartoon-like characters, glamorous pin-ups, shiny eyes, artgerm, 32k uhd, cute cartoonish designs prismatic colors bending light speed curves background

Промпт: A majestic unicorn disintegrates back into ash in a blaze of holographic ash that dissipates on the wind

Перейдите на их сайт и войдите в систему, используя свою учетную запись Google. Панель управления выглядит следующим образом:

Вы можете описать видео с помощью текстового промпта или загрузить изображение в качестве исходных данных. При регистрации вы получите 150 бесплатных кредитов.

Вот пример с текстовым промптом:

Промпт: A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.

ИИ не будет сразу выдавать видео.

Сначала ИИ генерирует четыре изображения, позволяя вам выбрать наиболее понравившееся. После нажатия кнопки "proceed" начинается генерация финального видео. Пока вы ждете, ИИ Stability использует это время, показывая вам два видео и запрашивая ваши предпочтения, чтобы помочь улучшить будущие модели.

Примерно через две минуты видео будет готово.

Хотя качество пока не может полностью сравниться с качеством Sora, оно все равно достаточно приличное.

Примечание: Генерация с помощью текстового промпта обойдется вам в 11 кредитов. Использование изображения в качестве исходных данных стоит 10 кредитов за генерацию.

Давайте попробуем другой пример. Изображение, которое я использовал ниже, - это кадр из одного из примеров Sora от OpenAI.

Вот конечный результат:

Новые пользователи получают 150 бесплатных кредитов. Дополнительные кредиты можно приобрести следующим образом:

$10 за 500 кредитов: около 50 генераций видео.
$50 за 3 000 кредитов: около 300 генераций видео.

К сожалению, нет.

Stability AI предоставляет код модели и весовые коэффициенты для исследовательских и некоммерческих целей. Лицензия и политика приемлемого использования Stability содержат конкретные ограничения.

В целом я рад, что на этой неделе был анонсирован еще один ИИ-видеогенератор. Темпы прогресса в области ML за последний год поражают воображение.

Мне не терпится увидеть, что люди будут делать с этим, когда ControlNet будет должным образом адаптирован к видео. Генерировать видео с нуля - это круто, но реальная польза от этого будет заключаться во временной последовательности.

Можно ли сравнить это с Sora? Не совсем.

Для получения качественного видео из стабильной диффузии обычно требуется много ручной постобработки для устранения мерцания. Возможно, после еще нескольких версий он станет таким же хорошим, как Sora.

Кроме того, ценник в 10 долларов за 50 видеороликов, на мой взгляд, тоже дороговат. Если у вас есть высокопроизводительный GPU, просто запустите видеомодель на своем ПК и генерируйте неограниченное количество видео бесплатно.

Если вам интересна тема нейросетей, подпишитесь пожалуйста на мой канал про нейросети, а если вы хотите больше узнать про генерацию изображений, добро пожаловать в этот канал!

Источник - здесь.