Stability AI наконец-то представила сайт для Stable Video, на котором можно генерировать видео
Stability AI впервые представила Stable Video в ноябре 2023 года, опубликовав коды моделей на GitHub и веса на HuggingFace, чтобы пользователи могли скачать их и запустить локально на мощном оборудовании.
Если вам интересна тема нейросетей, подпишитесь пожалуйста на мой канал про нейросети, а если вы хотите больше узнать про генерацию изображений, добро пожаловать в этот канал!
Но как быть тем, у кого нет мощного GPU или технических навыков для установки всего этого? На этой неделе компания Stability AI наконец-то запустила свой сайт со Stable Video, и теперь каждый может попробовать сгенерировать видео.
Все, что вам нужно для начала, - это учетная запись Google и веб-браузер.
Что такое Stable Video?
Stable Video Diffusion - это мощный инструмент, предназначенный для широкого спектра видеоприложений в сфере медиа, развлечений, образования и маркетинга. Он позволяет пользователям превращать текст и изображения в яркие сцены, превращая идеи в реальные видео.
Stable Video Diffusion выпускается в виде двух моделей преобразования изображения в видео, способных генерировать 14 и 25 кадров с настраиваемой частотой кадров от 3 до 30 в секунду.
Вот на что она способна:
- Продолжительность видео: 2-5 секунд
- Частота кадров: до 30 FPS (кадров в секунду)
- Время обработки: 2 минуты или меньше
Как это работает?
В основе Stable Video Diffusion лежит сложный процесс, использующий диффузионные модели (DM), управление без классификаторов и архитектуру базовой модели, специально разработанную для создания видео.
Если вы хотите узнать больше о том, как это работает, ознакомьтесь с этим техническим описанием.
Примеры видео
Приведенные ниже примеры видео были созданы сообществом и представлены на сайте Stable Video.
Как получить доступ к Stable Video?
Перейдите на их сайт и войдите в систему, используя свою учетную запись Google. Панель управления выглядит следующим образом:
Вы можете описать видео с помощью текстового промпта или загрузить изображение в качестве исходных данных. При регистрации вы получите 150 бесплатных кредитов.
Вот пример с текстовым промптом:
ИИ не будет сразу выдавать видео.
Сначала ИИ генерирует четыре изображения, позволяя вам выбрать наиболее понравившееся. После нажатия кнопки "proceed" начинается генерация финального видео. Пока вы ждете, ИИ Stability использует это время, показывая вам два видео и запрашивая ваши предпочтения, чтобы помочь улучшить будущие модели.
Примерно через две минуты видео будет готово.
Хотя качество пока не может полностью сравниться с качеством Sora, оно все равно достаточно приличное.
Примечание: Генерация с помощью текстового промпта обойдется вам в 11 кредитов. Использование изображения в качестве исходных данных стоит 10 кредитов за генерацию.
Давайте попробуем другой пример. Изображение, которое я использовал ниже, - это кадр из одного из примеров Sora от OpenAI.
Вот конечный результат:
Сколько это стоит?
Новые пользователи получают 150 бесплатных кредитов. Дополнительные кредиты можно приобрести следующим образом:
- $10 за 500 кредитов: около 50 генераций видео.
- $50 за 3 000 кредитов: около 300 генераций видео.
Можно ли использовать видео в коммерческих целях?
К сожалению, нет.
Stability AI предоставляет код модели и весовые коэффициенты для исследовательских и некоммерческих целей. Лицензия и политика приемлемого использования Stability содержат конкретные ограничения.
В целом я рад, что на этой неделе был анонсирован еще один ИИ-видеогенератор. Темпы прогресса в области ML за последний год поражают воображение.
Мне не терпится увидеть, что люди будут делать с этим, когда ControlNet будет должным образом адаптирован к видео. Генерировать видео с нуля - это круто, но реальная польза от этого будет заключаться во временной последовательности.
Можно ли сравнить это с Sora? Не совсем.
Для получения качественного видео из стабильной диффузии обычно требуется много ручной постобработки для устранения мерцания. Возможно, после еще нескольких версий он станет таким же хорошим, как Sora.
Кроме того, ценник в 10 долларов за 50 видеороликов, на мой взгляд, тоже дороговат. Если у вас есть высокопроизводительный GPU, просто запустите видеомодель на своем ПК и генерируйте неограниченное количество видео бесплатно.
Если вам интересна тема нейросетей, подпишитесь пожалуйста на мой канал про нейросети, а если вы хотите больше узнать про генерацию изображений, добро пожаловать в этот канал!
Источник - здесь.
Мдееее
не хуже марвела
Это точно ).
а больше бесит, что сервисы еще кривые и сырые пздц, зато уже бабки просят за генерацию. Было бы за что просить.
Хаха, это же шедевр! Какой промпт использовался?
white men fighting black men (причем множественное число ии успешно проигнорил)
Ну почему же проигнорил. Второго же тоже отдачей отбросило ).
Шедевр про новых супергероев ).
Даже придумать название не смог )
Это битва резиновых человечков ).
ну интересно выглядит. смешно
О, затестил.
Вот такую кринжатину сделал с фотки, которую сам же сгенерировал)
Да уж ))...Ребятам еще работать и работать.
Рановато они платные тарифы ввели. Пока не за что платить.
Вот вот )
Хотя промт был идеально расписан )
ну быстро пофиксят
Очень нравится, что генерировать видео стало так просто
Это да. И конкуренция растет ).
А сделайте с моей аватаркой ожившую
Пожалуйста (волшебное слово)
Нууу, такое...
Ну блин 🫤
Я думал там голову поверну или подмигну.
Хотя дареному коню как говорится.
Спасибо ☺️
Скорее всего, это уже в Sora можно будет сделать).
Спасибо, интересно!
Пожалуйста!
Ролики только по 4 сек? 🫨
Да. И будет тупо, если не сделают увеличение продолжительности ролика, как в pika.
Вспоминаю начало 90-ых и первый "живой" прон в виде зацикленных анимированных gif файлов. 4 секунды - вполне хватало.
А есть гайд, как на ПК поставить?
У меня нет, но в интернете, думаю, валом.
Комментарий недоступен
Без регистрации навряд ли. Разве что Stable Video Diffusion на ПК установить.
Странный пример.. походе на видео товаров от Ozon
Если чё это появилось уже 2 месяца назад и в 4 раза дешевле) я вот целый ролик собрал https://mangatv.shop/api/video/4BaXZ7dU0pB6XGyyqtwbv.mp4
Класс
Ну ролики крутые получаются
Чтобы получался хороший результат нужно знать возможности и ограничения.
В целом проект будущего, который уже сейчас делает неплохо. Но немного дороговато, учитывая что первое время будешь много тестировать, чтоб понимать рамки
Sora - это пока фейк, никто не видел в действительности как она работает
на стикеры сойдет