Появился еще один сервис для генерации видео из текста

Можно воспользоваться Stable Video 1.1 прямо сейчас, и совершенно бесплатно.

Созданное моделью Stable Video 1.1 видео на основе текста по запросу "африканский слон". Источник

Что может модель?

Создавать короткие (до 4 сек.) видео, можно попробовать тут уже сейчас. Модель Stable Video Diffusion обучена создавать 25 кадров с разрешением 576x1024.

После недавнего скандала с Gemini, разработчики Stable Video Diffusion оговариваются, что модель предназначена только для исследовательских целей (например, для понимания возможностей и ограничений генеративных моделей) или как креативный инструмент: для художественных или образовательных намерений.

Модель не нацелена на правдивое изображение людей или событий и фотореализма. “Использование модели для создания такого контента выходит за рамки возможностей этой модели” и нарушает правила компании.

Качество видео чуть хуже, чем у Sora (продукт OpenAI), но вполне хорошее:

Сравнение возможностей для генерации видео двух конкурирующих моделей.

Кто разработчик?

Автор модели - компания Stability AI. Это опенсорсная компания, основанная в 2019 году с весьма амбициозной целью: “демократизации ИИ и создания глобальной основы для активации потенциала человечества”.

По словам компании, она уже собрала сообщество из более чем 300 тыс. авторов, разработчиков и исследователей по всему миру. У компании есть свыше 10 млн. пользователей, которые появились уже через 2 мес. после запуска сервиса. В конце 2023 года компания получила $50 млн инвестиций от Intel.

Stability AI представила свою модель генерации видео по тесту раньше, чем OpenAI. Буквально на днях компания представила Stable Diffusion 3 - новую модель для генерации изображений по тексту. У компании также есть генератор музыки, 3D объектов.

OpenAI выпустил модель Sora для генерации видео из текста в середине февраля, а чуть ранее Google выпустил модель Lumiere с аналогичным функционалом.

Подробнее о том, почему создание моделей для генерации видео из текста непростая техническая задача и какое у этого может быть практическое применение - читайте тут.

Пожалуйста, поддержите меня, поставьте лайк!

33
Начать дискуссию