Как генерировать видео нейросетью. И как ей пользоваться в России?
Stable Diffusion выпустила модель для генерации видео. Давайте посмотрим, что она умеет и как ей пользоваться.
Что это за нейросеть и как она генерирует видео?
Нейросеть создана компанией Stability, они же сделали популярный генератор изображений Stable Diffusion.
Далее текст из официальной инструкции производителя
Stable Video Diffusion — модель скрытой диффузии видео для современной передачи текста в видео высокого разрешения.и генерация изображения в видео. В последнее время модели скрытой диффузии , обученные для синтеза 2D-изображений, были переработаны в генеративные видеомодели путем вставки временных слоев и точной настройки их на небольших наборах высококачественных видеоданных. Однако, методы обучения в теории сильно различаются и отрасль еще не согласовала единую стратегию.
Из этого можем сделать вывод, что модель еще совсем сырая. Можно даже сказать, что тестовая, так как еще не создали единый механизм создания видеомоделей нейронок.
Что еще интересного из официальной инструкции?
Исходный набор данных содержит множество статичных сцен и монтажей, что вредит обучению генеративных видеомоделей.
Слева: среднее количество клипов на видео до и после обработки, что показывает, что наш механизм обучения обнаруживает множество дополнительных сокращений.
Справа: Распределение среднего показателя оптического потока для одного клипа.
Что она умеет
Генерация на основе текстового запроса
Можно ввести текстовый запрос и нейросеть выдасть видео. Генерация занимает 1-3 минуты.
Иногда получаются хорошие видео, но лучше генерировать только статичные вещи. К примеру, людей он генерирует плохо=(
Генерация видео на основе картинки
Это он делает лучше всего, вроде как...
Картинка+текст
А это хуже всего. Точнее, выходная картинка часто очень не похожа на входную...
Разрешения для генерации
Видео в Stable Video можно генерировать в трех форматах:
- Вертикальное 16:9 - 1024x576
- Горизонтальное 9:16 - 576x1024
- Квадрат 1:1 - 768x768
Дополнительные настройки:
Как и в генерации картинок, тут можно настраивать некоторые характеристики.
Совпадение исходному изображению
Можно указать, насколько видео на основе картинки будет соответствовать той самой исходной картинке. Но здесь нужно быть осторожным, при слишком высоких значениях нейросеть слишком сильно цепляется за изначальное изображение, как тут, к примеру (движется только небо):
Уровень движения
Очень полезная функция, при этом тоже с ней можно переборщить.
Нельзя указать, что именно должно двигаться.
На трех видео ниже уровень движения по возрастанию.
1. Движется только небо
2. Движется все
3. Нейросеть решила, что двигаться должны только облака, зато как быстро!
Ну и ужасные примеры, конечно же!
Нейросеть совсем новая и часто генерации получаются ужасными.
Как пользоваться нейросетью в России?
Для использования в своих сервисах через api этой нейросети, нужно оплатить доступ иностранной карты.
А для того, у кого ее нет, мы как обычно сделали доступ к этой нейросети со всеми настройками. К сожалению, нейросеть пока дорогая, потестировать можете ее тут в сервисе Video Bot KolerskyAi.
Тут есть подробная инструкция и больше примеров, а так же на главной много разных сервисов с нейронками от KolerskyAi на главной странице.
Ну и на последок, видео с примерами
не плохо конечно но все ждут от открытого ИИ вот там действительно впечатляет
Так, а чего ждете то от открытого ИИ?
как это чего, сору конечно, тут и китай то же свое выкатил, вот ждем, там действительно очень впечатляющие вещи делают
Для начала не плохо
Удивительно, как быстро развиваются технологии генерации видео с помощью нейросетей
Пока что сомнительное качество, мб в будущем будет получше
Мне кажется какая бы нейросеть не генерировала качественно, все равно будет видно что тут была задействован ИИ
повторение мать учения
но качество сгенерированных видео плохое , думаю можно найти нейросеть получше
Пока всё в разработке)
удобно , что ИИ облегчает многие процессы , даже такие как создание видео
Пацаны, если у меня есть пару нарисованных кадров. Можно ли их как-то анимировать? Создать переходные варианты? Кто-нибудь знает?
Еще пальцы толком не научились рисовать а уже на видео замахиваются)
Да уже вроде с пальцами решили 😁