Нейросеть Vidu добавила новую функцию Reference-to-Video. Что это такое и как с этим работать?

Это не Image-to-Video, где задается начальный и конечный кадр, а что-то совершенно иное. Больше примеров в статье.

Привет, меня зовут Борис, я пишу статьи на VC на тему использования нейронок в работе и в жизни. В ТГ-канале делюсь практическими советами и рекомендациями по работе с ИИ. Подписывайтесь!

Vidu представили новую функцию для своего видеогенератора - Reference to Video. Она позволяет объединять людей, объекты и окружение в единую композицию.

Работает всё просто: вы загружаете 1-3 изображения, а нейросеть на их основе генерирует видео. Таким образом можно получить удивительные результаты.

Первый пример. Создание видео на основе 1 изображения:

В отличие от других видеогенераторов, Vidu не использует загруженное изображение как начальный кадр. Нейросеть изучила изображение, запомнила основные элементы (главный герой, улица, огонь) и на основе них создала видео. Как вы можете видеть, главный герой не просто идет в центре кадра, а выходит откуда-то с левой стороны, держа автомат, которого даже нет на исходном изображении. Анимация плавная и динамичная, словно сцена из голливудского блокбастера.

Второй пример. Загружаем 3 связанных изображения (локация, главный герой и его трансформация).

Получили такое видео:

Получилось так, как и задумывалось: персонаж попадает в нужную локацию и превращается в выбранное существо.

Третий пример. Загружаем 3 не связанных между собой изображения и смотрим на результат:

И вот результат:

Мультяшный персонаж оказывается в центре фотореалистичного кадра, а рядом с ним стоит та самая голова статуи, только еще с телом. Как нейросеть додумалась это всё совместить, остается для меня загадкой.

Помимо этого, обновилась сама модель для генерации видео: раньше была Vidu 1.0, а теперь Vidu 1.5. Повысилось качество генерации, появились новые форматы (720p и 1080p), а также можно задать скорость анимации (Movement Amplitude):

Вот как выглядит изменение скорости анимации на деле:

Small Movement Amplitude:

Medium Movement Amplitude:

Теперь можно регулировать скорость анимации в зависимости от динамичности самого кадра.

P.S.: Этой функции очень не хватает в видеогенераторе Minimax, который создает слишком динамичные видео даже для самых статичных изображений.

Все функции уже доступны на официальном сайте. При регистрации вам выдают 80 бесплатных кредитов ежемесячно. На создание одного 4-секундного видео потребуется 4 кредита. Платная подписка начинается от 10$/мес и позволяет создавать больше видео и загружать их без водяных знаков.

Ссылка: https://vidu.studio

Было полезно? Поставьте лайк и напишите комментарий. Подписывайтесь на мой ТГ-канал, где я делюсь практическими советами и рекомендациями по работе с ИИ: Boris AI – нейросети для работы и хобби