Генерация видео в реальном времени с помощью ИИ MotionStream

Круче ИИ видео-генерации может быть только генерация видео с помощью ИИ в реальном времени.

Исследователи представили MotionStream - модель, которая генерирует видео на лету, пока вы двигаете мышкой. Не рендерит заранее. Не обрабатывает потом. Прямо сейчас.

Как это работает:

• Запускается на одной H100

• 29 FPS и 0,4 секунды задержки

• Управление движением объектов и камеры через точки трекинга

• Перетаскиваешь мышкой - чашка движется, вода следует за ней

Технически это video diffusion модель с causal distillation и attention sink против накопления ошибок. Плюс lightweight VAE decoder для скорости.

Интересно, что можно редактировать видео в реальном времени: модель берет входящий поток, оценивает точки трекинга и генерирует результат на лету по отредактированному первому кадру.

Один из авторов Xun Huang пишет: "Когда видео-модели становятся интерактивными в реальном времени, ощущения совсем другие. Ты уже не просто смотришь видео - ты с ним играешь".

Код пока на внутреннем ревью компании. Сроков релиза нет. Но методология описана в статье, и поскольку в основе open-source наработки, результаты можно воспроизвести.

Все демо - сырые записи экрана без постобработки.

Сергей Булаев AI 🤖 - об AI и не только

📱 sbulaev - добавлю всех

Подписывайтесь на Telegram Сергей Булаев AI 🤖.