AI-видео в реальном времени уже сегодня

Runway показала генерацию HD-видео менее чем за 100 мс. Для сравнения моргание занимает 100-400 мс. HD-видео начинает воспроизводиться практически мгновенно после ввода промпта. Лично я от генеративного видео этого ждал, но не предполагал увидеть так скоро.

Пока это research preview, работает на очень мощном новом железе NVIDIA Vera Rubin (72 GPU, 54 ТБ памяти).

Но важно не демо, а что оно меняет. До сих пор генерация видео работала так: написал промпт, подождал 30 секунд, получил 4 секунды ролика. Эта новость меняет саму парадигму. Это уже не генерация клипов, а полноценный стриминг.

Что это открывает

Интерактивные миры. Игры, где каждый кадр генерируется под тебя в ответ на действия. Не запрограммированная графика, а персональная реальность. Google уже пошёл туда с Project Genie, Runway идёт параллельно.

Персонализированный видеоконтент. Реклама, обучение, развлечения, дейтинг и потенциально даже 18+ контент — всё это сможет адаптироваться под зрителя на лету, вести реальный диалог. Бесконечная вариативность и персонализация.

Тренировочные полигоны для роботов. Модели миров в реальном времени = виртуальные среды для тренировки автономных систем.

Монтаж любого видео и фильмов в реальном времени — вообще без лага между идеей и реализацией.

Ну и конечно обратная сторона — дипфейки в реальном времени. Видеозвонок с «вашим руководителем» или звонок пожилой маме от вашего лица по видео. Пока для этого нужен суперкомпьютер и качество не идеальное. Но мы видим, как быстро дешевеет генерация и растёт качество.

Runway строит не генератор роликов, а General World Model. Модель, которая симулирует среды с геометрией, освещением, физикой, персонажами. Real-time генерация просто недостающий кусок, который сделает эти мировые модели интерактивными.

Выводы тут все могут сделать сами