Runway представила модель GWM Worlds 2 — она может генерировать интерактивные симуляции мира в реальном времени
Пока это исследовательская превью-версия.
Источник здесь и далее: Runway
- GWM Worlds 2 — это General World Model (общая модель мира), способная превращать высококачественные видео- и аудиогенерации в интерактивные симуляции в реальном времени, рассказала компания.
- По сравнению с первой версией, которую показали в декабре 2025 года, GWM Worlds 2 поддерживает генерацию аудио и расширенные возможности управления объектами и сценами.
- Пользователь определяет окружающую обстановку, персонажей, визуальный стиль, правила и «атмосферу» мира, а затем может управлять им с помощью текста, адресованного любому объекту или сцене, и непрерывного движения камеры. Например, определять движение, жесты, реплики в диалоге, погоду.
- Модель поддерживает «передвижение» персонажа от первого и от третьего лица. Камерой и субъектом можно управлять независимо.
- Для управления миром компания использует «двуслойный» формат WorldPrompt — постоянный контекст (описание сцены, субъектов и их характеристик, «законов», первого кадра) и набор событий с временными отметками (взаимодействие с объектами, движения, речь, звуки и прочее; каждое «действие» — текстовый промпт с указанием времени начала и окончания).
- GWM Worlds 2 — «авторегрессивная диффузионная модель» для генерации видео 720p с частотой 24 кадра в секунду и аудио с частотой 48 тысяч Гц, добавили в компании. Следующие кадры зависят от «общего контекста», входных данных текущего кадра и ранее сгенерированных кадров.
- Пока модель находится в режиме исследовательского превью и всё ещё на ранних этапах, а генерация в реальном времени «жертвует точностью ради скорости», отметили в Runway. Неидеальны и «сложные» действия камеры вроде быстрых движений, и долговременная «память».