Runway представила Gen-3 Alpha - новый гиперреалистичный ИИ-генератор видео

Runway представила Gen-3 Alpha - новый гиперреалистичный ИИ-генератор видео

Сюрприз, сюрприз. Нью-йоркская компания Runway делает сильный камбэк!

Не прошло и недели после того, как Luma Labs выпустила Dream Machine, её ближайшего конкурента, как Runway наверстывает упущенное, представив свой новый и самый мощный ИИ-видеогенератор - Gen-3 Alpha.

Еще больше полезностей - в моем телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.

Прошло уже больше года с тех пор, как Runway выпустил Gen-2, и с тех пор было анонсировано множество и гораздо более совершенных моделей видео ИИ, таких как Sora, Kling и Dream Machine.

Многие, в том числе и я, задавались вопросом - что происходит с Runway? Когда они собираются выпустить преемника Gen-2?

Что же, сегодня мы получили ответы. Когда я впервые увидел примеры видеороликов, созданных с помощью Gen-3 Alpha, я был впечатлен уровнем фотореализма и временной согласованностью результатов.

🔥 Телеграм-бот SYNTX предоставляет доступ к более чем 40 ИИ-инструментам. Без ВПН, оплата любой картой, запросы на любом языке, пробуй бесплатно!

🎙 Общайтесь в одном диалоговом окне с GPT4o/Gemini/Claude, выход в интернет, работа с файлами, неограниченное количество символов!

👨‍🎨 Создавайте изображения в MidJourney, DALL-E 3 и Ideogram

🆕 Любой образ, в любой локации с вашим фото сделает ФотоМастер

🎞 Генерируйте видео текстом или по картинке

🎵 Сочиняй мировые хиты с помощью Suno

🖼 Редактор с 12 различными ИИ-инструментами для ретуши фото

☝️Это только часть функций, доступных в SYNTX!

Что такое Gen-3 Alpha?

Gen-3 Alpha позволяет генерировать высококачественные, детализированные и высокореалистичные видеоролики длиной от 10 секунд с высокой точностью, разнообразными эмоциональными выражениями и движениями камеры.

Gen-3 Alpha - это первая модель из новой серии моделей, обученных в Runway на современной инфраструктуре, предназначенной для крупномасштабного мультимодального обучения. По сравнению с Gen-2 она значительно улучшила точность, согласованность и движения.

Взгляните на эти примеры:

Промпт: Subtle reflections of a woman on the window of a train moving at hyper-speed in a Japanese city.

Этот пример демонстрирует способность Gen-3 Alpha обрабатывать сложные отражения и быстро движущиеся объекты с поразительной реалистичностью.

Промпт: An astronaut running through an alley in Rio de Janeiro.

Способность модели генерировать детализированное окружение и правдоподобные человеческие движения здесь очевидна. Посмотрите на эти руки и ноги!

Промпт: Dragon-toucan walking through the Serengeti.
Промпт: A Japanese animated film of a young woman standing on a ship and looking back at camera.

Этот пример демонстрирует универсальность Gen-3 Alpha в передаче различных стилей. Как и модель MidJourney Niji, Gen-3 может очень хорошо копировать эстетику аниме.

Другие примеры вы можете посмотреть в официальном аккаунте Runway в X (Twitter).

Что нового в Gen-3 Alpha?

В Gen-3 Alpha реализовано несколько значительных обновлений по сравнению с предшественниками. Вот некоторые из самых важных:

  • Реалистичная генерация людей. Это, пожалуй, самое очевидное обновление. Gen-3 Alpha теперь может создавать реалистичных персонажей с широким спектром действий, жестов и эмоций.
  • Повышенная точность и согласованность. Gen-3 Alpha существенно улучшила качество генерируемых видеороликов. В новой модели достигнута замечательная временная согласованность, благодаря чему переходы и общий поток видео выглядят более естественными и плавными.
  • Тонкий временной контроль. Одной из отличительных особенностей Gen-3 Alpha является способность обрабатывать высокоописательные, плотные во временном отношении титры. Эта возможность позволяет создавать фантазийные переходы и точно определять ключевые кадры элементов в сцене.
  • Мультимодальные возможности. Модель не может просто генерировать видео! Она поддерживает различные режимы ввода, такие как "изображение-видео" и "текст-изображение".
  • Кастомизация. Скоро мы, как потребители, сможем создавать пользовательские версии моделей Gen-3. Подобно Stable Diffusion, видеомодели можно будет настраивать так, чтобы они генерировали видео с пользовательскими стилями.

Как получить доступ к Gen-3 Alpha?

На данный момент точной даты выхода нет, Runway лишь показала демо-видео на своем сайте и в социальной сети X. Также неясно, будет ли она доступна на бесплатном тарифе Runway или для доступа к ней потребуется платная подписка.

По словам технического директора Runway, Gen-3 будет работать со всеми существующими ИИ-инструментами Runway.

Runway Gen-3 Alpha скоро появится в составе продукта Runway, и в нем будут доступны все существующие режимы, к которым вы привыкли (текст в видео, изображение в видео, видео в видео), а также некоторые новые, которые только сейчас стали возможны в более мощной базовой модели.

Если вы являетесь компанией, заинтересованной в доработке и создании индивидуальных моделей, свяжитесь с Runway с помощью этой формы.

Приятно видеть, как одна из первых компаний, выпустивших ИИ-модели для создания видео, возвращается. Очевидно, что Runway не отказывается от борьбы за звание доминирующего игрока или лидера в быстро развивающемся мире генеративного ИИ-видео.

Однако важно помнить, что эти примеры отобраны вручную. Кто знает, сколько попыток потребовалось, чтобы добиться такого качества? Настоящая проверка возможностей Gen-3 Alpha будет проведена после ее публичного релиза. Так что пока не стоит слишком впечатляться примерами.

На данный момент это мой личный список из 5 лучших AI-генераторов видео, основанный на качестве и согласованности:

  1. Sora от OpenAI
  2. Gen-3 Alpha от Runway
  3. Kling от Kuaishou
  4. Dream Machine от Luna Labs
  5. Veo от Google

Согласны ли вы с моим списком?

Ажиотаж вокруг Sora от OpenAI угасает с появлением конкурентов. Возможно, OpenAI пора открыть публичный доступ к своей ИИ-модели для генерации видео.

🔥 Телеграм-бот SYNTX предоставляет доступ к более чем 40 ИИ-инструментам. Без ВПН, оплата любой картой, запросы на любом языке, пробуй бесплатно!

🎙 Общайтесь в одном диалоговом окне с GPT4o/Gemini/Claude, выход в интернет, работа с файлами, неограниченное количество символов!

👨‍🎨 Создавайте изображения в MidJourney, DALL-E 3 и Ideogram

🆕 Любой образ, в любой локации с вашим фото сделает ФотоМастер

🎞 Генерируйте видео текстом или по картинке

🎵 Сочиняй мировые хиты с помощью Suno

🖼 Редактор с 12 различными ИИ-инструментами для ретуши фото

☝️Это только часть функций, доступных в SYNTX!
Еще больше полезностей - в моем телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.

Источник статьи на английском - здесь.

5252
11
28 комментариев

Комментарий удалён модератором

Комментарий удалён модератором

Такая генерация требует очень много ресурсов (очень дорогая). Какой смысл открывать доступ, если никто не сможет позволить себе такой инструмент? Ну и проблема дипфейков - мало ли кто и что там нагенерирует.

1

Тоже не понимаю, почему openai никак не решится на релиз

всё ещё видно генерацию, особенно на видео с птицей

1

Это да, причем это как минимум вылизанные демо ролики. А как на самом деле - посмотрим, когда доступ откроют

1