Runway представила Gen-3 Alpha - новый гиперреалистичный ИИ-генератор видео

Runway представила Gen-3 Alpha - новый гиперреалистичный ИИ-генератор видео

Сюрприз, сюрприз. Нью-йоркская компания Runway делает сильный камбэк!

Не прошло и недели после того, как Luma Labs выпустила Dream Machine, её ближайшего конкурента, как Runway наверстывает упущенное, представив свой новый и самый мощный ИИ-видеогенератор - Gen-3 Alpha.

Еще больше полезностей - в моем телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.

Прошло уже больше года с тех пор, как Runway выпустил Gen-2, и с тех пор было анонсировано множество и гораздо более совершенных моделей видео ИИ, таких как Sora, Kling и Dream Machine.

Многие, в том числе и я, задавались вопросом - что происходит с Runway? Когда они собираются выпустить преемника Gen-2?

Что же, сегодня мы получили ответы. Когда я впервые увидел примеры видеороликов, созданных с помощью Gen-3 Alpha, я был впечатлен уровнем фотореализма и временной согласованностью результатов.

🔥 Телеграм-бот SYNTX предоставляет доступ к более чем 40 ИИ-инструментам. Без ВПН, оплата любой картой, запросы на любом языке, пробуй бесплатно!

🎙 Общайтесь в одном диалоговом окне с GPT4o/Gemini/Claude, выход в интернет, работа с файлами, неограниченное количество символов!

👨‍🎨 Создавайте изображения в MidJourney, DALL-E 3 и Ideogram

🆕 Любой образ, в любой локации с вашим фото сделает ФотоМастер

🎞 Генерируйте видео текстом или по картинке

🎵 Сочиняй мировые хиты с помощью Suno

🖼 Редактор с 12 различными ИИ-инструментами для ретуши фото

☝️Это только часть функций, доступных в SYNTX!

Что такое Gen-3 Alpha?

Gen-3 Alpha позволяет генерировать высококачественные, детализированные и высокореалистичные видеоролики длиной от 10 секунд с высокой точностью, разнообразными эмоциональными выражениями и движениями камеры.

Gen-3 Alpha - это первая модель из новой серии моделей, обученных в Runway на современной инфраструктуре, предназначенной для крупномасштабного мультимодального обучения. По сравнению с Gen-2 она значительно улучшила точность, согласованность и движения.

Взгляните на эти примеры:

Промпт: Subtle reflections of a woman on the window of a train moving at hyper-speed in a Japanese city.

Этот пример демонстрирует способность Gen-3 Alpha обрабатывать сложные отражения и быстро движущиеся объекты с поразительной реалистичностью.

Промпт: An astronaut running through an alley in Rio de Janeiro.

Способность модели генерировать детализированное окружение и правдоподобные человеческие движения здесь очевидна. Посмотрите на эти руки и ноги!

Промпт: Dragon-toucan walking through the Serengeti.
Промпт: A Japanese animated film of a young woman standing on a ship and looking back at camera.

Этот пример демонстрирует универсальность Gen-3 Alpha в передаче различных стилей. Как и модель MidJourney Niji, Gen-3 может очень хорошо копировать эстетику аниме.

Другие примеры вы можете посмотреть в официальном аккаунте Runway в X (Twitter).

Что нового в Gen-3 Alpha?

В Gen-3 Alpha реализовано несколько значительных обновлений по сравнению с предшественниками. Вот некоторые из самых важных:

  • Реалистичная генерация людей. Это, пожалуй, самое очевидное обновление. Gen-3 Alpha теперь может создавать реалистичных персонажей с широким спектром действий, жестов и эмоций.
  • Повышенная точность и согласованность. Gen-3 Alpha существенно улучшила качество генерируемых видеороликов. В новой модели достигнута замечательная временная согласованность, благодаря чему переходы и общий поток видео выглядят более естественными и плавными.
  • Тонкий временной контроль. Одной из отличительных особенностей Gen-3 Alpha является способность обрабатывать высокоописательные, плотные во временном отношении титры. Эта возможность позволяет создавать фантазийные переходы и точно определять ключевые кадры элементов в сцене.
  • Мультимодальные возможности. Модель не может просто генерировать видео! Она поддерживает различные режимы ввода, такие как "изображение-видео" и "текст-изображение".
  • Кастомизация. Скоро мы, как потребители, сможем создавать пользовательские версии моделей Gen-3. Подобно Stable Diffusion, видеомодели можно будет настраивать так, чтобы они генерировали видео с пользовательскими стилями.

Как получить доступ к Gen-3 Alpha?

На данный момент точной даты выхода нет, Runway лишь показала демо-видео на своем сайте и в социальной сети X. Также неясно, будет ли она доступна на бесплатном тарифе Runway или для доступа к ней потребуется платная подписка.

По словам технического директора Runway, Gen-3 будет работать со всеми существующими ИИ-инструментами Runway.

Runway Gen-3 Alpha скоро появится в составе продукта Runway, и в нем будут доступны все существующие режимы, к которым вы привыкли (текст в видео, изображение в видео, видео в видео), а также некоторые новые, которые только сейчас стали возможны в более мощной базовой модели.

Если вы являетесь компанией, заинтересованной в доработке и создании индивидуальных моделей, свяжитесь с Runway с помощью этой формы.

Приятно видеть, как одна из первых компаний, выпустивших ИИ-модели для создания видео, возвращается. Очевидно, что Runway не отказывается от борьбы за звание доминирующего игрока или лидера в быстро развивающемся мире генеративного ИИ-видео.

Однако важно помнить, что эти примеры отобраны вручную. Кто знает, сколько попыток потребовалось, чтобы добиться такого качества? Настоящая проверка возможностей Gen-3 Alpha будет проведена после ее публичного релиза. Так что пока не стоит слишком впечатляться примерами.

На данный момент это мой личный список из 5 лучших AI-генераторов видео, основанный на качестве и согласованности:

  1. Sora от OpenAI
  2. Gen-3 Alpha от Runway
  3. Kling от Kuaishou
  4. Dream Machine от Luna Labs
  5. Veo от Google

Согласны ли вы с моим списком?

Ажиотаж вокруг Sora от OpenAI угасает с появлением конкурентов. Возможно, OpenAI пора открыть публичный доступ к своей ИИ-модели для генерации видео.

🔥 Телеграм-бот SYNTX предоставляет доступ к более чем 40 ИИ-инструментам. Без ВПН, оплата любой картой, запросы на любом языке, пробуй бесплатно!

🎙 Общайтесь в одном диалоговом окне с GPT4o/Gemini/Claude, выход в интернет, работа с файлами, неограниченное количество символов!

👨‍🎨 Создавайте изображения в MidJourney, DALL-E 3 и Ideogram

🆕 Любой образ, в любой локации с вашим фото сделает ФотоМастер

🎞 Генерируйте видео текстом или по картинке

🎵 Сочиняй мировые хиты с помощью Suno

🖼 Редактор с 12 различными ИИ-инструментами для ретуши фото

☝️Это только часть функций, доступных в SYNTX!
Еще больше полезностей - в моем телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.

Источник статьи на английском - здесь.

51
1
31 комментарий

Ну наконец-то проснулись. Я думал, они всё.

2
Ответить

Я тоже )

Ответить

До реалистичности ещё далеко, но развитие ИИ трудно отрицать. Год назад Runway представила генератор намного проще этой версии, а эта версия в сравнении с предыдущей - шаг вперёд. Не понимаю, почему до сих пор к Sora доступ не откроют? Неужели там все плохо?

1
Ответить

Такая генерация требует очень много ресурсов (очень дорогая). Какой смысл открывать доступ, если никто не сможет позволить себе такой инструмент? Ну и проблема дипфейков - мало ли кто и что там нагенерирует.

1
Ответить

Тоже не понимаю, почему openai никак не решится на релиз

Ответить

всё ещё видно генерацию, особенно на видео с птицей

1
Ответить

Это да, причем это как минимум вылизанные демо ролики. А как на самом деле - посмотрим, когда доступ откроют

1
Ответить