Veo2: новая видеомодель от Google
Вчера DeepMind анонсировала Veo 2, ИИ видеогенератор следующего поколения и преемник Veo. Расскажу о возможностях, ограничениях и первых впечатлениях счастливцев от модели.
Google DeepMind — флагманская исследовательская лаборатория Google в области ИИ, хочет превзойти OpenAI в области генерации видео.
** Еще больше интересного в моем канале продуктовые штучки**
Что может?
Заявляется, что Veo2 может:
- создавать двухминутные клипы с разрешением до 4k (4096 x 2160 пикселей).
- генерировать видеоролики по текстовой подсказке (например, «Автомобиль мчится по автостраде») или по тексту и контрольному изображению
- DeepMind утверждает, что модель имеет улучшенное «понимание» физики и управления камерой, а также создает «более четкие» кадры.
- текстуры и изображения в клипах более четкие — особенно в сценах с большим количеством движения
- более реалистично моделировать движение, динамику жидкости (например, кофе, наливаемый в кружку - а это ахилессова пята нейронок в части видео) и свойства света (например, тени и отражения). Это включает в себя различные линзы и кинематографические эффекты, говорит DeepMind, а также «нюансированное» человеческое выражение.
Veo 2, похоже, хорошо разбирается в преломлении и сложных жидкостях, таких как кленовый сироп, а также обладает способностью имитировать анимацию в стиле Pixar.
Вот пример видео, созданного с помощью Veo2:
Все ли так хорошо?
И все же Veo 2 не может полностью преодолеть «зловещую долину»: такие элементы как дополнительные пальцы или «неожиданные объекты» могут иметь место. Почему это так сложно - читайте тут.
DeepMind продолжает работать с артистами и продюсерами над совершенствованием своих моделей и инструментов генерации видео.
В чем отличие от Sora?
в 4 раза больше разрешения
в 6 раз больше длительности, чем может обеспечить Sora от OpenAI.
Это теоретическое преимущество на данный момент. Сейчас видео ограничены разрешением 720p и продолжительностью восемь секунд. (Sora может создавать клипы до 1080p и продолжительностью 20 секунд.)
Как получить доступ?
VideoFX (экспериментальный инструмент для создания видео от Google) недоступен, но Google заявляет, что на этой неделе расширит число пользователей, которые смогут получить к нему доступ.
Эли Коллинз, вице-президент по продуктам компании DeepMind, также сообщил TechCrunch, что Google сделает Veo 2 доступным через свою платформу для разработчиков Vertex AI , «когда модель станет готова к масштабному использованию».
С каждым днем все больше крутых фишек)) Похоже, скоро мы сможем создавать свои собственные фильмы прямо на смартфоне. Представляю, как здорово будет генерировать короткие смешные ролики или создавать уникальные поздравления.