Meta* анонсировала скорое появление Movie Gen - нового ИИ-генератора видео и звука

Meta* анонсировала скорое появление Movie Gen - нового ИИ-генератора видео и звука

Компания Meta вступает в борьбу, анонсировав Movie Gen - свой новейший инструмент для генерации видео и звука. Он способен решать сложные VFX-задачи: заменять окружение, добавлять декорации, менять персонажей местами и удалять предметы.

🔥Телеграм-бот SYNTX предоставляет доступ к более чем 30 ИИ-инструментам. Без ВПН, оплата любой картой, запросы на любом языке, пробуйте бесплатно! Под капотом - GPT4o/Gemini/Claude, MidJourney, DALL-E 3 и Ideogram, LUMA, Runway, Kling, Suno, Синхронизатор губ, Редактор с 12 различными ИИ-инструментами для ретуши фото.

☝Это только часть функций, доступных в SYNTX!

Мало того, что качество видео находится на уровне Sora от OpenAI, так вы еще можете загрузить собственную фотографию и добавить свое изображение в видео. Можно даже пойти дальше и добавить пользовательские звуковые эффекты из текстовых описаний.

Movie Gen - это уже третья стадия работы Meta над генеративным ИИ.

Еще больше полезностей - в телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.

Мы рассказываем об этом исследовании, потому что верим в силу этой технологии, помогающей людям выражать себя по-новому и предоставляющей возможности тем, у кого в противном случае их могло бы не быть.

Что такое Movie Gen?

Movie Gen - это коллекция базовых моделей, созданных компанией Meta для создания высококачественного видео и аудио.

Модели обучаются на большом наборе данных изображений, видео и аудио с использованием комбинации методов обучения «текст-изображение» и «текст-видео».

Модели могут генерировать HD-видео 1080p с различным соотношением сторон, что позволяет достичь самых высоких результатов в различных задачах генерации видео.

В Movie Gen Audio можно создавать саундтреки со звуковыми эффектами и музыкой, которые синхронизируются с генерируемыми видео.

Результаты действительно говорят сами за себя.

Как они работают?

Модели Movie Gen построены на основе архитектуры Transformer и используют такие методы обучения, как согласование потоков.

Процесс обучения включает в себя несколько этапов, в том числе предварительное обучение на огромных массивах данных и тонкую настройку на специальных высококачественных данных для достижения желаемого уровня реалистичности и эстетической привлекательности.

Meta* анонсировала скорое появление Movie Gen - нового ИИ-генератора видео и звука

Если вас интересуют технические подробности, вы можете ознакомиться с техническим описанием Meta.

Четыре возможности Movie Gen

  1. Movie Gen Video. Модель с 30 миллиардами параметров, способная генерировать высококачественные изображения и видео высокой четкости по одному текстовому промпту.
  2. Movie Gen Audio. Модель-трансформатор с 13 миллиардами параметров, которая может принимать видеосигнал и дополнительные текстовые промпты для управления, чтобы генерировать высококачественный звук, синхронизированный с видео. Она может генерировать окружающий звук, инструментальную фоновую музыку и звуковые эффекты, что позволяет достичь наилучших результатов в области качества звука, согласования видео со звуком и текста со звуком.
  3. Точное редактирование видео. Используя в качестве исходного материала сгенерированное или существующее видео и сопроводительные текстовые инструкции, можно выполнять локальное редактирование, например добавлять, удалять или заменять элементы, или глобальные изменения, такие как изменение фона или стиля.
  4. Персонализированные видео. Используя изображение человека и текстовый промпт, модель может генерировать видео с самыми современными результатами по сохранению персонажей и естественного движения в видео.

Ключевые особенности Movie Gen Video

1. Генерация видео из текста. Вы можете создавать видео, просто описывая то, что хотите увидеть, с помощью текстовых промптов.

Вот несколько примеров:

Промпт: The camera is behind a man. The man is shirtless, wearing a green cloth around his waist. He is barefoot. With a fiery object in each hand, he creates wide circular motions. A calm sea is in the background. The atmosphere is mesmerizing, with the fire dance.

Промпт: A sloth with pink sunglasses lays on a donut float in a pool. The sloth is holding a tropical drink. The world is tropical. The sunlight casts a shadow.

2. Редактирование видео с помощью текста. Movie Gen позволяет вносить изменения в существующие видеоролики с помощью текстовых инструкций. Например, вы можете добавить объекты, изменить фон или стиль видео, просто описав желаемые изменения.

Вот несколько примеров:

3. Создание персонализированных видеороликов. Представьте, что вы видите себя на видео, но не просто на видео, а на видео, где вы являетесь звездой! С помощью Movie Gen вы можете загрузить свою фотографию и написать промпт, и он сможет изобразить вас в различных сценах и действиях, которые вы описали.

Вот несколько примеров:

Промпт: A woman is sitting on the grass of a pumpkin patch. She is wearing a scarf and holding a cup. The background is filled with rows of pumpkin

Промпт: A cowgirl wearing denim pants is on a white horse in an old western town. A leather belt cinches at her waist. The horse is majestic, with its coat gleaming in the sunlight. The Rocky Mountains are in the background.

4. Создание звуковых эффектов и саундтреков. Movie Gen не ограничивается только визуальными эффектами; он может создавать синхронизированные саундтреки для ваших видео.

Посмотрите несколько примеров ниже:

Как она в сравнении с конкурентами?

Компания Meta провела сравнительный анализ MovieGen Video с несколькими другими моделями, включая коммерческие сервисы - Runway Gen-3, LumaLabs, Kling 1.5 и Sora от OpenAI.

Согласно исследовательскому документу, MovieGen Video превосходит предыдущие современные модели, включая перечисленные выше ИИ-генераторы, по общему качеству видео.

Посмотрите на эти примеры:

Промпт: A computer mouse with legs running on a treadmill

Meta* анонсировала скорое появление Movie Gen - нового ИИ-генератора видео и звука

Промпт: a kangaroo in purple overalls and boots walking in Johannesburg during sunset

Meta* анонсировала скорое появление Movie Gen - нового ИИ-генератора видео и звука

Промпт: a toy robot in a green dress and sun hat walking in Antarctica during a storm

Meta* анонсировала скорое появление Movie Gen - нового ИИ-генератора видео и звука

Высокая производительность Movie Gen обусловлена сочетанием ряда факторов, в том числе большим объемом обучающих данных, использованием потокового согласования для эффективного обучения, а также многоступенчатым подходом к обучению, использующим как задачи «текст-изображение», так и «текст-видео».

Как получить доступ к Movie Gen?

Согласно заявлению компании Meta, Movie Gen все еще находится на стадии разработки и пока не является официальным продуктом. Они работают с творческими профессионалами, чтобы подготовиться к официальному релизу.

Мы продолжаем тесно сотрудничать с творческими профессионалами из разных областей, чтобы учесть их мнение при подготовке будущего релиза. Мы с нетерпением ждем возможности рассказать больше об этой работе и творческих возможностях, которые она откроет в будущем.

Должен сказать, что я очень впечатлен постоянными инвестициями Meta в исследования ИИ, которые явно приносят свои плоды. Если Meta официально выпустит этот инструмент в этом году, он легко может стать одной из главных новостей в области ИИ в 2024 году.

Звук играет решающую роль в создании захватывающих впечатлений, и если Movie Gen выполнит свое обещание, он способен поднять видео, созданное ИИ, на совершенно новый уровень. Этот инструмент может стать реальной угрозой для существующих моделей видео, таких как Runway, Kling и Sora.

При этом важно помнить, что представленные на данный момент видеоролики были выбраны для анонса. Настоящий тест будет проведен, когда Movie Gen выйдет на рынок, и мы сможем увидеть, как он работает в реальных условиях.

Но пока все выглядит многообещающе, и мне определенно не терпится увидеть, что из этого получится.

🔥Телеграм-бот SYNTX предоставляет доступ к более чем 30 ИИ-инструментам. Без ВПН, оплата любой картой, запросы на любом языке, пробуйте бесплатно! Под капотом - GPT4o/Gemini/Claude, MidJourney, DALL-E 3 и Ideogram, LUMA, Runway, Kling, Suno, Синхронизатор губ, Редактор с 12 различными ИИ-инструментами для ретуши фото.

☝Это только часть функций, доступных в SYNTX!

*Компания Meta признана террористической на территории РФ

Источник статьи на английском - здесь

11
3 комментария

Это все конечно интересно и перспективно, но почему не дадут попробовать простым смертным, это могло бы привлечь большое количество людей.

Ответить

Наверное, ещё не допилили до релиза

Ответить