Meta* анонсировала скорое появление Movie Gen - нового ИИ-генератора видео и звука
Компания Meta вступает в борьбу, анонсировав Movie Gen - свой новейший инструмент для генерации видео и звука. Он способен решать сложные VFX-задачи: заменять окружение, добавлять декорации, менять персонажей местами и удалять предметы.
🔥Телеграм-бот SYNTX предоставляет доступ к более чем 30 ИИ-инструментам. Без ВПН, оплата любой картой, запросы на любом языке, пробуйте бесплатно! Под капотом - GPT4o/Gemini/Claude, MidJourney, DALL-E 3 и Ideogram, LUMA, Runway, Kling, Suno, Синхронизатор губ, Редактор с 12 различными ИИ-инструментами для ретуши фото.
☝Это только часть функций, доступных в SYNTX!
Мало того, что качество видео находится на уровне Sora от OpenAI, так вы еще можете загрузить собственную фотографию и добавить свое изображение в видео. Можно даже пойти дальше и добавить пользовательские звуковые эффекты из текстовых описаний.
Movie Gen - это уже третья стадия работы Meta над генеративным ИИ.
Еще больше полезностей - в телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.
Мы рассказываем об этом исследовании, потому что верим в силу этой технологии, помогающей людям выражать себя по-новому и предоставляющей возможности тем, у кого в противном случае их могло бы не быть.
Что такое Movie Gen?
Movie Gen - это коллекция базовых моделей, созданных компанией Meta для создания высококачественного видео и аудио.
Модели обучаются на большом наборе данных изображений, видео и аудио с использованием комбинации методов обучения «текст-изображение» и «текст-видео».
Модели могут генерировать HD-видео 1080p с различным соотношением сторон, что позволяет достичь самых высоких результатов в различных задачах генерации видео.
В Movie Gen Audio можно создавать саундтреки со звуковыми эффектами и музыкой, которые синхронизируются с генерируемыми видео.
Результаты действительно говорят сами за себя.
Как они работают?
Модели Movie Gen построены на основе архитектуры Transformer и используют такие методы обучения, как согласование потоков.
Процесс обучения включает в себя несколько этапов, в том числе предварительное обучение на огромных массивах данных и тонкую настройку на специальных высококачественных данных для достижения желаемого уровня реалистичности и эстетической привлекательности.
Если вас интересуют технические подробности, вы можете ознакомиться с техническим описанием Meta.
Четыре возможности Movie Gen
- Movie Gen Video. Модель с 30 миллиардами параметров, способная генерировать высококачественные изображения и видео высокой четкости по одному текстовому промпту.
- Movie Gen Audio. Модель-трансформатор с 13 миллиардами параметров, которая может принимать видеосигнал и дополнительные текстовые промпты для управления, чтобы генерировать высококачественный звук, синхронизированный с видео. Она может генерировать окружающий звук, инструментальную фоновую музыку и звуковые эффекты, что позволяет достичь наилучших результатов в области качества звука, согласования видео со звуком и текста со звуком.
- Точное редактирование видео. Используя в качестве исходного материала сгенерированное или существующее видео и сопроводительные текстовые инструкции, можно выполнять локальное редактирование, например добавлять, удалять или заменять элементы, или глобальные изменения, такие как изменение фона или стиля.
- Персонализированные видео. Используя изображение человека и текстовый промпт, модель может генерировать видео с самыми современными результатами по сохранению персонажей и естественного движения в видео.
Ключевые особенности Movie Gen Video
1. Генерация видео из текста. Вы можете создавать видео, просто описывая то, что хотите увидеть, с помощью текстовых промптов.
Вот несколько примеров:
Промпт: The camera is behind a man. The man is shirtless, wearing a green cloth around his waist. He is barefoot. With a fiery object in each hand, he creates wide circular motions. A calm sea is in the background. The atmosphere is mesmerizing, with the fire dance.
Промпт: A sloth with pink sunglasses lays on a donut float in a pool. The sloth is holding a tropical drink. The world is tropical. The sunlight casts a shadow.
2. Редактирование видео с помощью текста. Movie Gen позволяет вносить изменения в существующие видеоролики с помощью текстовых инструкций. Например, вы можете добавить объекты, изменить фон или стиль видео, просто описав желаемые изменения.
Вот несколько примеров:
3. Создание персонализированных видеороликов. Представьте, что вы видите себя на видео, но не просто на видео, а на видео, где вы являетесь звездой! С помощью Movie Gen вы можете загрузить свою фотографию и написать промпт, и он сможет изобразить вас в различных сценах и действиях, которые вы описали.
Вот несколько примеров:
Промпт: A woman is sitting on the grass of a pumpkin patch. She is wearing a scarf and holding a cup. The background is filled with rows of pumpkin
Промпт: A cowgirl wearing denim pants is on a white horse in an old western town. A leather belt cinches at her waist. The horse is majestic, with its coat gleaming in the sunlight. The Rocky Mountains are in the background.
4. Создание звуковых эффектов и саундтреков. Movie Gen не ограничивается только визуальными эффектами; он может создавать синхронизированные саундтреки для ваших видео.
Посмотрите несколько примеров ниже:
Как она в сравнении с конкурентами?
Компания Meta провела сравнительный анализ MovieGen Video с несколькими другими моделями, включая коммерческие сервисы - Runway Gen-3, LumaLabs, Kling 1.5 и Sora от OpenAI.
Согласно исследовательскому документу, MovieGen Video превосходит предыдущие современные модели, включая перечисленные выше ИИ-генераторы, по общему качеству видео.
Посмотрите на эти примеры:
Промпт: A computer mouse with legs running on a treadmill
Промпт: a kangaroo in purple overalls and boots walking in Johannesburg during sunset
Промпт: a toy robot in a green dress and sun hat walking in Antarctica during a storm
Высокая производительность Movie Gen обусловлена сочетанием ряда факторов, в том числе большим объемом обучающих данных, использованием потокового согласования для эффективного обучения, а также многоступенчатым подходом к обучению, использующим как задачи «текст-изображение», так и «текст-видео».
Как получить доступ к Movie Gen?
Согласно заявлению компании Meta, Movie Gen все еще находится на стадии разработки и пока не является официальным продуктом. Они работают с творческими профессионалами, чтобы подготовиться к официальному релизу.
Мы продолжаем тесно сотрудничать с творческими профессионалами из разных областей, чтобы учесть их мнение при подготовке будущего релиза. Мы с нетерпением ждем возможности рассказать больше об этой работе и творческих возможностях, которые она откроет в будущем.
Должен сказать, что я очень впечатлен постоянными инвестициями Meta в исследования ИИ, которые явно приносят свои плоды. Если Meta официально выпустит этот инструмент в этом году, он легко может стать одной из главных новостей в области ИИ в 2024 году.
Звук играет решающую роль в создании захватывающих впечатлений, и если Movie Gen выполнит свое обещание, он способен поднять видео, созданное ИИ, на совершенно новый уровень. Этот инструмент может стать реальной угрозой для существующих моделей видео, таких как Runway, Kling и Sora.
При этом важно помнить, что представленные на данный момент видеоролики были выбраны для анонса. Настоящий тест будет проведен, когда Movie Gen выйдет на рынок, и мы сможем увидеть, как он работает в реальных условиях.
Но пока все выглядит многообещающе, и мне определенно не терпится увидеть, что из этого получится.
🔥Телеграм-бот SYNTX предоставляет доступ к более чем 30 ИИ-инструментам. Без ВПН, оплата любой картой, запросы на любом языке, пробуйте бесплатно! Под капотом - GPT4o/Gemini/Claude, MidJourney, DALL-E 3 и Ideogram, LUMA, Runway, Kling, Suno, Синхронизатор губ, Редактор с 12 различными ИИ-инструментами для ретуши фото.
☝Это только часть функций, доступных в SYNTX!
*Компания Meta признана террористической на территории РФ
Источник статьи на английском - здесь
Это все конечно интересно и перспективно, но почему не дадут попробовать простым смертным, это могло бы привлечь большое количество людей.
Наверное, ещё не допилили до релиза