Топ-5 новых ИИ-генераторов видео в 2024 году
С 2021 по 2023 год в сфере ИИ доминировали языковые и графические модели. В 2024 году видеогенераторы на базе ИИ наконец-то догнали и заняли лидирующие позиции, выпустив высококачественные модели.
🔥Телеграм-бот SYNTX предоставляет доступ к более чем 40 ИИ-инструментам. Без ВПН, оплата любой картой, запросы на любом языке, пробуйте бесплатно! Под капотом - GPT4o/Gemini/Claude, MidJourney, DALL-E 3 и Ideogram, LUNA, Suno, Редактор с 12 различными ИИ-инструментами для ретуши фото.☝️Это только часть функций, доступных в SYNTX!
В этой статье я расскажу про все лучшие ИИ-видеогенераторы, которые были выпущены или анонсированы в 2024 году.
1. Runway Gen-3
Если вы пропустили, Runway Gen-3 Alpha теперь доступна всем желающим.
Компания Runway, расположенная в Нью-Йорке, совершила камбэк после более чем годичного перерыва с момента выхода Gen-2. Gen-3 Alpha - первая в новой серии моделей, созданных на современной инфраструктуре, предназначенной для масштабных мультимодальных тренировок. По сравнению с Gen-2 в ней значительно улучшены точность, согласованность и движения.
Вот несколько примеров:
Subtle reflections of a woman on the window of a train moving at hyper-speed in a Japanese city.
Этот пример демонстрирует способность Gen-3 Alpha обрабатывать сложные отражения и быстро движущиеся объекты с поразительной реалистичностью.
An astronaut running through an alley in Rio de Janeiro.
Способность модели генерировать детализированное окружение и правдоподобные движения людей очевидна.
Сколько стоит Runway Gen-3 Alpha?
Месячная подписка стоит 15 долларов в месяц или 12 долларов в месяц при оплате сразу за год.
Узнать больше о Runway Gen-3 можно здесь.
Не прошло и недели после того, как Luma Labs выпустила Dream Machine, её ближайшего конкурента, как Runway наверстывает упущенное, представив свой новый и самый мощный ИИ-видеогенератор - Gen-3 Alpha.
2. Kling
Kling - это новый ИИ-генератор видео от Kuaishou ("быстрая рука"), компании из Пекина, которая конкурирует с TikTok.
Kling может генерировать до видео продолжительностью до 120-секунд, скоростью 30 кадров в секунду в разрешении 1080P и с произвольным соотношением сторон. По словам создателей, их ИИ-модель лучше понимает физику и точно моделирует сложные движения.
Взгляните на этот пример видео:
A Chinese man sitting at a table, eating noodles with chopsticks
A man riding a horse in the Gobi Desert, with a beautiful sunset behind him, a movie-quality scene
Вы можете увидеть, насколько хороша временная когерентность в этом примере видео.
Как получить доступ к Kling?
Модель ИИ или приложение пока не доступны в открытом доступе. По имеющимся данным, она доступна через приложение Kwaiying для приглашенных бета-тестеров.
Для получения более свежих новостей о его доступности вы можете проверить их официальный сайт, хотя весь текст на китайском языке.
Узнать больше о Kling можно здесь:
Больше о Kling можно узнать здесь:
В одной из своих предыдущих статей я рассказывал о китайском генераторе видео с ИИ под названием Vidu. Я назвал его реальным конкурентом Sora из-за того, насколько впечатляющими были примеры видео. Недавно был представлен еще один ИИ-инструмент для создания видео под названием Kling, и он выглядит даже лучше, чем Vidu.
3. Vidu
Vidu - это ИИ-модель для преобразования текста в видео, разработанная китайским ИИ-стартапом ShengShu Technology и Университетом Цинхуа. Она была анонсирована 27 апреля 2024 года и предназначена для создания 16-секундных видеороликов с высоким разрешением 1080p с помощью одного клика.
По словам главного научного сотрудника Shengshu Чжу Цзюня,
"Она обладает богатым воображением, может имитировать физический мир и создавать 16-секундные видеоролики с последовательными персонажами, сценами и временной шкалой".
Вот пример:
Как получить доступ к Vidu
В настоящее время Vidu недоступна всем желающим. Однако компания открыла лист ожидания для получения раннего доступа:
- Перейдите на сайт www.shengshu-ai.com
- Нажмите на синюю кнопку в правом верхнем углу страницы
- Заполните форму, чтобы запросить доступ
Кроме того, компания планирует интегрировать функцию создания видео в AI инструмент под названием PixWeaver.
Подробнее узнать о Vidu вы можете здесь:
Когда компания OpenAI анонсировала Sora, инструмент на базе ИИ, преобразующий текстовые описания в видео, он быстро стал мировой сенсацией благодаря своим умопомрачительным результатам. Ближайшие конкуренты, Pika Labs и RunwayML, значительно отставали по качеству и согласованности текстовых промптов.
4. Google Veo
Veo - самая продвинутая модель Google для создания видео, позволяющая создавать высококачественные видеоролики с разрешением 1080p продолжительностью более минуты. Она поддерживает различные кинематографические и визуальные стили, точно интерпретируя промпты для передачи нюансов и оттенков.
Veo опирается на многолетнюю работу с такими моделями генеративного видео, как Generative Query Network (GQN), DVD-GAN, Imagen-Video, Phenaki, WALT, VideoPoet и Lumiere, а также на архитектуру Transformer и Gemini.
Чтобы Veo лучше понимал и следовал промптам, разработчики добавили более подробные подписи к видео в его обучающих данных. Кроме того, они повысили производительность за счет использования высококачественных сжатых представлений видео (так называемых латентных). Эти изменения помогают Veo генерировать видео быстрее и более высокого качества.
Ключевые особенности Veo включают:
- Генерация последовательных сцен путем сочетания текстовых промптов и визуальных референсов.
- Редактирование видео с помощью специальных команд и замаскированных областей.
- Использование референсных изображений для создания видеороликов.
- Увеличение продолжительности видеоклипов до 60 секунд и более на основе одного или нескольких промптов.
- Поддержание визуальной согласованности кадров с помощью трансформаторов скрытой диффузии.
Взгляните на этот пример:
A fast-tracking shot through a bustling dystopian sprawl with bright neon signs, flying cars and mist, night, lens flare, volumetric lighting. A fast-tracking shot through a futuristic dystopian sprawl with bright neon signs, starships in the sky, night, volumetric lighting. A neon hologram of a car driving at top speed, speed of light, cinematic, incredible details, volumetric lighting. The cars leave the tunnel, back into the real world city Hong Kong.
Интересно, что ни в одном из примеров видео, показанных Google, нет четких человеческих лиц. Все видео были либо с животными, либо с пейзажами, либо с цветами.
A lone cowboy rides his horse across an open plain at beautiful sunset, soft light, warm colors
Также неясно, когда Google выпустит видеомодель на всеобщее обозрение, но я предполагаю, что она будет интегрирована в их ИИ-чатбот Gemini.
5. Dream Machine от Luma Labs
Luma Labs запустила новую модель ИИ-генератора видео под названием Dream Machine.
В отличие от других ИИ-инструментов, вы можете попробовать Dream Machine уже сегодня, без всякого списка ожидания.
Ключевые особенности:
- Быстрая генерация. Dream Machine - невероятно быстрый генератор видео! 120 кадров за 120 с.
- Реалистичные и последовательные движения. Усовершенствованное моделирование обеспечивает высокую реалистичность и плавность движений.
- Высокая согласованность персонажей. Сохраняет целостность персонажей, моделируя реальные физические характеристики, обеспечивая целостность и реалистичность ваших видео.
- Естественные движения камеры. Плавные, естественные движения камеры идеально соответствуют эмоциональному тону каждой сцены.
Примеры генерации видео по текстовому промпту
A teddy bear in sunglasses playing electric guitar, dancing and headbanging in the jungle in front of a large beautiful waterfall
А вот пример генерации, когда вместо промпта вы загрузили изображение:
Эталонное изображение сгенерировано с помощью MidJourney:
Видео, сгенерированное Dream Machine:
Как получить доступ
1. Генерировать видео вы можете на сайте.
2. Либо в телеграм-боте SYNTX (платно, но без ограничений).
Подробнее узнать про инструмент вы можете здесь:
Приятно видеть, как ИИ видео догоняет текст и изображения. Хотя большинство из этих инструментов еще не доступны публично, их предварительные результаты выглядят потрясающе. Проверьте эти инструменты сами, чтобы понять, какой из них соответствует вашим потребностям и бюджету.
Следите за этими инструментами, пробуйте их, когда сможете, и смотрите, какие из них лучше всего подходят к тому, чего вы хотите достичь.
А как вы относитесь к этим ИИ-генераторам видео?
Еще больше полезностей - в телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.
🔥Телеграм-бот SYNTX предоставляет доступ к более чем 40 ИИ-инструментам. Без ВПН, оплата любой картой, запросы на любом языке, пробуйте бесплатно! Под капотом - GPT4o/Gemini/Claude, MidJourney, DALL-E 3 и Ideogram, LUNA, Suno, Редактор с 12 различными ИИ-инструментами для ретуши фото.
☝️Это только часть функций, доступных в SYNTX!
Источник статьи на английском - здесь.
интересно, как Gen-3 Alpha справляется с детализированными и динамичными сценами
Вполне неплохо
Модели ИИ обучаются на больших объёмах данных. Они изучают языковые закономерности, чтобы генерировать тексты, похожие по стилю и содержанию на те, на которых были обучены.
Совершенно верно. И получается все лучше и лучше
Я отношусь положительно, за этим будущее, и может еще это все не так работает идеально, как создает текст и видео человек.Но наступит время и, нам будет не угнаться за нейросетью, у нее будет возможностей больше, запрограммированной информацией собраной общей, больше чем у человека. И тогда это будет нечто реальное с области фантастики.
Все к этому и идет