Новый китайский ИИ-видеогенератор Vidu теперь доступен всем желающим
🔥Телеграм-бот SYNTX предоставляет доступ к более чем 40 ИИ-инструментам. Без ВПН, оплата любой картой, запросы на любом языке, пробуйте бесплатно! Под капотом - GPT4o/Gemini/Claude, MidJourney, DALL-E 3 и Ideogram, LUMA, Runway, Suno, Редактор с 12 различными ИИ-инструментами для ретуши фото.
☝️Это только часть функций, доступных в SYNTX!
Если вы не заметили, несколько дней назад в открытом доступе появился еще один китайский ИИ-видеоинструмент, Kling. Вы можете зарегистрироваться, указав адрес электронной почты, и получать бесплатные кредиты при каждом входе в систему.
Еще больше полезностей - в телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.
Что такое Vidu?
Vidu - это инструмент на базе ИИ, который может генерировать видео из текстовых описаний или существующих изображений. Vidu был анонсирован 27 апреля 2024 года и предназначен для генерации 4-секундных видеороликов высокой четкости менее чем за 30 секунд. Он может создавать видео как в стиле аниме, так и в реалистичном стиле.
ИИ-модель Vidu построена на запатентованной архитектуре модели визуальной трансформации под названием Universal Vision Transformer (U-ViT). Она объединяет две ИИ-модели преобразования текста в видео: Diffusion и Transformer. Такая архитектура позволяет создавать высококачественные видеоролики с динамичными движениями камеры, сложной мимикой, аутентичными эффектами освещения и тени.
Так выглядит панель управления на сайте:
При регистрации пользователи получают 80 бесплатных поинтов в месяц и получают качественный результат, хотя в бесплатной версии разрешение немного ниже. Каждая генерация ограничена 4 секундами (в платной версии - 8 секунд).
Как работает Vidu
Зайдите на сайт Vidu и зарегистрируйтесь с помощью электронной почты. На верхней навигационной панели нажмите на кнопку «Create Video».
Вот пример:
Промпт: A Chinese man sitting at a table, eating noodles with chopsticks
Ниже готового видеофайла вы можете выбрать масштабирование или повторное использование промпта, нажав на кнопку «ConfigCopy». Вот окончательный результат:
Это видео представляет собой 4-секундный файл размером 688 × 384. Из-за небольшого размера генерация заняла меньше минуты. Обратите внимание, что у других ИИ-видеоинструментов, генерирующих файлы с разрешением 1080p, на одно видео уходит не менее 2-3 минут. Каждая генерация стоит 4 кредита.
Страница настроек довольно проста. Вы можете выбрать стиль видео: общий или анимация. Обратите внимание, что стиль видео применяется только в режиме «текст в видео», а опция 8-секундной длительности доступна только для платных пользователей.
Давайте попробуем использовать этот промпт в анимированном стиле:
In a softly lit bathroom, a teddy bear styled like an American animated character is taking a bath. The bear, partially submerged in a bubble-filled bathtub, holds a phone to its ear with one paw while scrubbing itself with the other. The ambient lighting is gentle and refreshing, casting a warm and inviting glow over the scene. The bathroom tiles are a soothing pastel color, complementing the cozy and whimsical atmosphere. The teddy bear’s expressive face shows concentration as it multitasks, combining the mundane act of bathing with the casual activity of a phone conversation.
Ух ты! Я был очень впечатлен качеством полученного видео. Оно выглядит так, будто создано на основе анимационного фильма студии Ghibli. Однако вы можете заметить, что ИИ-модель испытывает трудности с согласованностью действий. В промпте медведь должен одной лапой держать телефон у уха, а другой чистить себя.
Преобразование изображения в видео
Теперь давайте посмотрим, как работает функция преобразования изображения в видео. После загрузки изображения укажите, будет ли оно использоваться в видео в качестве первого кадра или референса персонажа.
Вот референсное изображение из Midjourney:
Triumphant Marathon Runner Approaching the Finish Line, Eiffel Tower in Festive Atmosphere
Это выглядит очень круто. Меня удивило, что Vidu намеренно добавляет в сцену больше деталей с разборчивым текстом на манишке бегуна.
Рендеринг текста
Одна из областей, в которой большинство ИИ-генераторов видео испытывают трудности, - это рендеринг текста. Давайте посмотрим, как Vidu справится с этим промптом:
A wall with a graffiti that says “Vidu is cool”
Текст не точный, но буквы разборчивые. Глядя на эти результаты, можно сказать, что эта программа лучше, чем Kling, справляется с генерацией текста в видео. Вот как Kling справляется с отрисовкой текста в ИИ-видео:
Kling is cool
Это сумбур, и тексты совсем не соответствуют промпту.
Сколько стоит Vidu?
Вот краткая информация о тарифных планах:
- Free: 80 кредитов в месяц, создание 4-секундного видео, увеличение разрешения, некоммерческое использование, 1 одновременное задание.
- Standard: $9,99 в месяц (скидка 50%, обычная цена - $19,99), 320 кредитов в месяц, создание 4- и 8-секундных видео, увеличение разрешения, коммерческое использование, удаление водяного знака после увеличения разрешения, 2 задачи одновременно.
- Advanced: $29,99 в месяц (скидка 50%, обычная цена $59,99), 880 кредитов в месяц, создание 4- и 8-секундных видео, повышение разрешения, коммерческое использование, удаление водяного знака после масштабирования, 3 задачи одновременно, доступ к новым функциям.
- Premium: $99,99 в месяц (скидка 50%, обычная цена $199,99), 2960 кредитов в месяц, создание 4- и 8-секундных видео, увеличение разрешения, коммерческое использование, удаление водяных знаков после масштабирования, 4 задания одновременно, доступ к новым функциям.
Также пользователи могут оформить годовую подписку и получить скидку 20%.
И прежде чем я закончу эту статью, скажу, что Клинг только что ввел платную подписку, стоимость которой начинается с 5 долларов и доходит до 46 долларов в месяц.
Уровень pro дает вам следующие преимущества:
- Эксклюзивный профессиональный режим для членов клуба: По оценкам, он отличается более четким следованием инструкциям, более высоким качеством изображения и более высокой динамической согласованностью - значительное общее улучшение преобразования текста в видео и изображения в видео по сравнению со стандартным режимом.
- Другие возможности для членов клуба: Удаление водяных знаков, управление камерой, увеличение длины видео и расширенные инструменты для создания композиции кадра.
Для таких бесплатных пользователей, как я, сохраняется ежедневный бонус за вход в систему в размере 66 кредитов. Посетите сайт klingai.com, чтобы узнать больше о тарифных планах.
В целом, Vidu - отличное дополнение к короткому списку общедоступных ИИ-генераторов видео. По качеству он опережает Runway Gen-3 Alpha, но немного уступает Sora от OpenAI. Я ценю то, что бесплатные пользователи получают бесплатные ежемесячные кредиты, хотя было бы лучше, если бы они предоставлялись ежедневно.
Кроме того, рендеринг текста и согласованность с промптом по-прежнему остаются одними из самых сложных задач в ИИ-видеороликах. Хотя Vidu все еще борется с этим, уже заметна большая разница по сравнению с тем, как это было несколько лет назад.
Я рад, что в 2024 году генерация видео наконец-то догонит генерацию текста и изображений. В ближайшие месяцы мы можем увидеть больше ИИ-видеогенераторов с более высоким качеством генерации и более дешевой подпиской.
🔥Телеграм-бот SYNTX предоставляет доступ к более чем 40 ИИ-инструментам. Без ВПН, оплата любой картой, запросы на любом языке, пробуйте бесплатно! Под капотом - GPT4o/Gemini/Claude, MidJourney, DALL-E 3 и Ideogram, LUMA, Runway, Suno, Редактор с 12 различными ИИ-инструментами для ретуши фото.
☝️Это только часть функций, доступных в SYNTX!
Еще больше полезностей - в телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.
Источник статьи на английском - здесь
Runway мне больше нравится. Vidu так себе генерит
На вкус и цвет, как говорится... Возможно, в платной версии качество гораздо выше
Не научились еще даже китайцы создавать модели для генерации видео.
Ну почему же, вроде бы научились )
И ЭТО как-то собирается составить конкуренцию профессиональным видеосъемщикам?
Ну китайцы вроде не заявляли о конкурировании с видеооператорами, но над качеством нужно поработать. Даже в видео с бегуном видны артефакты.
Думаю, не собирается )