Новый китайский ИИ-видеогенератор Vidu теперь доступен всем желающим

Спустя три месяца после первоначальной превью-версии Vidu от Shengshu Technology теперь доступен для всех желающих. Этот новый генератор видео с искусственным интеллектом призван составить конкуренцию популярному, но еще не вышедшему Sora от OpenAI.

🔥Телеграм-бот SYNTX предоставляет доступ к более чем 40 ИИ-инструментам. Без ВПН, оплата любой картой, запросы на любом языке, пробуйте бесплатно! Под капотом - GPT4o/Gemini/Claude, MidJourney, DALL-E 3 и Ideogram, LUMA, Runway, Suno, Редактор с 12 различными ИИ-инструментами для ретуши фото.

☝️Это только часть функций, доступных в SYNTX!

Если вы не заметили, несколько дней назад в открытом доступе появился еще один китайский ИИ-видеоинструмент, Kling. Вы можете зарегистрироваться, указав адрес электронной почты, и получать бесплатные кредиты при каждом входе в систему.

Еще больше полезностей - в телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.

Vidu - это инструмент на базе ИИ, который может генерировать видео из текстовых описаний или существующих изображений. Vidu был анонсирован 27 апреля 2024 года и предназначен для генерации 4-секундных видеороликов высокой четкости менее чем за 30 секунд. Он может создавать видео как в стиле аниме, так и в реалистичном стиле.

ИИ-модель Vidu построена на запатентованной архитектуре модели визуальной трансформации под названием Universal Vision Transformer (U-ViT). Она объединяет две ИИ-модели преобразования текста в видео: Diffusion и Transformer. Такая архитектура позволяет создавать высококачественные видеоролики с динамичными движениями камеры, сложной мимикой, аутентичными эффектами освещения и тени.

Так выглядит панель управления на сайте:

При регистрации пользователи получают 80 бесплатных поинтов в месяц и получают качественный результат, хотя в бесплатной версии разрешение немного ниже. Каждая генерация ограничена 4 секундами (в платной версии - 8 секунд).

Зайдите на сайт Vidu и зарегистрируйтесь с помощью электронной почты. На верхней навигационной панели нажмите на кнопку «Create Video».

Вот пример:

Промпт: A Chinese man sitting at a table, eating noodles with chopsticks

Ниже готового видеофайла вы можете выбрать масштабирование или повторное использование промпта, нажав на кнопку «ConfigCopy». Вот окончательный результат:

Это видео представляет собой 4-секундный файл размером 688 × 384. Из-за небольшого размера генерация заняла меньше минуты. Обратите внимание, что у других ИИ-видеоинструментов, генерирующих файлы с разрешением 1080p, на одно видео уходит не менее 2-3 минут. Каждая генерация стоит 4 кредита.

Страница настроек довольно проста. Вы можете выбрать стиль видео: общий или анимация. Обратите внимание, что стиль видео применяется только в режиме «текст в видео», а опция 8-секундной длительности доступна только для платных пользователей.

Давайте попробуем использовать этот промпт в анимированном стиле:

In a softly lit bathroom, a teddy bear styled like an American animated character is taking a bath. The bear, partially submerged in a bubble-filled bathtub, holds a phone to its ear with one paw while scrubbing itself with the other. The ambient lighting is gentle and refreshing, casting a warm and inviting glow over the scene. The bathroom tiles are a soothing pastel color, complementing the cozy and whimsical atmosphere. The teddy bear’s expressive face shows concentration as it multitasks, combining the mundane act of bathing with the casual activity of a phone conversation.

Ух ты! Я был очень впечатлен качеством полученного видео. Оно выглядит так, будто создано на основе анимационного фильма студии Ghibli. Однако вы можете заметить, что ИИ-модель испытывает трудности с согласованностью действий. В промпте медведь должен одной лапой держать телефон у уха, а другой чистить себя.

Теперь давайте посмотрим, как работает функция преобразования изображения в видео. После загрузки изображения укажите, будет ли оно использоваться в видео в качестве первого кадра или референса персонажа.

Вот референсное изображение из Midjourney:

Triumphant Marathon Runner Approaching the Finish Line, Eiffel Tower in Festive Atmosphere

Это выглядит очень круто. Меня удивило, что Vidu намеренно добавляет в сцену больше деталей с разборчивым текстом на манишке бегуна.

Одна из областей, в которой большинство ИИ-генераторов видео испытывают трудности, - это рендеринг текста. Давайте посмотрим, как Vidu справится с этим промптом:

A wall with a graffiti that says “Vidu is cool”

Текст не точный, но буквы разборчивые. Глядя на эти результаты, можно сказать, что эта программа лучше, чем Kling, справляется с генерацией текста в видео. Вот как Kling справляется с отрисовкой текста в ИИ-видео:

Kling is cool

Это сумбур, и тексты совсем не соответствуют промпту.

Вот краткая информация о тарифных планах:

Free: 80 кредитов в месяц, создание 4-секундного видео, увеличение разрешения, некоммерческое использование, 1 одновременное задание.
Standard: $9,99 в месяц (скидка 50%, обычная цена - $19,99), 320 кредитов в месяц, создание 4- и 8-секундных видео, увеличение разрешения, коммерческое использование, удаление водяного знака после увеличения разрешения, 2 задачи одновременно.
Advanced: $29,99 в месяц (скидка 50%, обычная цена $59,99), 880 кредитов в месяц, создание 4- и 8-секундных видео, повышение разрешения, коммерческое использование, удаление водяного знака после масштабирования, 3 задачи одновременно, доступ к новым функциям.
Premium: $99,99 в месяц (скидка 50%, обычная цена $199,99), 2960 кредитов в месяц, создание 4- и 8-секундных видео, увеличение разрешения, коммерческое использование, удаление водяных знаков после масштабирования, 4 задания одновременно, доступ к новым функциям.

Также пользователи могут оформить годовую подписку и получить скидку 20%.

И прежде чем я закончу эту статью, скажу, что Клинг только что ввел платную подписку, стоимость которой начинается с 5 долларов и доходит до 46 долларов в месяц.

Уровень pro дает вам следующие преимущества:

Эксклюзивный профессиональный режим для членов клуба: По оценкам, он отличается более четким следованием инструкциям, более высоким качеством изображения и более высокой динамической согласованностью - значительное общее улучшение преобразования текста в видео и изображения в видео по сравнению со стандартным режимом.
Другие возможности для членов клуба: Удаление водяных знаков, управление камерой, увеличение длины видео и расширенные инструменты для создания композиции кадра.

Для таких бесплатных пользователей, как я, сохраняется ежедневный бонус за вход в систему в размере 66 кредитов. Посетите сайт klingai.com, чтобы узнать больше о тарифных планах.

В целом, Vidu - отличное дополнение к короткому списку общедоступных ИИ-генераторов видео. По качеству он опережает Runway Gen-3 Alpha, но немного уступает Sora от OpenAI. Я ценю то, что бесплатные пользователи получают бесплатные ежемесячные кредиты, хотя было бы лучше, если бы они предоставлялись ежедневно.

Кроме того, рендеринг текста и согласованность с промптом по-прежнему остаются одними из самых сложных задач в ИИ-видеороликах. Хотя Vidu все еще борется с этим, уже заметна большая разница по сравнению с тем, как это было несколько лет назад.

Я рад, что в 2024 году генерация видео наконец-то догонит генерацию текста и изображений. В ближайшие месяцы мы можем увидеть больше ИИ-видеогенераторов с более высоким качеством генерации и более дешевой подпиской.

🔥Телеграм-бот SYNTX предоставляет доступ к более чем 40 ИИ-инструментам. Без ВПН, оплата любой картой, запросы на любом языке, пробуйте бесплатно! Под капотом - GPT4o/Gemini/Claude, MidJourney, DALL-E 3 и Ideogram, LUMA, Runway, Suno, Редактор с 12 различными ИИ-инструментами для ретуши фото.

☝️Это только часть функций, доступных в SYNTX!

Еще больше полезностей - в телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.

#vidu #ai

Источник статьи на английском - здесь