Sora от OpenAI: принцип работы, примеры видео и сравнение с Runway

После 10 месяцев слухов, утечек и спекулятивных твитов от различных ИИ-энтузиастов компания OpenAI наконец-то представила свою долгожданную ИИ-модель для генерации видео - Sora.

Несколько дней назад ИИ-сообщество уже ожидало выхода Sora, и я был одним из тех, кто постоянно обновлял сайт Sora.com, как отчаявшийся любитель кроссовок, пытающийся приобрести лимитированные модели.

Если вы не можете получить доступ к сайту, посмотрите список поддерживаемых стран здесь. Возможно, вам придется воспользоваться VPN, если вашей страны нет в списке.

Честно говоря, я ожидал от Sora совсем немногого. Прошло почти 10 месяцев с тех пор, как мы услышали серьезные новости о видеомодели от OpenAI, и с учетом того, что такие новые имена, как Kling AI, Runway Gen-3 и Hailou AI, начали набирать обороты, я полагал, что Sora появится с опозданием.

Но я должен сказать, что после того, как я увидел некоторые из тех результатов, которыми поделились люди, я впечатлен. Возможно, она и впрямь может дать этим конкурентам фору.

Тем не менее, если несколько первых образцов произвели на меня впечатление, это еще не значит, что я решился на покупку. Есть много вещей, которые имеют значение, когда речь идет о ИИ-инструментах для создания видео:

Именно на этих моментах я и сосредоточился. Я хочу понять, достаточно ли у Sora возможностей, чтобы оправдать ее использование, и, в конечном счете, стоит ли за нее платить.

Еще больше полезностей - в телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.

Если вы впервые слышите о ней, то Sora - это ИИ-инструмент для генерации видео от OpenAI, который может создавать короткие ролики из текста, изображений и даже других видео.

В начале этого года OpenAI представила предварительную версию Sora, рассказав о своих успехах в «моделировании мира» - по сути, обучении модели понимать и представлять аспекты физического мира.

Теперь Sora Turbo, более быстрая и усовершенствованная версия, выпускается как отдельный продукт, доступный пользователям ChatGPT Plus и Pro на сайте Sora.com.

Используя Sora Video Editor, вы можете создавать видеоролики длиной до 20 секунд, при этом сохраняя хорошее визуальное качество и следуя вашим промптам.

Вот основной процесс:

В нижней части экрана вы можете ввести текстовое описание желаемого видео.

Если вы предпочитаете начать с существующего изображения или видео, нажмите на «+» в поле ввода, чтобы загрузить свой файл. Помните, что права на все загружаемое вами должны принадлежать вам, и вы не можете загружать изображения или видео других людей без их прямого письменного разрешения.

Перед тем как нажать кнопку «submit», просмотрите и подкорректируйте настройки. Вы можете изменить соотношение сторон, разрешение, продолжительность и количество вариаций. Эти настройки повлияют на стоимость вашей генерации. Наведите курсор на значок «?», чтобы проверить, сколько кредитов будет потрачено при выбранных вами настройках.

После того как вы введете свой промпт, Sora начнет его обработку, которая может занять до минуты. Вы можете следить за ходом генерации видео, нажав на значок в правом верхнем углу страницы.

После того как видео будет сгенерировано, наведите курсор на превью в библиотеке, чтобы увидеть все варианты.

Нажмите на конкретную вариацию, чтобы рассмотреть ее поближе и получить доступ к инструментам редактирования. Вы можете доработать, переделать или расширить созданный клип, основываясь на том, что создала Sora.

Выглядит великолепно. Он напоминает мне инструмент для редактирования видео от Kling, Runway или RenderNet AI.

Теперь давайте посмотрим на некоторые видеоролики, сгенерированные Sora, и мои мысли по поводу каждого из них.

Дым и брызги воды выглядят невероятно детализированными. Мне также нравится, как ведут себя предметы, плывя по воде. Похоже, Sora знает, как объекты должны двигаться и взаимодействовать в физической среде.

Это непростая задача, потому что нужно не просто придать видео реальный вид. А в том, чтобы сделать его красивым и ярким. Sora все же справилась с этой задачей.

Бабочки выглядят более красочными, а вся сцена кажется более сказочной, словно из сказки. Она не обязана подчиняться физике реального мира, но при этом выглядит профессионально и эффектно.

Людей ИИ-видео моделям генерировать всегда сложно. Даже здесь я замечаю некоторые странные детали - ногти выглядят странно, а конечности могут быть смещены. Большинство существующих моделей не справляются с анатомией человека, и Sora не исключение. Она не идеальна, но я вижу некоторые улучшения по сравнению с тем, что я видел раньше.

На этом примере видно, как Sora умеет создавать определенное настроение. Туманная обстановка, контраст и ощущение найденных кадров - все здесь на высоте. Кажется, что это могло бы подойти для трейлера фильма или короткометражки. Впечатляет, что Sora может работать с такой кинематографической эстетикой.

ИИ-модели обычно испытывают трудности с текстом, и Sora - не исключение. Хотя в целом сцена выглядит хорошо, орфография нарушена, а текст неточен. Это похоже на то, что происходит с генераторами изображений. Рендеринг текста остается большой проблемой.

Одна вещь, которая привлекает мое внимание, - это интерфейс, который OpenAI разработала для Sora. Они не просто дали нам поле для ввода промпта и на этом остановились. Они представили множество функций: инструмент раскадровки, Remix, Recut, Loop, Blend и предустановки стилей.

Сейчас я застрял в ожидании стабильного доступа. Из-за шумихи серверы перегружены, поэтому новые пользователи вообще не могут создавать видео. Если вы видите это сообщение об ошибке, вы не одиноки.

Как только я получу доступ, я планирую сравнить Sora с Runway Gen-3 и Kling, используя те же промпты, и посмотреть, какие результаты будут более согласованными и реалистичными.
А пока давайте попробуем сравнить предварительно созданное Sora видео с Runway Gen-3. Вот пример видео, созданного с помощью Sora:

Этот 5-секундный ролик, представленный ниже, сгенерирован в Runway.

Из того, что я вижу, результат Sora кажется более живым. Медведи не просто сидят на месте. Камера двигалась, и в сцене чувствовалась активность. Версия Runway Gen-3, напротив, выглядит более статичной, почти как слегка анимированное изображение.

Также мне нужно выяснить, соответствует ли заявленное «быстродействие» действительности. Ранняя исследовательская модель была медленной и дорогой в использовании. Sora Turbo должна быть значительно быстрее, но «быстро» в терминах ИИ все еще может означать несколько минут ожидания для 20-секундного ролика.

Улучшится ли эта скорость со временем? Возможно.

Если вы хотите использовать Sora, то в настоящее время она привязана к определенным планам подписки ChatGPT:

ChatGPT Plus ($20/месяц)

ChatGPT Pro ($200/месяц)

Сейчас многие люди, в том числе и я, находятся в ожидании стабильного доступа к Sora. Проблемы с мощностью сервера явно раздражают, а в социальных сетях полно пользователей, которые не могут зарегистрироваться или вообще генерировать видео.

Тем не менее, первые результаты работы Sora выглядят впечатляюще. Реалистичность и согласованность великолепны, и интересно представить, что это может значить для творческих людей, режиссеров и всех, кто хочет воплотить свои идеи в жизнь с помощью видео.

Но эти же возможности вызывают и серьезные опасения. С такими реалистичными видео мы должны признать риск злоупотреблений: фальшивых новостей, мошенничества и дипфейков.

Любопытно, что техно-блогер Маркес Браунли заметил: когда он попросил Sora сгенерировать видео с техническим обозревателем, в нем подозрительным образом присутствовало зеленое растение на столе, очень похожее на то, которое часто можно увидеть в его собственных видео.

Было ли это странным совпадением, или данные для обучения OpenAI включали его работы и повторяли эти детали? Трудно сказать наверняка, но это подчеркивает неопределенность, связанную с тем, как обучаются эти модели и что они могут случайно обнаружить.

В любом случае, если им удастся наладить доступ, поддерживать качество и создать сообщество, которое будет ответственно использовать инструмент, Sora может заменить Kling или Runway в качестве основного инструмента для создания видео с помощью искусственного интеллекта среди пользователей. Пока что я воздерживаюсь от окончательных выводов, пока не утихнет шумиха, нормально не заработают серверы, и у меня не появится шанс по-настоящему испытать ее.

#sora

Источник статьи на английском - здесь