Потрясающий дебют OpenAI в области создания видео Sora ощущается как выпуск GPT-4
OpenAI продемонстрировал свою первую генеративную модель искусственного интеллекта для видео под названием Sora, и, судя по всему, это похоже на фееричный момент выпуска GPT-4, только в сфере генерации видео.
OpenAI анонсировала Sora, первую в компании модель преобразования текста в видео, в сообщении в блоге и на X, ранее Twitter, который заблокирован в РФ. Sora демонстрирует впечатляющий набор возможностей, включая возможность создавать видеоролики продолжительностью до минуты, которые могут похвастаться беспрецедентным уровнем визуальной точности и, что наиболее важно, стабильностью. При этом - согласно информации OpenAI - нейросеть четко соблюдает инструкции пользователя.
Модель искусственного интеллекта теперь доступна избранной группе red teamers для оценки рисков ИИ, а также художникам-визуалистам, дизайнерам и кинематографистам, которые хотят оставить отзыв, чтобы улучшить ее полезность для профессионалов этих сфер.
OpenAI рассматривает Sora как базовую модель на пути к AGI
Согласно OpenAI, текущие ограничения Sora заключаются в необходимости точного моделирования сложной физики, а так же обучение более точному изучению конкретных причинно-следственных сценариев.
Например, персонаж может откусить печенье, но визуальный эффект - след от укуса - может отсутствовать. Sora также может сбиваться с пространственных деталей, таких как различение левого и правого, и затрудняться с подробным описанием событий с течением времени, например, с отслеживанием траектории камеры.
Что касается безопасности, OpenAI реализует несколько стратегий, прежде чем интегрировать Sora в свои продукты. Это включает в себя работу с red teamers и разработку инструментов, таких как классификатор обнаружения, позволяющий определить, когда видео сгенерировано с помощью Sora.
Они намерены включить метаданные C2PA в будущем, предполагая, что модель будет использоваться в продукте OpenAI. Основываясь на методах безопасности, установленных для DALL-E 3, OpenAI планирует использовать текстовые классификаторы для проверки подсказок, нарушающих политику содержания, и графические классификаторы для проверки видеокадров на соответствие политике использования.
Sora - это диффузионная модель, которая работает путем постепенного преобразования статичных, зашумленных видео в четкие. Представляя видео в виде наборов фрагментов данных, похожих на токены GPT, модель может работать с более широким спектром визуальных данных, чем это было возможно ранее, говорят в компании.
Используя методы воспроизведения из DALL-E 3, Sora может более точно воспроизводить текстовые инструкции в созданных видеороликах. Временная стабильность поколения Sora стала возможной благодаря тому, что система "позволяет модели заглядывать вперед на много кадров единовременно".
OpenAI рассматривает Sora как основополагающую модель, "которая может понадобиться и моделировать реальный мир", что является важным шагом на пути к созданию общего искусственного интеллекта (AGI).
ps. Комментируйте и лайкайте, пожалуйста! Это помогает продвижению статьи.
Ну и как положено, канал тг))) Канал и чатик
Там в закрепленном боты KolerskyAi для доступа в Chat GPT и Dalle-3 без VPN и другие нейросети.
когда уберут косяки типо плывущего носа и двух левых лап это будет реальный прорыв
Думаю быстро исправят. Еще пол года все генераторы картинок делали людей с 6-8 пальцами на руке) Теперь такой проблемы нет 😀
Al осталось убрать только проблемы с физиологией человека и все, это идеальный инструмент!
Будем надеяться, что Sora приведет к еще более удивительным результатам