SORA или Новая нейросеть будущего от OpenAI

OpenAI представила новую нейросеть под названием Sora, которая умеет создавать целые видео по текстовому описанию. Это новый этап в развитии искусственного интеллекта.

Sora — это диффузионная модель, способная создавать сложные сцены с несколькими персонажами, определенными типами движения и точными деталями объекта и фона. Она понимает подсказки и знает, как ведут себя различные объекты в физическом мире. Особенностью Sora является то, что она генерирует целое видео сразу, а не покадрово, что помогает избежать проблем, связанных с изменением объектов при движении или перемещении камеры.

Согласно заявлениям разработчиков, Sora научилась выполнять широкий спектр задач, хотя пока еще испытывает трудности с воссозданием реалистичной физики движения. Теперь 3D-анимации, мультфильмы, рекламные ролики и даже полноценные фильмы можно создавать самостоятельно.

Кадр одного их сгенерированных видео в Sora

Модель осмысленно обрабатывает физические взаимодействия объектов, создавая убедительные эффекты, будь то освещение, рейтрейсинг или физика жидкостей. Sora представляет собой целый физический движок с собственной системой рендеринга. Джим Фан, глава отдела искусственного интеллекта в Nvidia, изучив материалы, сделал вывод, что обучение Sora проводилось на базе Unreal Engine 5. Это означает, что пользователи, работая с Sora, создают виртуальные модели с полным набором реальных физических симуляций, которые нейросеть трансформирует в видеоролики.

На данный момент доступ к Sora имеют только тестировщики, но разработчики обещают сделать ее доступной широкой публике в ближайшем будущем.

Еще видео и другой информации по нейросетям вы можете найти у меня в телегам канале. Буду рад вам там видеть.