Adobe запустила возможности генерации видео на платформе Firefly AI перед Adobe MAX

Adobe представила новые функции генерации видео для своей платформы Firefly AI накануне мероприятия Adobe MAX. С сегодняшнего дня пользователи могут протестировать генератор видео Firefly на сайте Adobe, а также попробовать функцию на базе ИИ — Generative Extend в бета-версии Premiere Pro.

На сайте Firefly пользователи могут опробовать две модели: текст-видео и изображение-видео, которые создают до 5 секунд видео на основе ИИ. Веб-версия Firefly доступна бесплатно, однако с ограничениями на количество запросов.

Adobe сообщает, что Firefly обучен создавать как анимированный контент, так и фотореалистичные медиа, в зависимости от требований пользователя. Firefly также способен генерировать видео с текстом, что ранее было сложной задачей для генераторов изображений на базе ИИ. В веб-приложении Firefly есть настройки для управления панорамированием камеры, интенсивностью движений, углом съемки и размером кадра.

В бета-версии Premiere Pro пользователи могут протестировать новую функцию Generative Extend, которая позволяет удлинять видеоклипы до 2 секунд. Эта функция создана для того, чтобы добавлять новые кадры в уже существующую сцену, продолжая движение камеры и действия объекта. Также функция продлевает фоновую аудиодорожку, что позволяет пользователям впервые протестировать ИИ-модель для работы со звуком, над которой Adobe долгое время работала в тайне. Важно отметить, что эта функция не воспроизводит голоса или музыку, чтобы избежать юридических исков, связанных с нарушением авторских прав.

В демонстрациях, которые Adobe представила до запуска, функция Generative Extend произвела большее впечатление, чем модель «текст-видео». Однако модель «текст-видео» и «изображение-видео» пока не так совершенны, как решения конкурентов Adobe в области генерации видео на базе ИИ, например, Runway's Gen-3 Alpha или Sora от OpenAI. Adobe сделала акцент на инструментах для редактирования видео, а не на создании нового контента, чтобы удовлетворить свою творческую аудиторию.

Adobe стремится сбалансировать инновации в области ИИ с ожиданиями своей аудитории. Компания осознает, что многие креативные профессионалы опасаются, что инструменты ИИ могут заменить их многолетний труд. Первая функция Firefly для видео, Generative Extend, решает актуальную задачу редакторов видео — недостаточная длина клипа — вместо того, чтобы создавать новый видеоконтент с нуля.

Как отметил вице-президент по генеративному ИИ в Adobe, Александру Костин, основная задача ИИ в Firefly — не создавать новые материалы, а улучшать и редактировать уже существующие. Это особенно важно для профессионалов, стремящихся сохранить высокий уровень качества своей работы.

Adobe уже добилась успеха с функцией Generative Fill в Photoshop, которая активно используется редакторами. Эта функция значительно ускоряет рабочие процессы и дополняет существующие инструменты, что делает её одной из самых популярных за последнее десятилетие. Компания надеется повторить этот успех с видеофункциями Firefly.

Adobe старается поддерживать творческое сообщество и выплачивает художникам и фотографам вознаграждения за обучение моделей ИИ. Тем не менее, многие креативные профессионалы продолжают опасаться использования ИИ. Костин убеждает их, что инструменты ИИ помогут увеличить спрос на их работу, а не заменить её. В современном мире компании нуждаются в большом объеме персонализированного контента, и ИИ может помочь удовлетворить этот спрос.

Он также сравнивает текущие изменения с предыдущими технологическими революциями, такими как цифровая фотография и издательство, которые в своё время тоже вызывали опасения у профессионалов, но в итоге стали неотъемлемой частью творческого процесса.

Firefly автоматически добавляет метаданные с отметкой «Сгенерировано ИИ» в созданные видео. Это позволяет платформам и пользователям идентифицировать ИИ-контент. Однако Adobe не добавляет явные визуальные метки для людей, отличающие ИИ-контент.

Adobe разработала Firefly для создания «коммерчески безопасного» контента, не используя изображения и видео, связанные с наркотиками, насилием, политическими фигурами или защищённые авторским правом материалы. Таким образом, Firefly должен генерировать только безопасный контент. Время покажет, насколько успешно Firefly справится с этими задачами.