Veo - новая нейросеть Google для генерации видео
Нейросеть генерирует видео в разрешении 1080p и длиной более минуты по текстовому описанию, изображению или другому видео. Это прямой конкурент Sora от OpenAI. Обещают, что инструмент точно улавливает нюансы и тон подсказки, понимает подсказки для кинематографических эффектов, например, замедленная съемка или съемка пейзажа с воздуха.
Кроме того, Veo позволяет редактировать видео, вносить изменения в определенные области. Модель умеет снимать видеоклип длительностью до 60 секунд и более. Это можно сделать с помощью одной подсказки или последовательности подсказок, которые вместе рассказывают историю.
Все это делает производство видео доступным для всех.
В Google подчеркивают, что инструмент создан совместно с креаторами и для креаторов. Так, режиссер Дональд Гловер и его студия Gilga экспериментировали с Veo для кинопроекта.
В чем достижение?
Модель - результат длительной работы, включая другие модели Google, например, Lumiere.
Чтобы создать связную сцену, генеративные видеомодели должны точно интерпретировать текстовую подсказку и весьма тонко комбинировать эту информацию в едином видео ряде. Чтобы добиться такого эффекта, Google использовали весьма подробные описания к каждому видео в обучающих данных.
Также технически сложная проблема - поддержание визуальной согласованности (консистентности) на протяжении всего видео. Персонажи, объекты или даже целые сцены могут неожиданно мерцать, прыгать или трансформироваться между кадрами, нарушая качество просмотра.
Из схемы ниже видно, что это достаточно сложная техническая работа. Подробнее о том, почему сгенерить видео нейростетью - это технически сложная задача, читайте тут.
Как насчет безопасности, авторских прав?
Созданные Veo Видео помечаются водяными знаками с помощью SynthID (инструмента для нанесения водяных знаков и идентификации контента), проходят через фильтры безопасности и процесс проверки, которые помогают снизить риски конфиденциальности, авторских прав и предвзятости.
Как воспользоваться нейросетью?
Можно записаться через лист ожидания на labs.google, заявки принимаются. Пока Veo доступна только некоторым видеоблогерам, в процессе обсуждение с голливудскими киностудиями. В будущем обещают добавить некоторые возможности Veo в YouTube Shorts и другие продукты Google.
Интересно будет увидеть, на что будут способный нейронки через 5 лет. В своем работе каки-нибудь нейронки начали пользоваться?
В интересное время живём. Наверное также удивлялись люди первым телевизорам. Лет через 10 на работу нейросетей уже никто не будет обращать внимания на них как на что-то революционное. Помню как много знакомых удивлись введению куар кодов: мол, это наше будущее, можно будет переходить на страницу в интернете с любой поверхности. А сейчас уже натурально ноль внимания к этой технологии. Она есть и все
Люди удивлялись цветным телевизорам, а на чёрно-белый qr уже никто внимание потом не обращал.
Причем в газете цветные передачи были в расписании с меткой Цвет.
Для рекламной отрасли всё это, конечно, только в благодать - производство роликов упростится до нескольких щелчков пальцами