Lumiere

Модели генерации видео развиваются невероятными темпами, но до сих пор создавали "немые" видео, без звука. Google DeepMind решил эту проблему, анонсировав 17 июня технологию создания аудио на основе имеющегося видео (V2A). И буквально через день подтянулся с решением другой конкурент, единорог ElevenLabs. Расскажу о сервисе, и чем он нам может быть…

Нейросеть генерирует видео в разрешении 1080p и длиной более минуты по текстовому описанию, изображению или другому видео. Это прямой конкурент Sora от OpenAI. Обещают, что инструмент точно улавливает нюансы и тон подсказки, понимает подсказки для кинематографических эффектов, например, замедленная съемка или съемка пейзажа с воздуха.