Нейросеть Яндекса научилась генерировать видео в Шедевруме

Новая функция работает в режиме тестирования и доступна активным авторам Шедеврума. Все остальные могут посмотреть на примеры работ в ленте приложения — обновите его до последней версии.
Как это работает?
За генерацию отвечают нейросети Яндекса. Чтобы сгенерировать видео в Шедевруме, нужно описать текстом то, что хочется увидеть. В ответ приложение предложит четыре варианта первого кадра и набор анимационных эффектов для создания движения. Сейчас их семь: зум (приближение), таймлапс (ускоренная перемотка), полёт, панорама, вращение, подъём и морфинг (постепенное изменение). За основу нейросеть берёт выбранное пользователем изображение, генерирует набор его изменённых версий и объединяет всё выбранным эффектом.
Приложение генерирует короткие ролики длиной четыре секунды с частотой 24 кадра/сек. Для создания кадров используется метод каскадной диффузии. Нейросеть сначала создаёт отдельные изображения в соответствии с запросом, а затем поэтапно увеличивает их разрешение, насыщая деталями. Звука в таких роликах пока нет.