Nvidia разработала нейросеть для замедления видео
Система способна замедлить ролик до 240 кадров в секунду, «дорисовывая» нужные кадры.
Специалисты производителя видеокарт Nvidia разработали систему, которая использует алгоритмы машинного обучения, чтобы замедлять обычные видеоролики без использования специальных камер.
Для замедления ролика с частотой 30 кадров в секунду до 240 кадров в секунду необходимо «дорисовать» 210 недостающих кадров. Существующие программы для создания подобного эффекта, вроде RE:Vision Effect's Twixtor, пока работают медленно.
Искусственный интеллект Nvidia анализирует видео и «дорисовывает» недостающие кадры для замедления, пропуская минимальное количество недостающих кадров. Компания обучала систему на 11 тысячах роликов, записанных со скоростью 240 кадров в секунду.
Достаточно круто для вау эффект, хотя конечно понятно что дополнительной инфомации в таких видео не будет, так как он угадывает и восстанавливает за счет этого.
Короче для ученных нет, а для нас, простых домохозяек вполне себе пойдет.
Для простых домохозяек обычный айфон УЖЕ умеет снимать 240fps в 1080p без всяких нейросетей.
Я хз как вы можете восторгаться этим, это же отвратительно. На сравнение с обычным slow-mo видно как кардинально отличаются кадры, ИИ просто выдумывает новые кадры как ему хочется.
Готовы на слепой тест?
Во первых, это только первые шаги, дальше будет только совершеннее. Во вторых, это более дешевый вариант, чем камеры для небольших студий. В третьих, став совершеннее, эта система будет использоваться, например, при производстве CGI эффектов в кино - вместо 24 кадров рендерится 12, а остальные дорисовываются нейросетью. Или для 3д мультфильмов, которые можно либо удешевить, либо при тех же деньгах, получить еще лучшее качество. Ну и анимешникам с их 12 кадрами будет радость.
Да это ладно, но вот моушен блюр эффект на "замедленном" видео вообще неоч. Его по сути быть там не должно.
ИИ просто выдумывает новые кадры как ему хочется.
Не как ему хочется, а как его натренировали или запрограммировали.
Если бы ИИ реально "выдумывал" кадры "как ему хочется", то мы бы перешагнули точку сингулярности еще до того как я дописал этот комменатрий.