Nvidia разработала нейросеть для замедления видео

Система способна замедлить ролик до 240 кадров в секунду, «дорисовывая» нужные кадры.

5151

Достаточно круто для вау эффект, хотя конечно понятно что дополнительной инфомации в таких видео не будет, так как он угадывает и восстанавливает за счет этого.
Короче для ученных нет, а для нас, простых домохозяек вполне себе пойдет.

11

Для простых домохозяек обычный айфон УЖЕ умеет снимать 240fps в 1080p без всяких нейросетей.

Я хз как вы можете восторгаться этим, это же отвратительно. На сравнение с обычным slow-mo видно как кардинально отличаются кадры, ИИ просто выдумывает новые кадры как ему хочется.

5

Готовы на слепой тест?

15

Во первых, это только первые шаги, дальше будет только совершеннее. Во вторых, это более дешевый вариант, чем камеры для небольших студий. В третьих, став совершеннее, эта система будет использоваться, например, при производстве CGI эффектов в кино - вместо 24 кадров рендерится 12, а остальные дорисовываются нейросетью. Или для 3д мультфильмов, которые можно либо удешевить, либо при тех же деньгах, получить еще лучшее качество. Ну и анимешникам с их 12 кадрами будет радость.

7

Да это ладно, но вот моушен блюр эффект на "замедленном" видео вообще неоч. Его по сути быть там не должно.

1

ИИ просто выдумывает новые кадры как ему хочется.

Не как ему хочется, а как его натренировали или запрограммировали.
Если бы ИИ реально "выдумывал" кадры "как ему хочется", то мы бы перешагнули точку сингулярности еще до того как я дописал этот комменатрий.

Это офигенно. Делают из 30 FPS - 240. Предполагаю, что сократят нагрузку на видюху за счет технологии.

6

Так это не для игр, обработка то не в риалтайме идёт. А когда дойдёт до риалтайма (минимум через несколько лет) всё равно input-lag cлишком большой будет для тех же онлайн игр имхо.

2

Комментарий недоступен

3

Какая в сраку нейросеть? В Final Cut и Adobe Premier уже 10 лет плагины для замедления есть. Делают точно так же.

И еще скажи тем, кто снимает слоу-мо в 500 fps, что они дураки, пусть снимают в 25, потом просто замедлят в Премьере)

5

Жесткую хуйню они делают, там блюр просто зашкаливает, у нвидии тоже есть блюр, но хоть так в глаза не бросается

Пишет профессионал, похоже, пацаны. В NVidia даже не подозревали, что в монтажках можно замедлять. Напишите им письмо))

Это супер круто. Ясно, что нейросеть ничего не знает о физике за кадром и додумывает кадры, поэтому реальный слоу-мо кажется реалистичнее. Но не думаю, что многие заметят разницу, если встроить получившийся результат в общий видеоряд.

Игровые движки все сплошь и рядом построены на трюках, но главное ведь воспринимаемый реализм, а не физическая точность.

1

>Игровые движки все сплошь и рядом построены на трюках, но главное ведь воспринимаемый реализм, а не физическая точность.Да, только чем ближе этот фейковый реализм тем заметнее что это не физическая точность. В каком нибудь Duke3D не обращали внимание на физику гильзы, а сейчас если гильза пролетает через стену - "фу кака, нереалистична, графон донный"

Типа майнинг все?

1

Ну, с волосами девушки он (предсказуемо) сплавился не очень

и с ногами тоже

1

Лучше бы для замедления майнинга что нибудь придумали))

ML-инженеры в Nvidia топовые, конечно.

Расчёт промежуточных кадров есть лет 15. Вначале в теликах филипс, сейчас во всех.
Есть программа SVP, которая делает то же самое с видео на компьютере, и ей тоже лет 10.
Хотя, может быть, у нвидиа качество выше - это надо сравнивать. Тем не менее артефакты на видео хорошо видны

А мне почему-то подумалось словосочетание "доказательство в суде".
Прикольно будет увидеть как, кого-то осудили на основе выдуманного нейросетью кадра.