Nvidia разработала нейросеть для замедления видео

Система способна замедлить ролик до 240 кадров в секунду, «дорисовывая» нужные кадры.

8.4K8.4K открытий

Достаточно круто для вау эффект, хотя конечно понятно что дополнительной инфомации в таких видео не будет, так как он угадывает и восстанавливает за счет этого.
Короче для ученных нет, а для нас, простых домохозяек вполне себе пойдет.

Ответить

Для простых домохозяек обычный айфон УЖЕ умеет снимать 240fps в 1080p без всяких нейросетей.

Ответить

Я хз как вы можете восторгаться этим, это же отвратительно. На сравнение с обычным slow-mo видно как кардинально отличаются кадры, ИИ просто выдумывает новые кадры как ему хочется.

Ответить

Готовы на слепой тест?

Ответить

Во первых, это только первые шаги, дальше будет только совершеннее. Во вторых, это более дешевый вариант, чем камеры для небольших студий. В третьих, став совершеннее, эта система будет использоваться, например, при производстве CGI эффектов в кино - вместо 24 кадров рендерится 12, а остальные дорисовываются нейросетью. Или для 3д мультфильмов, которые можно либо удешевить, либо при тех же деньгах, получить еще лучшее качество. Ну и анимешникам с их 12 кадрами будет радость.

Ответить

Да это ладно, но вот моушен блюр эффект на "замедленном" видео вообще неоч. Его по сути быть там не должно.

Ответить

ИИ просто выдумывает новые кадры как ему хочется.

Не как ему хочется, а как его натренировали или запрограммировали.
Если бы ИИ реально "выдумывал" кадры "как ему хочется", то мы бы перешагнули точку сингулярности еще до того как я дописал этот комменатрий.

Ответить

Это офигенно. Делают из 30 FPS - 240. Предполагаю, что сократят нагрузку на видюху за счет технологии.

Ответить

Так это не для игр, обработка то не в риалтайме идёт. А когда дойдёт до риалтайма (минимум через несколько лет) всё равно input-lag cлишком большой будет для тех же онлайн игр имхо.

Ответить
Ответить

Комментарий недоступен

Ответить

Какая в сраку нейросеть? В Final Cut и Adobe Premier уже 10 лет плагины для замедления есть. Делают точно так же.

Ответить

И еще скажи тем, кто снимает слоу-мо в 500 fps, что они дураки, пусть снимают в 25, потом просто замедлят в Премьере)

Ответить

Жесткую хуйню они делают, там блюр просто зашкаливает, у нвидии тоже есть блюр, но хоть так в глаза не бросается

Ответить

Пишет профессионал, похоже, пацаны. В NVidia даже не подозревали, что в монтажках можно замедлять. Напишите им письмо))

Ответить

Это супер круто. Ясно, что нейросеть ничего не знает о физике за кадром и додумывает кадры, поэтому реальный слоу-мо кажется реалистичнее. Но не думаю, что многие заметят разницу, если встроить получившийся результат в общий видеоряд.

Игровые движки все сплошь и рядом построены на трюках, но главное ведь воспринимаемый реализм, а не физическая точность.

Ответить

>Игровые движки все сплошь и рядом построены на трюках, но главное ведь воспринимаемый реализм, а не физическая точность.Да, только чем ближе этот фейковый реализм тем заметнее что это не физическая точность. В каком нибудь Duke3D не обращали внимание на физику гильзы, а сейчас если гильза пролетает через стену - "фу кака, нереалистична, графон донный"

Ответить

Типа майнинг все?

Ответить

Ну, с волосами девушки он (предсказуемо) сплавился не очень

Ответить

и с ногами тоже

Ответить

Лучше бы для замедления майнинга что нибудь придумали))

Ответить

ML-инженеры в Nvidia топовые, конечно.

Ответить

Расчёт промежуточных кадров есть лет 15. Вначале в теликах филипс, сейчас во всех.
Есть программа SVP, которая делает то же самое с видео на компьютере, и ей тоже лет 10.
Хотя, может быть, у нвидиа качество выше - это надо сравнивать. Тем не менее артефакты на видео хорошо видны

Ответить

А мне почему-то подумалось словосочетание "доказательство в суде".
Прикольно будет увидеть как, кого-то осудили на основе выдуманного нейросетью кадра.

Ответить