Nvidia разработала нейросеть для замедления видео Статьи редакции
Система способна замедлить ролик до 240 кадров в секунду, «дорисовывая» нужные кадры.
Специалисты производителя видеокарт Nvidia разработали систему, которая использует алгоритмы машинного обучения, чтобы замедлять обычные видеоролики без использования специальных камер.
Для замедления ролика с частотой 30 кадров в секунду до 240 кадров в секунду необходимо «дорисовать» 210 недостающих кадров. Существующие программы для создания подобного эффекта, вроде RE:Vision Effect's Twixtor, пока работают медленно.
Искусственный интеллект Nvidia анализирует видео и «дорисовывает» недостающие кадры для замедления, пропуская минимальное количество недостающих кадров. Компания обучала систему на 11 тысячах роликов, записанных со скоростью 240 кадров в секунду.
Достаточно круто для вау эффект, хотя конечно понятно что дополнительной инфомации в таких видео не будет, так как он угадывает и восстанавливает за счет этого.
Короче для ученных нет, а для нас, простых домохозяек вполне себе пойдет.
Для простых домохозяек обычный айфон УЖЕ умеет снимать 240fps в 1080p без всяких нейросетей.
Да, но мы же не всегда снимаем видео в таком режиме, например мы априори не знали что будет интересный момент и уже после съемки поняли что хочется слоу-мо.
Короче говоря много где может понадобится, тем более такой достаточно неплохой, на мой не проф взгляд, результат.
А теперь примерно тоже самое будет уметь любой сяоми
Я хз как вы можете восторгаться этим, это же отвратительно. На сравнение с обычным slow-mo видно как кардинально отличаются кадры, ИИ просто выдумывает новые кадры как ему хочется.
Готовы на слепой тест?
Комментарий удален модератором
Я проиграю в слепом тесте, но это лишь доказывает что вы готовы променять реальность на несовершенную технологию.
Вы же променяли бумажные газеты на vc.
В бумажных газетах и VC одинаковая информация (грубо говоря), на представленном примере совсем разная.
Во первых, это только первые шаги, дальше будет только совершеннее. Во вторых, это более дешевый вариант, чем камеры для небольших студий. В третьих, став совершеннее, эта система будет использоваться, например, при производстве CGI эффектов в кино - вместо 24 кадров рендерится 12, а остальные дорисовываются нейросетью. Или для 3д мультфильмов, которые можно либо удешевить, либо при тех же деньгах, получить еще лучшее качество. Ну и анимешникам с их 12 кадрами будет радость.
Дорисовке кадров как технологии хуй знает сколько лет. В телеках типа самсунгах такая штука давно уже была. Помню сам офигевал как оно так делает, все фильмы в 60 fps шли. В динамичных сценах блюр был такой же. При производстве CGI никто не будет юзать это говно. Там вообще не нуждаются в таких "улучшалках". Максимум для ютуберов сгодится.
Еще как будут. На прорисовку одного кадра какого-нибудь блокбастера уходят уже не часы, а дни, а такая нейронная сеть может сократить это время в 1.5 - 2 раза. Можешь скринить мой коммент - через пару лет подобные топовые инструменты будут юзаться всеми студиями, а те, что попроще, во всех фотошопах и монтажках.
Заскринил, встречаемся в июне 2020-го на этом же месте.
Не будут использовать, пока оно не будет работать идеально на 100%. Уже сейчас есть Twixtor, OFlow, Kronos (тоже дорисовывают кадры), которые выдают очень неплохие результаты (конешно далеко не во всех случаях), но их никогда не используют для "дорисовки кадров" для CGI вместо рендеринга.
Ну, понятно что не используют. Как их можно использовать, если результат еще не удовлетворяет потребности. Я помню времена, когда бамп-мепинг использовался только в прогах типа 3д макс и на тот момент их не использовали в компьютерных играх, но прошло время и вот, их уже используют в 3д играх. Вот и с этой технологией - пока не используют, а потом будут использовать. Но пока, конечно, не используют.
Конечно в некоторых случаях оно будет работать, но как мне кажется, эта технология не может впринципе быть идеальной на 100%. Так как не всегда в кадре можно предугадать, что будет между двумя кадрами.
Для примера сделал простую анимацию: рандомные числа, каждый кадр - новое число. Отрендерил 50% кадров и прогнал через Oflow (который смотрит на соседние кадры и рисует похожее). (сверху оригинальна анимация, снизу дорисованая)
https://streamable.com/pu7wr
Нейронка точно так же не сможет правильно нарисовать, возможно оно будет поумнее и вставит рандомные числа, но точно не сможет угадать какие же числа должны были быть на самом деле.
И это простейший пример, представить себе что нейронка сможет идеально "дорисовать" нагруженую сцену не уступая полноценному рендеру очень сложно. И это мы пока говорим только о RGB. А обычно рендерится EXR с многими разными каналами, где проблем будет ещё больше. Так что думаю, що не будет оно использоватся для именно для CGI. Встетимся с вами и Unreal Person в 2020 :-)
Я могу привести совершенно конкретный пример - мультфильмы, где эмоции и позы меняются за 3-5 кадров и их так же не удастся качественно дорисовывать.
Комментарий удален модератором
имхо о ней забудут как и забыли о многих "революционных" технологиях .
Комментарий удален модератором
Да это ладно, но вот моушен блюр эффект на "замедленном" видео вообще неоч. Его по сути быть там не должно.
Это же не замена скоростной съемке, а относительно дешевое решение для тех, кто не может позволить себе камеру за тысячи баксов. К тому же, тут с 30 кадров подняли до 240, то есть между двумя крайними кадрами дорисовывается по 7 кадров. От этого, в том числе, и блюр.
Скорее, не в том числе, а на 90%
Да и смотреть надо не на подобранные отрывки из ролика, эти всегда будут идеальные, а чтото более приближенное к жизни
Не как ему хочется, а как его натренировали или запрограммировали.
Если бы ИИ реально "выдумывал" кадры "как ему хочется", то мы бы перешагнули точку сингулярности еще до того как я дописал этот комменатрий.
Это офигенно. Делают из 30 FPS - 240. Предполагаю, что сократят нагрузку на видюху за счет технологии.
Так это не для игр, обработка то не в риалтайме идёт. А когда дойдёт до риалтайма (минимум через несколько лет) всё равно input-lag cлишком большой будет для тех же онлайн игр имхо.
Научат нейросеть предсказывать часть инфы, чтобы input-lag уменьшать.
В общемировом геймдеве до сих пор от кучи костылей не могут избавиться, а тут такие планы. Всё это когда то будет, но уж точно не в ближайшие годы и не в нынешней итерации нейросети в любом случае.
Логично, но неправда. Эволюция (в том числе и в технологиях) происходит неравномерно по временной оси, а скачкообразно. Найдут относительно дешёвый, но эффективный инструмент для уменьшения input-laga (предустановленные модели имитации отжига с генетическими алгоритмами нейросетевого обучения) и будете играть в современные игры 16k ультра-качества на 1050ti, но с 512 мб оперативной памяти для работы таких моделей. Конечно, это больше фантазии, но в этих наших фантазиях больше правды, чем в вашем сухом скепсисе.
Комментарий недоступен
Какая в сраку нейросеть? В Final Cut и Adobe Premier уже 10 лет плагины для замедления есть. Делают точно так же.
И еще скажи тем, кто снимает слоу-мо в 500 fps, что они дураки, пусть снимают в 25, потом просто замедлят в Премьере)
Жесткую хуйню они делают, там блюр просто зашкаливает, у нвидии тоже есть блюр, но хоть так в глаза не бросается
Пишет профессионал, похоже, пацаны. В NVidia даже не подозревали, что в монтажках можно замедлять. Напишите им письмо))
Это супер круто. Ясно, что нейросеть ничего не знает о физике за кадром и додумывает кадры, поэтому реальный слоу-мо кажется реалистичнее. Но не думаю, что многие заметят разницу, если встроить получившийся результат в общий видеоряд.
Игровые движки все сплошь и рядом построены на трюках, но главное ведь воспринимаемый реализм, а не физическая точность.
Да, только чем ближе этот фейковый реализм тем заметнее что это не физическая точность. В каком нибудь Duke3D не обращали внимание на физику гильзы, а сейчас если гильза пролетает через стену - "фу кака, нереалистична, графон донный"
Типа майнинг все?
Комментарий удален модератором
Ну, с волосами девушки он (предсказуемо) сплавился не очень
и с ногами тоже
Комментарий удален модератором
Лучше бы для замедления майнинга что нибудь придумали))
ML-инженеры в Nvidia топовые, конечно.
Расчёт промежуточных кадров есть лет 15. Вначале в теликах филипс, сейчас во всех.
Есть программа SVP, которая делает то же самое с видео на компьютере, и ей тоже лет 10.
Хотя, может быть, у нвидиа качество выше - это надо сравнивать. Тем не менее артефакты на видео хорошо видны
Комментарий удален модератором
А мне почему-то подумалось словосочетание "доказательство в суде".
Прикольно будет увидеть как, кого-то осудили на основе выдуманного нейросетью кадра.
Комментарий удален модератором
Комментарий удален модератором