Nvidia разработала нейросеть для замедления видео Статьи редакции

Система способна замедлить ролик до 240 кадров в секунду, «дорисовывая» нужные кадры.

Специалисты производителя видеокарт Nvidia разработали систему, которая использует алгоритмы машинного обучения, чтобы замедлять обычные видеоролики без использования специальных камер.

Для замедления ролика с частотой 30 кадров в секунду до 240 кадров в секунду необходимо «дорисовать» 210 недостающих кадров. Существующие программы для создания подобного эффекта, вроде RE:Vision Effect's Twixtor, пока работают медленно.

Искусственный интеллект Nvidia анализирует видео и «дорисовывает» недостающие кадры для замедления, пропуская минимальное количество недостающих кадров. Компания обучала систему на 11 тысячах роликов, записанных со скоростью 240 кадров в секунду.

0
42 комментария
Написать комментарий...
Aleksandr Talalaev

Достаточно круто для вау эффект, хотя конечно понятно что дополнительной инфомации в таких видео не будет, так как он угадывает и восстанавливает за счет этого.
Короче для ученных нет, а для нас, простых домохозяек вполне себе пойдет.

Ответить
Развернуть ветку
Sergey Furtaev

Для простых домохозяек обычный айфон УЖЕ умеет снимать 240fps в 1080p без всяких нейросетей.

Ответить
Развернуть ветку
Aleksandr Talalaev

Да, но мы же не всегда снимаем видео в таком режиме, например мы априори не знали что будет интересный момент и уже после съемки поняли что хочется слоу-мо.
Короче говоря много где может понадобится, тем более такой достаточно неплохой, на мой не проф взгляд, результат.

Ответить
Развернуть ветку
S.Z

А теперь примерно тоже самое будет уметь любой сяоми

Ответить
Развернуть ветку
IO

Я хз как вы можете восторгаться этим, это же отвратительно. На сравнение с обычным slow-mo видно как кардинально отличаются кадры, ИИ просто выдумывает новые кадры как ему хочется.

Ответить
Развернуть ветку
Василий Лебедев

Готовы на слепой тест?

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
IO

Я проиграю в слепом тесте, но это лишь доказывает что вы готовы променять реальность на несовершенную технологию.

Ответить
Развернуть ветку
Дмитрий Калашников

Вы же променяли бумажные газеты на vc.

Ответить
Развернуть ветку
IO

В бумажных газетах и VC одинаковая информация (грубо говоря), на представленном примере совсем разная.

Ответить
Развернуть ветку
Alex Lex

Во первых, это только первые шаги, дальше будет только совершеннее. Во вторых, это более дешевый вариант, чем камеры для небольших студий. В третьих, став совершеннее, эта система будет использоваться, например, при производстве CGI эффектов в кино - вместо 24 кадров рендерится 12, а остальные дорисовываются нейросетью. Или для 3д мультфильмов, которые можно либо удешевить, либо при тех же деньгах, получить еще лучшее качество. Ну и анимешникам с их 12 кадрами будет радость.

Ответить
Развернуть ветку
Unreal Person

Дорисовке кадров как технологии хуй знает сколько лет. В телеках типа самсунгах такая штука давно уже была. Помню сам офигевал как оно так делает, все фильмы в 60 fps шли. В динамичных сценах блюр был такой же. При производстве CGI никто не будет юзать это говно. Там вообще не нуждаются в таких "улучшалках". Максимум для ютуберов сгодится.

Ответить
Развернуть ветку
Alex Lex

Еще как будут. На прорисовку одного кадра какого-нибудь блокбастера уходят уже не часы, а дни, а такая нейронная сеть может сократить это время в 1.5 - 2 раза. Можешь скринить мой коммент - через пару лет подобные топовые инструменты будут юзаться всеми студиями, а те, что попроще, во всех фотошопах и монтажках.

Ответить
Развернуть ветку
Unreal Person

Заскринил, встречаемся в июне 2020-го на этом же месте.

Ответить
Развернуть ветку
Andriy Koval

Не будут использовать, пока оно не будет работать идеально на 100%. Уже сейчас есть Twixtor, OFlow, Kronos (тоже дорисовывают кадры), которые выдают очень неплохие результаты (конешно далеко не во всех случаях), но их никогда не используют для "дорисовки кадров" для CGI вместо рендеринга.

Ответить
Развернуть ветку
Alex Lex

Ну, понятно что не используют. Как их можно использовать, если результат еще не удовлетворяет потребности. Я помню времена, когда бамп-мепинг использовался только в прогах типа 3д макс и на тот момент их не использовали в компьютерных играх, но прошло время и вот, их уже используют в 3д играх. Вот и с этой технологией - пока не используют, а потом будут использовать. Но пока, конечно, не используют.

Ответить
Развернуть ветку
Andriy Koval

Конечно в некоторых случаях оно будет работать, но как мне кажется, эта технология не может впринципе быть идеальной на 100%. Так как не всегда в кадре можно предугадать, что будет между двумя кадрами.

Для примера сделал простую анимацию: рандомные числа, каждый кадр - новое число. Отрендерил 50% кадров и прогнал через Oflow (который смотрит на соседние кадры и рисует похожее). (сверху оригинальна анимация, снизу дорисованая)
https://streamable.com/pu7wr

Нейронка точно так же не сможет правильно нарисовать, возможно оно будет поумнее и вставит рандомные числа, но точно не сможет угадать какие же числа должны были быть на самом деле.

И это простейший пример, представить себе что нейронка сможет идеально "дорисовать" нагруженую сцену не уступая полноценному рендеру очень сложно. И это мы пока говорим только о RGB. А обычно рендерится EXR с многими разными каналами, где проблем будет ещё больше. Так что думаю, що не будет оно использоватся для именно для CGI. Встетимся с вами и Unreal Person в 2020 :-)

Ответить
Развернуть ветку
Alex Lex

Я могу привести совершенно конкретный пример - мультфильмы, где эмоции и позы меняются за 3-5 кадров и их так же не удастся качественно дорисовывать.

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Нехороший Человек

имхо о ней забудут как и забыли о многих "революционных" технологиях .

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Konstantin Shishkin

Да это ладно, но вот моушен блюр эффект на "замедленном" видео вообще неоч. Его по сути быть там не должно.

Ответить
Развернуть ветку
Alex Lex

Это же не замена скоростной съемке, а относительно дешевое решение для тех, кто не может позволить себе камеру за тысячи баксов. К тому же, тут с 30 кадров подняли до 240, то есть между двумя крайними кадрами дорисовывается по 7 кадров. От этого, в том числе, и блюр.

Ответить
Развернуть ветку
Konstantin Shishkin

Скорее, не в том числе, а на 90%
Да и смотреть надо не на подобранные отрывки из ролика, эти всегда будут идеальные, а чтото более приближенное к жизни

Ответить
Развернуть ветку
Artem Kondratev
ИИ просто выдумывает новые кадры как ему хочется.

Не как ему хочется, а как его натренировали или запрограммировали.
Если бы ИИ реально "выдумывал" кадры "как ему хочется", то мы бы перешагнули точку сингулярности еще до того как я дописал этот комменатрий.

Ответить
Развернуть ветку
Perch

Это офигенно. Делают из 30 FPS - 240. Предполагаю, что сократят нагрузку на видюху за счет технологии.

Ответить
Развернуть ветку
Михаил Ефремов

Так это не для игр, обработка то не в риалтайме идёт. А когда дойдёт до риалтайма (минимум через несколько лет) всё равно input-lag cлишком большой будет для тех же онлайн игр имхо.

Ответить
Развернуть ветку
Василий Лебедев

Научат нейросеть предсказывать часть инфы, чтобы input-lag уменьшать.

Ответить
Развернуть ветку
Михаил Ефремов

В общемировом геймдеве до сих пор от кучи костылей не могут избавиться, а тут такие планы. Всё это когда то будет, но уж точно не в ближайшие годы и не в нынешней итерации нейросети в любом случае.

Ответить
Развернуть ветку
Миша Шарапов

Логично, но неправда. Эволюция (в том числе и в технологиях) происходит неравномерно по временной оси, а скачкообразно. Найдут относительно дешёвый, но эффективный инструмент для уменьшения input-laga (предустановленные модели имитации отжига с генетическими алгоритмами нейросетевого обучения) и будете играть в современные игры 16k ультра-качества на 1050ti, но с 512 мб оперативной памяти для работы таких моделей. Конечно, это больше фантазии, но в этих наших фантазиях больше правды, чем в вашем сухом скепсисе.

Ответить
Развернуть ветку
Vyacheslav.O
Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Dmitry Filenkov

Какая в сраку нейросеть? В Final Cut и Adobe Premier уже 10 лет плагины для замедления есть. Делают точно так же.

Ответить
Развернуть ветку
Айнур

И еще скажи тем, кто снимает слоу-мо в 500 fps, что они дураки, пусть снимают в 25, потом просто замедлят в Премьере)

Ответить
Развернуть ветку
Diquman

Жесткую хуйню они делают, там блюр просто зашкаливает, у нвидии тоже есть блюр, но хоть так в глаза не бросается

Ответить
Развернуть ветку
Айнур

Пишет профессионал, похоже, пацаны. В NVidia даже не подозревали, что в монтажках можно замедлять. Напишите им письмо))

Ответить
Развернуть ветку
Денис Кулагин

Это супер круто. Ясно, что нейросеть ничего не знает о физике за кадром и додумывает кадры, поэтому реальный слоу-мо кажется реалистичнее. Но не думаю, что многие заметят разницу, если встроить получившийся результат в общий видеоряд.

Игровые движки все сплошь и рядом построены на трюках, но главное ведь воспринимаемый реализм, а не физическая точность.

Ответить
Развернуть ветку
Konstantin Shishkin
>Игровые движки все сплошь и рядом построены на трюках, но главное ведь воспринимаемый реализм, а не физическая точность.

Да, только чем ближе этот фейковый реализм тем заметнее что это не физическая точность. В каком нибудь Duke3D не обращали внимание на физику гильзы, а сейчас если гильза пролетает через стену - "фу кака, нереалистична, графон донный"

Ответить
Развернуть ветку
Alex Le

Типа майнинг все?

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Eugene Danilov

Ну, с волосами девушки он (предсказуемо) сплавился не очень

Ответить
Развернуть ветку
Mihael Isaev

и с ногами тоже

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Алексей Шатаев

Лучше бы для замедления майнинга что нибудь придумали))

Ответить
Развернуть ветку
AS

ML-инженеры в Nvidia топовые, конечно.

Ответить
Развернуть ветку
Николай Петров

Расчёт промежуточных кадров есть лет 15. Вначале в теликах филипс, сейчас во всех.
Есть программа SVP, которая делает то же самое с видео на компьютере, и ей тоже лет 10.
Хотя, может быть, у нвидиа качество выше - это надо сравнивать. Тем не менее артефакты на видео хорошо видны

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Василий Водокачкин

А мне почему-то подумалось словосочетание "доказательство в суде".
Прикольно будет увидеть как, кого-то осудили на основе выдуманного нейросетью кадра.

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку
39 комментариев
Раскрывать всегда