Оффтоп Albert Khabibrakhimov
6 493

Nvidia разработала нейросеть для замедления видео

Система способна замедлить ролик до 240 кадров в секунду, «дорисовывая» нужные кадры.

В закладки

Специалисты производителя видеокарт Nvidia разработали систему, которая использует алгоритмы машинного обучения, чтобы замедлять обычные видеоролики без использования специальных камер.

Для замедления ролика с частотой 30 кадров в секунду до 240 кадров в секунду необходимо «дорисовать» 210 недостающих кадров. Существующие программы для создания подобного эффекта, вроде RE:Vision Effect's Twixtor, пока работают медленно.

Искусственный интеллект Nvidia анализирует видео и «дорисовывает» недостающие кадры для замедления, пропуская минимальное количество недостающих кадров. Компания обучала систему на 11 тысячах роликов, записанных со скоростью 240 кадров в секунду.

#новость #видео

{ "author_name": "Albert Khabibrakhimov", "author_type": "editor", "tags": ["\u043d\u043e\u0432\u043e\u0441\u0442\u044c","\u043d\u043e\u0432\u043e\u0441\u0442\u0438","\u0432\u0438\u0434\u0435\u043e"], "comments": 49, "likes": 64, "favorites": 1, "is_advertisement": false, "subsite_label": "flood", "id": 40460, "is_wide": false }
00
дни
00
часы
00
мин
00
сек
(function(){ var banner = document.querySelector('.teaserSberbank'); var isAdsDisabled = document.querySelector('noad'); if (!isAdsDisabled){ var countdownTimer = null; var timerItem = document.querySelectorAll('[data-sber-timer]'); var seconds = parseInt('15388' + '59599') - now(); function now(){ return Math.round(new Date().getTime()/1000.0); } function timer() { var days = Math.floor(seconds / 24 / 60 / 60); var hoursLeft = Math.floor((seconds) - (days * 86400)); var hours = Math.floor(hoursLeft / 3600); var minutesLeft = Math.floor((hoursLeft) - (hours * 3600)); var minutes = Math.floor(minutesLeft / 60); var remainingSeconds = seconds % 60; if (days < 10) days = '0' + days; if (hours < 10) hours = '0' + hours; if (minutes < 10) minutes = '0' + minutes; if (remainingSeconds < 10) remainingSeconds = '0' + remainingSeconds; if (seconds <= 0) { clearInterval(countdownTimer); } else { timerItem[0].textContent = days; timerItem[1].textContent = hours; timerItem[2].textContent = minutes; timerItem[3].textContent = remainingSeconds; seconds -= 1; } } timer(); countdownTimer = setInterval(timer, 1000); } else { banner.style.display = 'none'; } })();
{ "id": 40460, "author_id": 53259, "diff_limit": 1000, "urls": {"diff":"\/comments\/40460\/get","add":"\/comments\/40460\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/40460"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 199791 }

49 комментариев 49 комм.

Популярные

По порядку

Написать комментарий...
11

Достаточно круто для вау эффект, хотя конечно понятно что дополнительной инфомации в таких видео не будет, так как он угадывает и восстанавливает за счет этого.
Короче для ученных нет, а для нас, простых домохозяек вполне себе пойдет.

Ответить
–2

Для простых домохозяек обычный айфон УЖЕ умеет снимать 240fps в 1080p без всяких нейросетей.

Ответить
2

Да, но мы же не всегда снимаем видео в таком режиме, например мы априори не знали что будет интересный момент и уже после съемки поняли что хочется слоу-мо.
Короче говоря много где может понадобится, тем более такой достаточно неплохой, на мой не проф взгляд, результат.

Ответить
0

А теперь примерно тоже самое будет уметь любой сяоми

Ответить
2

Я хз как вы можете восторгаться этим, это же отвратительно. На сравнение с обычным slow-mo видно как кардинально отличаются кадры, ИИ просто выдумывает новые кадры как ему хочется.

Ответить
14

Готовы на слепой тест?

Ответить

Комментарий удален

0

Я проиграю в слепом тесте, но это лишь доказывает что вы готовы променять реальность на несовершенную технологию.

Ответить
2

Вы же променяли бумажные газеты на vc.

Ответить
0

В бумажных газетах и VC одинаковая информация (грубо говоря), на представленном примере совсем разная.

Ответить
6

Во первых, это только первые шаги, дальше будет только совершеннее. Во вторых, это более дешевый вариант, чем камеры для небольших студий. В третьих, став совершеннее, эта система будет использоваться, например, при производстве CGI эффектов в кино - вместо 24 кадров рендерится 12, а остальные дорисовываются нейросетью. Или для 3д мультфильмов, которые можно либо удешевить, либо при тех же деньгах, получить еще лучшее качество. Ну и анимешникам с их 12 кадрами будет радость.

Ответить
2

Дорисовке кадров как технологии хуй знает сколько лет. В телеках типа самсунгах такая штука давно уже была. Помню сам офигевал как оно так делает, все фильмы в 60 fps шли. В динамичных сценах блюр был такой же. При производстве CGI никто не будет юзать это говно. Там вообще не нуждаются в таких "улучшалках". Максимум для ютуберов сгодится.

Ответить
0

Еще как будут. На прорисовку одного кадра какого-нибудь блокбастера уходят уже не часы, а дни, а такая нейронная сеть может сократить это время в 1.5 - 2 раза. Можешь скринить мой коммент - через пару лет подобные топовые инструменты будут юзаться всеми студиями, а те, что попроще, во всех фотошопах и монтажках.

Ответить
1

Заскринил, встречаемся в июне 2020-го на этом же месте.

Ответить
0

Не будут использовать, пока оно не будет работать идеально на 100%. Уже сейчас есть Twixtor, OFlow, Kronos (тоже дорисовывают кадры), которые выдают очень неплохие результаты (конешно далеко не во всех случаях), но их никогда не используют для "дорисовки кадров" для CGI вместо рендеринга.

Ответить
0

Ну, понятно что не используют. Как их можно использовать, если результат еще не удовлетворяет потребности. Я помню времена, когда бамп-мепинг использовался только в прогах типа 3д макс и на тот момент их не использовали в компьютерных играх, но прошло время и вот, их уже используют в 3д играх. Вот и с этой технологией - пока не используют, а потом будут использовать. Но пока, конечно, не используют.

Ответить
0

Конечно в некоторых случаях оно будет работать, но как мне кажется, эта технология не может впринципе быть идеальной на 100%. Так как не всегда в кадре можно предугадать, что будет между двумя кадрами.

Для примера сделал простую анимацию: рандомные числа, каждый кадр - новое число. Отрендерил 50% кадров и прогнал через Oflow (который смотрит на соседние кадры и рисует похожее). (сверху оригинальна анимация, снизу дорисованая)
https://streamable.com/pu7wr

Нейронка точно так же не сможет правильно нарисовать, возможно оно будет поумнее и вставит рандомные числа, но точно не сможет угадать какие же числа должны были быть на самом деле.

И это простейший пример, представить себе что нейронка сможет идеально "дорисовать" нагруженую сцену не уступая полноценному рендеру очень сложно. И это мы пока говорим только о RGB. А обычно рендерится EXR с многими разными каналами, где проблем будет ещё больше. Так что думаю, що не будет оно использоватся для именно для CGI. Встетимся с вами и Unreal Person в 2020 :-)

Ответить
0

Я могу привести совершенно конкретный пример - мультфильмы, где эмоции и позы меняются за 3-5 кадров и их так же не удастся качественно дорисовывать.

Ответить

Комментарий удален

0

имхо о ней забудут как и забыли о многих "революционных" технологиях .

Ответить

Комментарий удален

1

Да это ладно, но вот моушен блюр эффект на "замедленном" видео вообще неоч. Его по сути быть там не должно.

Ответить
2

Это же не замена скоростной съемке, а относительно дешевое решение для тех, кто не может позволить себе камеру за тысячи баксов. К тому же, тут с 30 кадров подняли до 240, то есть между двумя крайними кадрами дорисовывается по 7 кадров. От этого, в том числе, и блюр.

Ответить
0

Скорее, не в том числе, а на 90%
Да и смотреть надо не на подобранные отрывки из ролика, эти всегда будут идеальные, а чтото более приближенное к жизни

Ответить
0

ИИ просто выдумывает новые кадры как ему хочется.

Не как ему хочется, а как его натренировали или запрограммировали.
Если бы ИИ реально "выдумывал" кадры "как ему хочется", то мы бы перешагнули точку сингулярности еще до того как я дописал этот комменатрий.

Ответить
6

Это офигенно. Делают из 30 FPS - 240. Предполагаю, что сократят нагрузку на видюху за счет технологии.

Ответить
0

Так это не для игр, обработка то не в риалтайме идёт. А когда дойдёт до риалтайма (минимум через несколько лет) всё равно input-lag cлишком большой будет для тех же онлайн игр имхо.

Ответить
2

Научат нейросеть предсказывать часть инфы, чтобы input-lag уменьшать.

Ответить
1

В общемировом геймдеве до сих пор от кучи костылей не могут избавиться, а тут такие планы. Всё это когда то будет, но уж точно не в ближайшие годы и не в нынешней итерации нейросети в любом случае.

Ответить
2

Логично, но неправда. Эволюция (в том числе и в технологиях) происходит неравномерно по временной оси, а скачкообразно. Найдут относительно дешёвый, но эффективный инструмент для уменьшения input-laga (предустановленные модели имитации отжига с генетическими алгоритмами нейросетевого обучения) и будете играть в современные игры 16k ультра-качества на 1050ti, но с 512 мб оперативной памяти для работы таких моделей. Конечно, это больше фантазии, но в этих наших фантазиях больше правды, чем в вашем сухом скепсисе.

Ответить
5
Ответить
2

Обычный слоумо реалистичней смотрится. И в этих рывках (в применении к видосам) есть свой шарм, это как эффект, и сразу понятно, что движение замедленно. А та размазня, которую сотворила нВидиа - она визуально не отличается от обычной съемки.
Замечу, что в каких-то применениях именно гладкое слоумо может быть востребовано и уместно, а так - нет.

Ответить
–2

Какая в сраку нейросеть? В Final Cut и Adobe Premier уже 10 лет плагины для замедления есть. Делают точно так же.

Ответить
5

И еще скажи тем, кто снимает слоу-мо в 500 fps, что они дураки, пусть снимают в 25, потом просто замедлят в Премьере)

Ответить
0

Жесткую хуйню они делают, там блюр просто зашкаливает, у нвидии тоже есть блюр, но хоть так в глаза не бросается

Ответить
–1

Пишет профессионал, похоже, пацаны. В NVidia даже не подозревали, что в монтажках можно замедлять. Напишите им письмо))

Ответить
1

Это супер круто. Ясно, что нейросеть ничего не знает о физике за кадром и додумывает кадры, поэтому реальный слоу-мо кажется реалистичнее. Но не думаю, что многие заметят разницу, если встроить получившийся результат в общий видеоряд.

Игровые движки все сплошь и рядом построены на трюках, но главное ведь воспринимаемый реализм, а не физическая точность.

Ответить
0

>Игровые движки все сплошь и рядом построены на трюках, но главное ведь воспринимаемый реализм, а не физическая точность.

Да, только чем ближе этот фейковый реализм тем заметнее что это не физическая точность. В каком нибудь Duke3D не обращали внимание на физику гильзы, а сейчас если гильза пролетает через стену - "фу кака, нереалистична, графон донный"

Ответить
1

Типа майнинг все?

Ответить

Комментарий удален

0

Ну, с волосами девушки он (предсказуемо) сплавился не очень

Ответить
0

и с ногами тоже

Ответить

Комментарий удален

0

Лучше бы для замедления майнинга что нибудь придумали))

Ответить
0

ML-инженеры в Nvidia топовые, конечно.

Ответить
0

Расчёт промежуточных кадров есть лет 15. Вначале в теликах филипс, сейчас во всех.
Есть программа SVP, которая делает то же самое с видео на компьютере, и ей тоже лет 10.
Хотя, может быть, у нвидиа качество выше - это надо сравнивать. Тем не менее артефакты на видео хорошо видны

Ответить

Комментарий удален

0

А мне почему-то подумалось словосочетание "доказательство в суде".
Прикольно будет увидеть как, кого-то осудили на основе выдуманного нейросетью кадра.

Ответить

Комментарий удален

Комментарий удален

0

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "bscsh", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-1104503429", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=bugf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudx", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byzqf", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvc" } } }, { "id": 19, "label": "Тизер на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "p1": "cbltd", "p2": "gazs" } } } ]
Компания отказалась от email
в пользу общения при помощи мемов
Подписаться на push-уведомления