Оффтоп Denis Shiryaev
9 827

Генерация фотореалистичных изображений с помощью нейронной сети

Мы ещё на шаг ближе к фейковому будущему с помощью нейронной сети SIMS.

В закладки

Картинка выше – результат работы нового алгоритма "Semi-parametric Image Synthesis" (SIMS).

Нейронная сеть на основе выбранного вами набора данных (сотен фотографий каких-то объектов подготовленных в виде «датасета») и «силуэтов» разного цвета на входе (так нейронка понимает, какого типа объекты дорисовывать, это пока делается в ручном режиме) способна на выходе выдать фотореалистичную картинку.

Детальное описание того, как она работает, есть в видео ниже:

Примечательно, что эта нейронка работает с разными типами датасетов и может генерировать в целом что угодно – с нетерпением жду, когда за неё возьмутся энтузиасты.

А тут исходный код 💖:

#нейросети #машинноеобучение #arxivorg #нейросетьдня

{ "author_name": "Denis Shiryaev", "author_type": "editor", "tags": ["\u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c\u0434\u043d\u044f","\u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438","\u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435","arxivorg"], "comments": 12, "likes": 34, "favorites": 1, "is_advertisement": false, "subsite_label": "flood", "id": 37422, "is_wide": false }
00
дни
00
часы
00
мин
00
сек
(function(){ var banner = document.querySelector('.teaserSberbank'); var isAdsDisabled = document.querySelector('noad'); if (!isAdsDisabled){ var countdownTimer = null; var timerItem = document.querySelectorAll('[data-sber-timer]'); var seconds = parseInt('15388' + '59599') - now(); function now(){ return Math.round(new Date().getTime()/1000.0); } function timer() { var days = Math.floor(seconds / 24 / 60 / 60); var hoursLeft = Math.floor((seconds) - (days * 86400)); var hours = Math.floor(hoursLeft / 3600); var minutesLeft = Math.floor((hoursLeft) - (hours * 3600)); var minutes = Math.floor(minutesLeft / 60); var remainingSeconds = seconds % 60; if (days < 10) days = '0' + days; if (hours < 10) hours = '0' + hours; if (minutes < 10) minutes = '0' + minutes; if (remainingSeconds < 10) remainingSeconds = '0' + remainingSeconds; if (seconds <= 0) { clearInterval(countdownTimer); } else { timerItem[0].textContent = days; timerItem[1].textContent = hours; timerItem[2].textContent = minutes; timerItem[3].textContent = remainingSeconds; seconds -= 1; } } timer(); countdownTimer = setInterval(timer, 1000); } else { banner.style.display = 'none'; } })();
{ "id": 37422, "author_id": 34154, "diff_limit": 1000, "urls": {"diff":"\/comments\/37422\/get","add":"\/comments\/37422\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/37422"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 199791 }

12 комментариев 12 комм.

Популярные

По порядку

Написать комментарий...
9

Еще чуть-чуть ближе к кино-реалистичным играм )
Ух, потом туда еще VR прикрутить.
Потом шунт в затылок и поехали!

Ответить

Комментарий удален

6

Простите, но из статьи ничего не понятно, по крайней мере уж точно что за входной датасет используется. А вот посмотрев видео становится понятно - рисуется картинка силуэтов разных цветов и нейросеть по этой картинке генерирует изображение. Весьма интересно. Но качество настолько высокое, что возникает вопрос - а не показывают ли демо с входными параметрами, которыми нейросеть уже обучали? А то что-то рисунки не похожи на нарисованные от руки

Ответить
6

Входной датасет – набор данных не чем тренировали нейронную сеть, это уже какое-то общее слово поэтому я его смело вставил :) То есть это могут быть гигабайты фотографий дорог из реального мира, из GTA 5, сотни фотографий столовых, тысячи фотографий фасадов зданий, ботинок, сумочек и тп – это та вещь от которой отталкивается нейронка при генерации сцены. Самое главное, что при создании такого датасета есть несколько наборов файлов – просто с картинками и вот такие цветные лейауты, где разными цветами покрашены разные зоны.

Семантический лейаут делают руками (разноцветный рисунок), не автоматом – но его можно и генерировать автоматом, например, в 3D, просто это выходит за рамки этого документа. Входной рисунок может быть не очень точным.

Ответить
0

Немного поправил формулировку статьи, должно стать лучше.

Ответить
2

Рендер сновидений учудили. Возможно мозг похожим способом строит во сне реалистичную картинку по упрощённому описанию.

Ответить
1

Кандинский нервно ...рочит в гробу... Вы бы попробовали в обратную сторону сыграть, сгенерировать силуэты... а потом "скормить" их мозгу, как это делали суприматисты. Вот бы кино получилось))))

Ответить
2

Так уже делается, на самом деле. Нейросети учат нейросети.

Ну еще можно, скорее всего, простейшим алгорисмом выводить силуэты и тоже скармливать нейросети. Но точность полюбому пострадает

Ответить
1

Охренеть. Очень круто.

Ответить
1

Очень круто)

Ответить
1

Интересно, что получится если цветовое пятно сделать какой-то нелепой формы. Человека там квадратного или машину круглую..

Ответить

Комментарий удален

0

Залью для вас отдельно :)

Ответить

Комментарий удален

Комментарий удален

Комментарий удален

0

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "bscsh", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-1104503429", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=bugf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudx", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byzqf", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvc" } } }, { "id": 19, "label": "Тизер на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "p1": "cbltd", "p2": "gazs" } } } ]
Команда калифорнийского проекта
оказалась нейронной сетью
Подписаться на push-уведомления