Генерация фотореалистичных изображений с помощью нейронной сети Статьи редакции

Мы ещё на шаг ближе к фейковому будущему с помощью нейронной сети SIMS.

Картинка выше – результат работы нового алгоритма "Semi-parametric Image Synthesis" (SIMS).

Нейронная сеть на основе выбранного вами набора данных (сотен фотографий каких-то объектов подготовленных в виде «датасета») и «силуэтов» разного цвета на входе (так нейронка понимает, какого типа объекты дорисовывать, это пока делается в ручном режиме) способна на выходе выдать фотореалистичную картинку.

Детальное описание того, как она работает, есть в видео ниже:

Примечательно, что эта нейронка работает с разными типами датасетов и может генерировать в целом что угодно – с нетерпением жду, когда за неё возьмутся энтузиасты.

А тут исходный код 💖:

0
12 комментариев
Написать комментарий...
Kondin Dmitriy

Еще чуть-чуть ближе к кино-реалистичным играм )
Ух, потом туда еще VR прикрутить.
Потом шунт в затылок и поехали!

Ответить
Развернуть ветку
Посланец глубокого Космоса

Дааа, к играм :))

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
iLeonidze

Простите, но из статьи ничего не понятно, по крайней мере уж точно что за входной датасет используется. А вот посмотрев видео становится понятно - рисуется картинка силуэтов разных цветов и нейросеть по этой картинке генерирует изображение. Весьма интересно. Но качество настолько высокое, что возникает вопрос - а не показывают ли демо с входными параметрами, которыми нейросеть уже обучали? А то что-то рисунки не похожи на нарисованные от руки

Ответить
Развернуть ветку
Denis Shiryaev
Автор

Входной датасет – набор данных не чем тренировали нейронную сеть, это уже какое-то общее слово поэтому я его смело вставил :) То есть это могут быть гигабайты фотографий дорог из реального мира, из GTA 5, сотни фотографий столовых, тысячи фотографий фасадов зданий, ботинок, сумочек и тп – это та вещь от которой отталкивается нейронка при генерации сцены. Самое главное, что при создании такого датасета есть несколько наборов файлов – просто с картинками и вот такие цветные лейауты, где разными цветами покрашены разные зоны.

Семантический лейаут делают руками (разноцветный рисунок), не автоматом – но его можно и генерировать автоматом, например, в 3D, просто это выходит за рамки этого документа. Входной рисунок может быть не очень точным.

Ответить
Развернуть ветку
Denis Shiryaev
Автор

Немного поправил формулировку статьи, должно стать лучше.

Ответить
Развернуть ветку
Алексей Тарасов

Рендер сновидений учудили. Возможно мозг похожим способом строит во сне реалистичную картинку по упрощённому описанию.

Ответить
Развернуть ветку
Денис Лозин

Кандинский нервно ...рочит в гробу... Вы бы попробовали в обратную сторону сыграть, сгенерировать силуэты... а потом "скормить" их мозгу, как это делали суприматисты. Вот бы кино получилось))))

Ответить
Развернуть ветку
Tymonr

Так уже делается, на самом деле. Нейросети учат нейросети.

Ну еще можно, скорее всего, простейшим алгорисмом выводить силуэты и тоже скармливать нейросети. Но точность полюбому пострадает

Ответить
Развернуть ветку
Матвей Кондратов

Охренеть. Очень круто.

Ответить
Развернуть ветку
Nikita Maskva

Очень круто)

Ответить
Развернуть ветку
Эл Хэлфрид

Интересно, что получится если цветовое пятно сделать какой-то нелепой формы. Человека там квадратного или машину круглую..

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Denis Shiryaev
Автор

Залью для вас отдельно :)

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку
9 комментариев
Раскрывать всегда