Генерация фотореалистичных изображений с помощью нейронной сети
Мы ещё на шаг ближе к фейковому будущему с помощью нейронной сети SIMS.
Картинка выше – результат работы нового алгоритма "Semi-parametric Image Synthesis" (SIMS).
Нейронная сеть на основе выбранного вами набора данных (сотен фотографий каких-то объектов подготовленных в виде «датасета») и «силуэтов» разного цвета на входе (так нейронка понимает, какого типа объекты дорисовывать, это пока делается в ручном режиме) способна на выходе выдать фотореалистичную картинку.
Детальное описание того, как она работает, есть в видео ниже:
Примечательно, что эта нейронка работает с разными типами датасетов и может генерировать в целом что угодно – с нетерпением жду, когда за неё возьмутся энтузиасты.
А тут исходный код 💖:
Еще чуть-чуть ближе к кино-реалистичным играм )
Ух, потом туда еще VR прикрутить.
Потом шунт в затылок и поехали!
Дааа, к играм :))
Простите, но из статьи ничего не понятно, по крайней мере уж точно что за входной датасет используется. А вот посмотрев видео становится понятно - рисуется картинка силуэтов разных цветов и нейросеть по этой картинке генерирует изображение. Весьма интересно. Но качество настолько высокое, что возникает вопрос - а не показывают ли демо с входными параметрами, которыми нейросеть уже обучали? А то что-то рисунки не похожи на нарисованные от руки
Входной датасет – набор данных не чем тренировали нейронную сеть, это уже какое-то общее слово поэтому я его смело вставил :) То есть это могут быть гигабайты фотографий дорог из реального мира, из GTA 5, сотни фотографий столовых, тысячи фотографий фасадов зданий, ботинок, сумочек и тп – это та вещь от которой отталкивается нейронка при генерации сцены. Самое главное, что при создании такого датасета есть несколько наборов файлов – просто с картинками и вот такие цветные лейауты, где разными цветами покрашены разные зоны.
Семантический лейаут делают руками (разноцветный рисунок), не автоматом – но его можно и генерировать автоматом, например, в 3D, просто это выходит за рамки этого документа. Входной рисунок может быть не очень точным.
Немного поправил формулировку статьи, должно стать лучше.
Рендер сновидений учудили. Возможно мозг похожим способом строит во сне реалистичную картинку по упрощённому описанию.