Генерация фотореалистичных изображений с помощью нейронной сети Статьи редакции
Мы ещё на шаг ближе к фейковому будущему с помощью нейронной сети SIMS.
Картинка выше – результат работы нового алгоритма "Semi-parametric Image Synthesis" (SIMS).
Нейронная сеть на основе выбранного вами набора данных (сотен фотографий каких-то объектов подготовленных в виде «датасета») и «силуэтов» разного цвета на входе (так нейронка понимает, какого типа объекты дорисовывать, это пока делается в ручном режиме) способна на выходе выдать фотореалистичную картинку.
Детальное описание того, как она работает, есть в видео ниже:
Примечательно, что эта нейронка работает с разными типами датасетов и может генерировать в целом что угодно – с нетерпением жду, когда за неё возьмутся энтузиасты.
А тут исходный код 💖:
2
показа
15K
открытий
Еще чуть-чуть ближе к кино-реалистичным играм )
Ух, потом туда еще VR прикрутить.
Потом шунт в затылок и поехали!
Дааа, к играм :))
Комментарий удален модератором
Простите, но из статьи ничего не понятно, по крайней мере уж точно что за входной датасет используется. А вот посмотрев видео становится понятно - рисуется картинка силуэтов разных цветов и нейросеть по этой картинке генерирует изображение. Весьма интересно. Но качество настолько высокое, что возникает вопрос - а не показывают ли демо с входными параметрами, которыми нейросеть уже обучали? А то что-то рисунки не похожи на нарисованные от руки
Входной датасет – набор данных не чем тренировали нейронную сеть, это уже какое-то общее слово поэтому я его смело вставил :) То есть это могут быть гигабайты фотографий дорог из реального мира, из GTA 5, сотни фотографий столовых, тысячи фотографий фасадов зданий, ботинок, сумочек и тп – это та вещь от которой отталкивается нейронка при генерации сцены. Самое главное, что при создании такого датасета есть несколько наборов файлов – просто с картинками и вот такие цветные лейауты, где разными цветами покрашены разные зоны.
Семантический лейаут делают руками (разноцветный рисунок), не автоматом – но его можно и генерировать автоматом, например, в 3D, просто это выходит за рамки этого документа. Входной рисунок может быть не очень точным.
Немного поправил формулировку статьи, должно стать лучше.
Рендер сновидений учудили. Возможно мозг похожим способом строит во сне реалистичную картинку по упрощённому описанию.
Кандинский нервно ...рочит в гробу... Вы бы попробовали в обратную сторону сыграть, сгенерировать силуэты... а потом "скормить" их мозгу, как это делали суприматисты. Вот бы кино получилось))))
Так уже делается, на самом деле. Нейросети учат нейросети.
Ну еще можно, скорее всего, простейшим алгорисмом выводить силуэты и тоже скармливать нейросети. Но точность полюбому пострадает
Охренеть. Очень круто.
Очень круто)
Интересно, что получится если цветовое пятно сделать какой-то нелепой формы. Человека там квадратного или машину круглую..
Комментарий удален модератором
Залью для вас отдельно :)
Комментарий удален модератором
Комментарий удален модератором
Комментарий удален модератором