Nvidia представила обновлённую нейросеть GauGAN2 — она рисует фотореалистичные пейзажи в высоком разрешении

ИИ создаёт футуристические пейзажи и рисунки на основе набросков и текстовых описаний.

Интерфейс Nvidia Canvas
Интерфейс Nvidia Canvas

4 января Nvidia выпустила обновление для программы Nvidia Canvas — графического редактора, создающего с помощью ИИ реалистичные пейзажи на основе схематичных рисунков. Об этом сказано на сайте компании.

Обновление Nvidia Canvas: разрешение — больше в четыре раза, добавлены пять новых материалов

С новым обновлением в программу добавили ИИ GauGAN2, а разрешение получаемых изображений увеличили в четыре раза — с 256x256 до 1024x1024 пикселей. В редакторе также появились пять новых кистей для рисования, имитирующих реальные текстуры: солому, цветы, ил, грязь и кустарники.

Генеративно-состязательную нейросеть GauGAN2, встроенную в новую версию приложения, представили в ноябре 2021 года. Она умеет создавать пейзажи не только на основе рисунков, но также по текстовым описаниям.

<a href="https://api.vc.ru/v2.8/redirect?to=http%3A%2F%2Fgaugan.org%2Fgaugan2%2F&postId=348342" rel="nofollow noreferrer noopener" target="_blank">Бета-версия</a> GauGAN2 создала этот пейзаж по запросу «скалистый выступ с видом на ручей в лесу»
Бета-версия GauGAN2 создала этот пейзаж по запросу «скалистый выступ с видом на ручей в лесу»

GauGAN2 обучена на 10 миллионах высококачественных пейзажных изображений с использованием Nvidia Selene — этот суперкомпьютер занимает шестую позицию в мировом рейтинге, опубликованном в ноябре 2021 года.

Демонстрация GauGAN2, видео Nvidia Research

Нейросеть может оказаться полезной для создания концепт-артов, поскольку умеет генерировать не только пейзажи, но также абстрактные миры: например пейзажи с двумя солнцами, как на пустынной планете Татуин из «Звёздных войн», писало издание Digital Photography Review.

Планета Татуин из игры Star Wars: Battlefront
Планета Татуин из игры Star Wars: Battlefront

Попробовать алгоритм можно на сайте разработчиков. В январе редактор издания PC Gamer Кэти Уикенс протестировала новый ИИ. Сгенерировать рисунок без артефактов, похожий на реальную фотографию, она смогла «после нескольких попыток». Уикенс выяснила, что GauGAN2 неверно определяет расстояния до объектов на рисунках.

Слева фотография, справа — её копия, обработанная Nvidia Canvas
Слева фотография, справа — её копия, обработанная Nvidia Canvas

Обратите внимание на деревья на вершине утёса — они должны быть далеко. ИИ не смог их правильно масштабировать независимо от того, насколько малы точки [на исходном рисунке].

Возможно, GauGAN2 не лучший способ скопировать реальные изображения, нарисовав их заново.

Кэти Уикенс, редактор PC Gamer

По словам Уикенс, более реалистичных текстур удалось добиться, используя крупные мазки на скетче.

Скетч и пейзаж, получившийся в результате тестирования Nvidia Canvas
Скетч и пейзаж, получившийся в результате тестирования Nvidia Canvas

Программу Canvas для Windows можно скачать с сайта Nvidia. Она, в отличие от веб-демо GauGAN2, работает только на компьютерах с Nvidia RTX, поскольку использует тензорные ядра этих видеокарт.

I have come up with something similar to a monk meditating in the fog, testing with GauGAN2 from Nvidia, and it's great!

#gaugan2 #gererativeart #ai #NVIDIA
Придумал нечто похожее на монаха, который медитирует в тумане, пока тестировал GauGAN2 от Nvidia, и это здорово!

Пользователи соцсетей начали экспериментировать с бесплатным приложением. Получившиеся пейзажи и футуристические картины они выкладывают в инстаграме.

7171
85 комментариев

Меня одного плавит в какой-то психодел от картинок рисованных нейросетью? Смотришь на них, и ощущение что что-то не так, хотя так сходу и не скажешь что. С генерированными фото людей аналогичная история была. Самовнушение? Ну, не сказал бы. К примеру горный ручей выглядел для меня нормально, пока я к нему не присмотрелся.

26
Ответить

Это феномен "Зловещая долина"

18
Ответить

заходи на reddit.com/r/deepdream, очень интересно наблюдать за прогрессом в графических нейросетях

они становятся всё более убедительными и живыми, лютый психодел начинает смягчаться, местами прям ваще круто получается, как настоящее человеческое искусство

4
Ответить

на чем учили, то и генерит - некое среднее от исходников + погрешность обучения, оная и принимается за "психодел"

Ответить

В горном ручье часть с водопадом выглядит как будто "лесенку приставили": такое ощущение, что изображение в paint вклеили под 45°

Ответить

Комментарий недоступен

28
Ответить

Комментарий недоступен

1
Ответить