Nvidia представила обновлённую нейросеть GauGAN2 — она рисует фотореалистичные пейзажи в высоком разрешении Статьи редакции
ИИ создаёт футуристические пейзажи и рисунки на основе набросков и текстовых описаний.
4 января Nvidia выпустила обновление для программы Nvidia Canvas — графического редактора, создающего с помощью ИИ реалистичные пейзажи на основе схематичных рисунков. Об этом сказано на сайте компании.
С новым обновлением в программу добавили ИИ GauGAN2, а разрешение получаемых изображений увеличили в четыре раза — с 256x256 до 1024x1024 пикселей. В редакторе также появились пять новых кистей для рисования, имитирующих реальные текстуры: солому, цветы, ил, грязь и кустарники.
Генеративно-состязательную нейросеть GauGAN2, встроенную в новую версию приложения, представили в ноябре 2021 года. Она умеет создавать пейзажи не только на основе рисунков, но также по текстовым описаниям.
GauGAN2 обучена на 10 миллионах высококачественных пейзажных изображений с использованием Nvidia Selene — этот суперкомпьютер занимает шестую позицию в мировом рейтинге, опубликованном в ноябре 2021 года.
Нейросеть может оказаться полезной для создания концепт-артов, поскольку умеет генерировать не только пейзажи, но также абстрактные миры: например пейзажи с двумя солнцами, как на пустынной планете Татуин из «Звёздных войн», писало издание Digital Photography Review.
Попробовать алгоритм можно на сайте разработчиков. В январе редактор издания PC Gamer Кэти Уикенс протестировала новый ИИ. Сгенерировать рисунок без артефактов, похожий на реальную фотографию, она смогла «после нескольких попыток». Уикенс выяснила, что GauGAN2 неверно определяет расстояния до объектов на рисунках.
По словам Уикенс, более реалистичных текстур удалось добиться, используя крупные мазки на скетче.
Программу Canvas для Windows можно скачать с сайта Nvidia. Она, в отличие от веб-демо GauGAN2, работает только на компьютерах с Nvidia RTX, поскольку использует тензорные ядра этих видеокарт.
Пользователи соцсетей начали экспериментировать с бесплатным приложением. Получившиеся пейзажи и футуристические картины они выкладывают в инстаграме.
1024x1024 px трудно назвать высоким разрешением. Но можно назвать "более высоким, чем в первой версии нейросети".
Для игровых текстур уже минимально достаточно. Таким макаром сделают игры весом в мегабайты, где исходники нарисованы словно ребенком, а геймеры при этом будут бродить по уникальным мирам 🤪
Речь же не о текстурах, а о "фотореалистичных пейзажах в высоком разрешении". Высокое разрешение в моем понимании это выше, чем обычное фото с современной проф. фотокамеры или топового смартфона. В общем журналисты такие журналисты.
В контексте генерации изображений 1024x1024 считается на данный момент высоким разрешением просто потому, что это сложная задача с точки зрения вычислительных ресурсов при обучении модели или, как говорится, state-of-the-art. При смене контекста, конечно, это перестаёт быть высоким разрешением, но видимо об этом мало кто думал.