Нейросеть GauGAN2: обзор нейросети, рисующей по словам

Компания Nvidia анонсировала свою последнюю разработку - обновленную версию нейросети GauGAN2. Эта инновационная система позволяет создавать реалистичные и футуристические пейзажи и рисунки, исходя из набросков и текстовых описаний.

Новая версия GauGAN2 внедряет передовые алгоритмы искусственного интеллекта, позволяя пользователям воплотить свои идеи и творческие концепции в уникальные и впечатляющие визуальные произведения.

Это значительное развитие в области генеративных искусственных нейронных сетей и открывает новые возможности для художников, дизайнеров и творческих профессионалов.

Здесь не требуется авторизация, просто перейдите на http://gaugan.org/gaugan2/.

Честно говоря, интерфейс вначале показался нам сложным, но после некоторого времени работы с сервисом мы привыкли к нему и разобрались в его функциях.

Давайте рассмотрим основные элементы интерфейса.

В первую очередь, прокрутите колесико мыши, чтобы переместиться вниз страницы, и поставьте галочку, соглашаясь с правилами использования сервиса.

Область слева является рабочей зоной, где мы будем творить: вы можете рисовать или загрузить шаблон и внести изменения. По умолчанию эта область уже закрашена.

Если вы хотите нарисовать небо, то можно сгенерировать изображение, и результатом будет изображение неба. Область справа предназначена для отображения изображения, созданного искусственным интеллектом.

Выберите тип данных запроса, с которым будет работать искусственный интеллект. Можно выбрать комбинацию, например: набросок + текст.

Очень важно следить за установленными галочками в этой строке. Например, если вы хотите сгенерировать изображение только на основе текстового запроса, игнорируя загруженное референсное изображение, убедитесь, что галочка установлена рядом с "Text" и отсутствует у "Image". Иначе искусственный интеллект будет использовать заданные данные.

Мы снимаем галочку рядом с "Segmentation" и выбираем "Text". Затем вводим запрос: "горы рядом с озером". Чтобы сгенерировать изображение, нажмите на правую стрелку.

Чтобы сгенерировать изображение снова по тому же запросу, щелкните на иконку "игральные кости".

На правой панели вы можете выбрать один из предложенных фильтров, чтобы изменить цветовую схему.

Однако, в данном случае мы решили не применять дополнительные фильтры, поскольку результат удовлетворяет нас, и мы продолжаем работать с ним.

Щелкните на иконку "левая стрелка", и сгенерированное изображение будет скопировано на левую половину рабочей области. Автоматически будет установлена галочка рядом с "image".

Теперь мы можем работать с этим изображением в качестве шаблона. Хотим удалить облака и добавить что-то новое в наш пейзаж. Мы воспользуемся ластиком, чтобы убрать лишнее.

Если выбрать инструмент "Волшебная палочка" (находится в правом верхнем углу на рисунке), он будет автоматически закрашивать схожие области, но это может быть некорректным. Поэтому мы выбрали обычный ластик и закрасили левую часть изображения.

Подождите некоторое время и вы увидите, что ИИ разделил наше изображение на сегменты.

Оказалось, что так работать легче и понятнее. Мы удалили часть неба, и теперь добавим облака. Выберите вкладку "Landscape" слева, а затем "Clouds".

С помощью кисти нарисуйте облака на месте, где мы убрали небо. Установите галочку рядом с "segmentation", так как мы добавили сегменты к нашему запросу, и нажмите на стрелку, чтобы сгенерировать изображение.

Дополнительно удалим озеро справа. Действия аналогичны: выберите ластик, стерайте озеро, снова разделите изображение на сегменты, выберите "Hill" (холм) во вкладке "Landscape" и нарисуйте холм с помощью кисти.

Не забывайте, что вы можете применить фильтр или сгенерировать изображение снова, щелкнув на иконку "игральные кости".

ИИ сгенерирует "набросок", который мы можем доработать. Это ещё один способ представления запроса.

Мы используем инструменты "карандаш" и "ластик", которые предназначены для работы с эскизами, чтобы добавить гору. Кроме того, мы выбрали "Mountain" (гора) во вкладке "Landscape" и закрасили её кистью, надеясь, что GauGAN2 лучше поймёт нас.

Обязательно поставили галочку рядом с "sketch", чтобы указать, что в нашем запросе присутствует эскиз, который нужно учесть при генерации.

В противном случае, ИИ просто проигнорирует его. Для первого раза результат получился довольно неплохим.

Исходное и сгенерированное изображения можно сохранить, нажав на иконку дискеты под изображениями. GauGAN2 сохраняет исходное изображение в zip-архиве, который содержит отдельные png-файлы: картинку-шаблон, сегментированную карту и эскиз.

В дальнейшем эти файлы можно загрузить для последующей работы. Вот пример ещё одного сгенерированного изображения. На этот раз мы выбрали только сегментацию (segmentation) и с помощью кисти нарисовали объекты.

Бесплатное использование сервиса.

Получение высококачественных изображений.

Возможность комбинировать несколько режимов запросов для создания уникальных изображений.

Возможность загружать собственные фильтры и применять их к изображениям.