Nvidia показала нейросеть для создания реалистичных изображений по наброскам

Paint эпохи искусственного интеллекта.

На конференции GTC 2019 в Калифорнии Nvidia представила демоверсию нейросети GauGAN, с помощью которой можно создавать реалистичные изображения из схематичных рисунков.

Модель GauGAN, названная в честь художника Поля Гогена, способна мгновенно превратить пару нарисованных мышкой линий в «великолепный» пейзаж, описывает TechCrunch. Издание называет его MS Paint эпохи искусственного интеллекта.

GauGAN использует для обработки генеративно-состязательные нейросети (GAN): генератор создаёт изображение и передаёт его обученному на реальных фотографиях дискриминатору, который подсказывает генератору, как доработать изображение и что исправить. Для обучения Nvidia использовала 1 млн фотографий, полученных от Flickr.

Технология не просто склеивает кусочки изображений или вырезает и вставляет текстуры, а синтезирует уникальные изображения, словно художник рисует что-то новое.
Брайан Катанзаро (Bryan Catanzaro), вице-президент Nvidia по прикладным исследованиям в области глубинного обучения

При создании изображения GauGAN генерирует реалистичные детали, такие как отражение объектов в прудах, реках и на других водных поверхностях. Инструмент позволяет менять время суток и года: для этого достаточно переключиться с режима «трава» на «снег», и система автоматически поменяет окружение на картинке, например, уберёт листву с деревьев.

Пока GauGAN умеет работать только с пейзажами и элементами природы, но нейросеть можно обучить для создания и обработки изображений со зданиями, дорогами, людьми и другими объектами. GauGAN может стать инструментом, который поможет архитекторам, градостроителям, ландшафтным дизайнерам и разработчикам игр упростить создание прототипов и ускорить их редактирование, считают в Nvidia.

Компании ещё нужно немного доработать модель, отметил Катанзаро. В скором времени GauGAN должна стать доступна на площадке для демонстрации возможностей нейросетей AI Playground, которую Nvidia также представила на GTC 2019.