Искусственный интеллект в дизайне и gamedev. Где мы сейчас и что дальше?

Концепция искусственного интеллекта предполагает, что машинные технологии будут помогать человеку генерировать новые фантастические идеи. Быстрее всего нейросети развиваются в 2D и 3D графике. Можно за несколько секунд создать удивительные предметы, людей и целые планеты и перенести это напрямую в 3D движок.

Мы вступаем в четвертую промышленную революцию, где нейросети смогут генерировать весь жизненный цикл продукта от идеи до воплощения. В этой статье поговорим о возможностях и реалиях ИИ в графике.

Генеративный дизайн – совершенно новая технология проектирования. Она основана на применении программного обеспечения, способного самостоятельно, без участия конструктора, генерировать трехмерные модели, отвечающие заданным условиям.

Генеративное 3D-проектирование на базе искусственного интеллекта – это будущее без границ для творчества, где практически исключены человеческие ошибки.

Ниже видео о том, как Stanley Black & Decker использует генеративный дизайн:

Создание графики в привычном нам понимании - это линейный процесс. В нем мы создаем модель, правим, тестируем. Несмотря на эффективность, это отнимает много времени и требует сложных технических знаний. Более того, мы можем ошибаться. А ошибки - это время и деньги.

Генеративный дизайн открывает возможности для большей гибкости при разработке продукта. Это позволяет экспериментировать, реализовывать более рискованные идеи в разы быстрее и дешевле.

Следующий шаг в развитии нейросетей - квантовые вычисления и обработка естественного языка. Эти технологии обладают огромным дизайнерским потенциалом. Вскоре можно будет создавать проекты из ничего, кроме простого словесного описания.

Сверточные нейронные сети стали действительно успешными в классификации изображений. Вы загружаете в нее картинку собаки, и нейронка понимает, что это собака, а не кошка. Способность машины понимать, что содержится в изображении, чрезвычайно важна. Ведь это означает, что она может различать все детали, из которых состоит изображение.

Как мы можем использовать это для генерации 3D-контента?

Нейронная сеть может радикально изменить способ создания 3D-контента в играх. Например, возможно, что ИИ сможет генерировать каждый кадр игры в режиме реального времени на основе обратной связи от пользователя.

Благодаря возможности передачи стиля нам не нужно описывать все детали. Нам просто нужно создать общие формы, которые мы хотим, а затем нейронная сеть добавит все реалистично выглядящие детали.

Представьте, что вы играете в Gears of War, а затем говорите компьютеру: “Сохраните игровой процесс, сюжет и 3D-модели, но сделайте их похожими на Zelda: Breath of the Wild”. Вот каким может быть создание или воспроизведение будущего игрового процесса, и все потому, что компьютеры теперь знают, как “выглядят” вещи, и могут сделать другие вещи “похожими” на них.

Технология нейросетей делает реальным преобразование текста в дизайн. Вскоре любая идея может быть реализована с помощью простых голосовых дескрипторов. Есть, множество нейронных сетей для генерации изображений по тексту, например, DALL-E. Принцип работы прост: вводим текст, по которому генерируется несколько изображений. Ее можно использовать для вдохновения и поиска новых идей.

Компьютеры научились понимать типы и описания объектов. Таким образом, они могут создавать свои собственные проекты на основе этих основных лингвистических параметров.

Представьте будущее, в котором вы с командой обсуждаете какой-то проект и он тут же реализуется в 3D-модель. Границы дизайна рушатся. Привычные нам границы творчества могут уйти в прошлое.

В рекламе нейронные сети тоже имеют большие перспективы. Heinz совместно с OpenAI запустили рекламу, в рамках которой пользователи должны изобразить как ИИ видит кетчуп, и среди всего сгенерированного контента побеждает тот, кто больше всех наберет лайков.

ИИ появляется в привычных нам сервисах. Разработчики выпустили плагин для Figma на основе Stable Diffusion.

Тинькоф журнал отобрал лучшие нейросети для артов.

Существует такой вид искусственных нейронных сетей, как автоэнкодеры. Их изначальная задача состоит в том, что бы восстановить сигнал, полученный на вход наиболее близко к оригиналу. Они нужны для минимизации ошибок при восстановлении данных. Но особенность этой системы в том, что она самообучается.

Недавно появилась новая интересная архитектура — вариацонные автоэнкодеры (VAE). Это генеративная нейросеть, которая учится отображать и восстанавливать объекты в нужное пространство.

Причём, полученный результат полностью уникален. И поэтому VAE – это также возможность в создании системы автоматической генерации карт. Их достаточно просто обучить тому, как ландшафт может сочетаться, что на нём может быть, а чего быть не должно. А потом можно просто подавать на вход поток шума и автоэнкодер будет сам генерировать карту. То есть, никаких заранее заготовленных и сделанных вручную ассетов. Карта полностью созданная ИИ.

Проще говоря, один VAE для симуляции поведения всех жителей целого города. И это поведение гораздо более проработанное, нелинейное и разнообразное, по сравнению с любыми существующими симуляциями «живых» городов.

На стыке обработки графики с помощью нейронных сетей и игр есть интересный проект Enhancing Photorealism Enhancement. В нем графика игры GTA V преобразовывается в более реалистичную на основе нейронного рендеринга, в результате обучения на целом ряде фотографий городских пейзажей:

Нейросети - крутой инструмент для создания дизайна. Возможно, не за горами то будущее, где CGI студии и разработчики видеоигр будут активно внедрять ИИ технологии в рабочий процесс.

#нейросеть