Борись, «Борис»: основатель Nival о будущем нейросетей в играх

Рассказ Сергея Орловского о «Блицкриге 3», образовании и искусственном интеллекте.

На конференции DevGAMM 2017 генеральный директор Nival Сергей Орловский выступил с лекцией «Борис Всемогущий и возможности нейросетей». Он рассказал о «Борисе» — нейросетевом ИИ, разработанном для стратегии компании, — и предположил, как развитый искусственный интеллект изменит жизни людей и игровую индустрию через десятилетие. Издание DTF привело основные моменты выступления.

На тему нейросетей появляется много страшилок, это очень модно. Мы видим достаточно активное применение технологии в продуктах вроде Prisma, в играх, во всевозможных процессах автоматизации. Появляется боязнь того, что будет, когда нейросети, ИИ, сверхразум захватят мир. Страх потерять работу.

Уже выходит довольно настораживающая статистика — в частности, есть прогноз PwC, в котором говорится, что к 2030 году 30-40% людей потеряют работу из-за автоматизации. Почему?

Джефф Безос озвучил очень хорошую мысль про четвёртую промышленную революцию. Первые две были посвящены промышленному производству, третья — информатизации и алгоритмической автоматизации (информационное общество, сформировавшееся сегодня). Четвёртая будет построена на неалгоритмической автоматизации.

Есть принципиальная разница в классе задач, которые мы можем решать. До недавнего времени все компьютеры базировались на алгоритмах, которые становятся всё сложнее и сложнее. Есть классы задач, в первую очередь оптимизационных, которые трудно решать алгоритмами. Однако прорывы в дизайне нейросетей за последние 10 лет позволили сформировать альтернативные методы решения целого класса задач — в частности, управления. И нейросети с ними справляются гораздо лучше.

Много интересных историй было с распознаванием образов — нейросети радикально упростили и улучшили качество решения этой задачи. Если вы следили за этой историей, то знаете, что на протяжении десятилетий в попытки придумать нужные алгоритмы вкладывались миллиарды долларов.

Так же было и в распознавании речи. А потом приходили ребята со знанием глубинного обучения и нейросетей и буквально за два-три года небольшими командами достигали аналогичных результатов, а потом улучшали качество распознавания в несколько раз.

Но прежде чем погружаться в эту идею, я бы хотел отметить, что может произойти в игровой индустрии. Большой интерес к ИИ привлёк пример победы DeepMind в игре го. Это был рубеж. Стало очевидно, что нейросетевая интуиция достаточно мощна и может на равных или с небольшим преимуществом играть с людьми в игры, которые очень сложно алгоритмизируются.

Несмотря на то, что мы занимались ИИ для «Блицкрига 3» уже несколько лет, именно архитектура го натолкнула нас на подходы, с помощью которых мы начали реализовывать новую версию ИИ.

Задача искусственного интеллекта в RTS — одна из краеугольных, потому что это один из самых сложных жанров. Тот же DeepMind очень активно пытается решить эту задачу академически и теоретически.

Иными словами, компания пытается построить универсальную нейросеть, которая бы анализировала видеопоток и выдавала команды для игры в RTS, причём строго на нейросетевом базисе. Мы пробовали идти тем же путём и потратили приблизительно полгода. Конечно, мы не разбирали видеопоток — это наша игра, мы всё про неё знаем. Однако мы попытались сначала управлять юнитами исключительно с помощью нейросети.

Мягко говоря, это оказалось не очень хорошим решением. Даже не очень качественная реализация требовала огромных вычислительных ресурсов. У технологии не было практического применения: мы всё-таки делаем коммерческий продукт, и нужно, чтобы один сервер поддерживал хотя бы 100 сессий ИИ. А у нас получалось, что один сервер с трудом справляется с одной.

Мы выделили ряд задач, которые куда эффективнее решаются алгоритмически — вспомнили все старые-добрые методы и разделили ИИ на несколько «слоёв». Большинство «слоёв» оставили алгоритмическими — они очень быстро считаются и выдают понятный прогнозируемый результат за конечное время. А несколько отдали на откуп нейросети, сделав гибридную модель, похожую на ту, что применялась в AlphaGo.

Получилось весьма интересное сочетание. Один из важных слоёв в некотором смысле похож на интуитивный слой из других нейросетей. Нейросеть старается предсказать, что делает противник. Мы изначально поставили задачу сделать игру честной, информация у оппонентов должна была быть симметричной. В отличие, кстати, от большинства стратегий, где ИИ имеет полный доступ ко всей информации, «жульничая» и обыгрывая пользователя.

Мы делаем честный ИИ, и он не может оперировать только видимой информацией — ему нужно домысливать, что игрок делает под «туманом войны». Идея оказалась очень продуктивной, поскольку именно с подобным классом задач нейросеть справляется очень хорошо. Предсказывая по некоторым проявлениям, что мог задумать игрок, после определённой тренировки нейросеть выдаёт результаты, очень похожие на поведение опытных пользователей.

К примеру, если нейросеть видит, что с какого-то направления к ней приближается скаут, она очень быстро понимает, что за ним есть ещё какая-то группа войск и можно «накрыть» её воздушным ударом. И точно так же, как периодически ошибается человек, ошибается и нейросеть.

Вы двигаете юниты, а внезапно в лес неподалёку прилетает удар с воздуха — и вы понимаете, что играете с сущностью, которая тоже пользуется интуицией, просто она её подвела. Таким образом, сама сессия получается очень живой и необычной, радикально отличающейся от всего, что мы привыкли видеть при игре с компьютером.

Мы уже достигли этого результата. Я не буду углубляться в то, как это устроено, потому что хотелось бы сохранить некоторый секрет. Однако результат уже налицо, все могут на него посмотреть и понятно направление, в котором игровой ИИ подобного класса будет развиваться дальше. Я бы хотел посмотреть на ситуацию со стороны и поразмышлять, куда она может нас привести.

Наиболее успешные игровые проекты обладают двумя компонентами и определёнными свойствами каждого из них.

Первый компонент — сессия с высоким уровнем реиграбельности. Он, особенно при игре с живым человеком, создаёт ряд интересных аспектов. Человеку интересно играть, потому что постоянно сменяются разные ситуации.

С другой стороны, у человека, применяющего разные тактики и стратегии, можно учиться, постоянно прогрессируя в навыке. На этом стоит так активно развивающийся сегодня киберспорт.

Второй — это постоянный прогресс, управление контекстом. Иными словами, давая игроку новые награды, пушки, системы защиты или юниты, мы трансформируем не правила игры, а инструменты, которыми управляем в рамках этих правил, смещая контекст.

ИИ может повлиять на обе эти вещи, объединяя в рамках сессии все преимущества, которые есть у PvE и PvP. Не все хотят играть с живыми людьми, мы проигрываем, нам это не нравится. В многопользовательских играх высокое социальное давление, очень часто порождающее «токсичность» из-за проигрышей.

В случае ИИ в рамках самой сессии мы можем делать так, чтобы игрок получал максимум положительных эмоций, находясь на грани своих навыков, при том, что нейросеть обладает очень высокой недетерминированностью и в перспективе может играть лучше даже самых продвинутых игроков.

Во втором случае всё так же — управление контекстом. Сейчас, чтобы задать поведение NPC или провести человека по сюжетной линии, пишутся кучи скриптов и алгоритмических правил. Но в конечном счёте мы понимаем, что все они жёстко заданы, и вскоре нам становится неинтересно. ИИ, управляющий контекстом, способен решать эту задачу гораздо эффективнее даже геймдизайнеров, заранее спланировавших игру.

Возможно, лет через 10-15 с помощью ИИ можно будет автоматизировать не только процесс игры, но и большую часть задач по её разработке. При этом разговоры о том, что автоматизируют вождение и останется огромное количество безработных, нас не очень пугают (хотя, если подумать, 30% безработного населения на горизонте в 13 лет — это очень много).

При условии линейного роста, что наиболее эффективно, — это несколько миллионов безработных каждый год только в России. Но нам-то кажется, что мы люди умные, творческие, и нас это никогда не коснётся. А это не так.

Нейросети сегодня учатся решать когнитивные задачи — то есть те, что находятся на грани творчества. Они оставляют за человеком ядро творческих задач и автоматизируют большое количество рутины.

Через 10–15 лет большая часть самого процесса создания игры будет отдана на откуп ИИ. В частности, уже есть примеры создания трейлеров к известным фильмам — вы никогда не скажете, что это сделал компьютер. Они очень достойного качества, хотя понятно, что «души» там нет, но этого более чем достаточно на ремесленном уровне.

Задача текстурирования при заданном стиле — техническая. Так же, как нейросети умеют конвертировать стилистику фотографий, они через несколько лет справятся с конвертированием стилистики текстур. Мы будем задавать основные особенности персонажей и, может быть, несколько десятков референсов. В дальнейшем все текстуры будут генерироваться автоматически. Сведение цвета, сведение картинки — тоже задачи, которые можно перекладывать на нейросети.

Наша индустрия будет меняться драматически. Я считаю, что нужно уже сейчас выбирать профессии, которые сохранятся и будут ещё востребованнее при автоматизации. Думаю, нейросети окажут такое же влияние на игровую индустрию, как проникновение интернета — слом будет примерно такого же масштаба.

Если посмотреть на ситуацию глобальнее — нужно решать проблему с высвобождающимся количеством людей. Сейчас готового решения нет. Даже на уровне дискуссий очень робко обсуждается, что мы будем делать с сотнями миллионов людей, которые станут не только безработными, но и в принципе неспособными найти работу.

Наша сегодняшняя система образования обучает молодёжь, и есть незначительные курсы для дальнейшей учёбы. При этом концепция сформировалась триста лет назад под индустриальную революцию и с тех пор радикально не менялась. А мир изменился уже очень сильно.

Сегодня лучшие умы говорят о том, что нам недостаточно заниматься образованием в какой-то определённый промежуток времени. Мы будем учиться на протяжении всей жизни. Да, какой-то начальный набор мы будем получать ещё молодыми, а в дальнейшем — каждый год, каждый день продолжать учиться чему-то новому. И очевидно, что это потребует создания принципиально иных систем образования, нежели те, что есть сегодня.

Ещё несколько лет назад нам казалось, что основная преграда на пути постоянного образования — его недоступность. Только избранные могли получать доступ к лучшим лекциям в лучших университетах, платя за это очень большие деньги, влезая в долги (в западном обществе) и десятилетиями их выплачивая.

Сейчас всё изменилось: любой человек в любой точке мира практически бесплатно может получить доступ к лучшим лекциям лучших преподавателей в лучших университетах. Казалось бы — должен случиться Ренессанс.

Однако выяснилось, что люди очень ленивы. Неожиданность. И желание переучиваться мало у кого есть. Таким образом, решена проблема доступности, но не мотивации.

А самое удивительное в том, что именно наша индустрия — главная по решению проблем мотивации. Мы на протяжении десятилетий отрабатываем сотни механик, определяем, как замотивировать игроков делать в игре те или иные вещи, двигаться по основной сценарной линии, строить правильные дорожки (и, в конечном счёте, платить).

Те же методы мы в перспективе сможем использовать для создания образовательных систем. В этом нет никаких противоречий, особенно с учётом того, что я говорил до этого. Если мы научим ИИ управлять контекстом, образовательные игры могут стать не менее интересными, чем те, в которые мы играем просто так.

В силу того, что сама образовательная индустрия в 60-80 раз больше игровой — мы сможем делать образовательные игры с бюджетами, в 50-100 раз превышающими текущий бюджет лучших игр.

Если сейчас самый крупный бюджет, которым мы оперируем, — $300 миллионов, то мы сможем делать многомиллиардные образовательные проекты, выглядящие и играющиеся так же интересно, как лучшие нынешние блокбастеры, — и при этом нести огромную пользу людям, в первую очередь, в области переобразования.

Понятно, что задачи такого масштаба отдельные компании решать вряд ли смогут. В моей картине мира этим частично будут заниматься корпорации, частично — государства. В конечном счёте, речь идёт о создании очень мощных систем по воспитанию и образования всех жителей страны.

И системы подобного класса будут нести очень серьезные риски. Даже суверенитет государств будет зависеть от того, насколько они способны будут их создавать. И эти системы во многом будут управляться нейросетями и искусственным интеллектом.

С одной стороны, картина удивительная. С другой — мы понимаем, что в рамках этих систем огромное количество людей будут способны переучиваться. Но будут и те, кто не захочет. Что делать с ними?

В каждой индустриальной революции было довольно много людей, не способных адаптироваться. К сожалению, в прошлом они практически всегда отторгались обществом. В некотором смысле сегодня на игровой индустрии лежит ответственность — сделать так, чтобы эти люди не были уничтожены тем или иным способом. Раньше об этом никто особенно не задумывался — развязывались войны, эпидемии, была масса инструментов.

Тем не менее, определённые рецепты уже обсуждаются. В одной из недавних книг, Homo Deus, рассматривается следующий вариант: люди, оставшиеся без работы, получают безусловный базовый доход и начинают играть в игры, которые оказываются основным источником сублимации инстинктов.

Это очень интересный аспект. Да, при помощи базового дохода мы можем сделать так, чтобы жизнь людей была более или менее комфортной, но мы не сможем придать ей цель. Наши инстинкты никто не отменял. Нам нужно их в той или иной форме реализовывать. Как раз игры могут стать инструментом, который позволяет людям вести осмысленный образ жизни и чувствовать себя счастливыми. Как это ни парадоксально.

Мы начинаем тесно взаимодействовать с нейросетями. Отложим пока в сторону вопросы сознания, остающиеся на сегодняшний день открытыми (есть ряд гипотез о том, что это такое и может ли появляться сознание в рамках нейросетей).

При том объёме информации, который генерируется цивилизацией, человечество будет неспособно обрабатывать её самостоятельно. Мы вынуждены будем отдать основные инструменты обработки ИИ. А значит, большинство решений, принимающихся в рамках цивилизации, будет принимать искусственный интеллект.

Когда вы вызываете Uber, водитель иногда спрашивает, каким маршрутом вы хотели бы проехать. Думаю, что большинство из вас уже говорит: «в "Яндексе" посмотри». Почему? Потому что мы привыкли к тому, что «Яндекс» даёт наиболее эффективный маршрут. Нет смысла с ним спорить. Мы с удовольствием отдаём право принятия этого решения роботу.

По мере того, как количество информации в обществе будет расти, всё больше и больше решений подобного класса мы будем давать на откуп информационным системам. Таким образом, медленно или скачкообразно — это не принципиально — мы войдём в очень тесное взаимодействие с нейросетями. И нам будет очень сложно отличить решения, принимаемые нами, от решений, принимаемых нейросетью за нас. Должен возникнуть определённый симбиоз между нами и нейросетями в том виде, в каком они будут через 10-20 лет. Это где-то и соответствует точке сингулярности, о которой все говорят.

Но мы не до конца понимаем один простой факт. Как сказал недавно директор дочерних фондов РВК Евгений Кузнецов: «Мы — последнее поколение, живущее в человечестве». Потому что следующее поколение будет уже жить в симбиозе человека и искусственного интеллекта. Это произойдёт при нашей жизни, мы можем на это очень активно повлиять. И я хотел бы призвать многих задумываться на эту тему.

Наши инстинкты формировались миллионы лет и под решение совсем других задач, чем те, что есть сейчас. Мы привыкли к тому, что мы самый умный вид на планете, и никогда не задумывались, что нам придётся сосуществовать с другим видом, который, возможно, окажется куда умнее нас (вне зависимости от того, будет ли у него сознание). И у нас не существует этических систем для подобной ситуации. Иными словами, наши социальные структуры бесконечно далеки от необходимых, и они не успеют эволюционировать, потому что базируются на наших инстинктах.

Сегодня решения нет. Одно из возможных направлений — отказ от иерархических моделей, которые перестанут быть эффективными и могут приводить к очень драматическим изменениям.

Приведу пример. Сейчас есть CRISPR, ряд лабораторий, которые фактически в состоянии «печатать» искусственную жизнь. Модифицировать клетки настолько, что получается новый вид. Мы можем печатать бактерии, микробы — но пока в лабораториях. Пройдёт 10 лет, и каждый студент на своей кухне будет способен это делать.

Вопрос — что будет его останавливать от создания новой пандемии? Ведь в рамках иерархической конструкции цивилизации на иерархиях построено всё — основным инстинктом остаётся доминирование, следствие естественного отбора. Эта модель начинает рассыпаться, потому что у каждого в кармане появляется «атомная бомба». Какую этическую модель мы можем предложить в этом случае? Ответа нет, но она будет радикально отличаться от существующей.

Однако у нас осталось не так много времени. Этические модели эволюционируют в симбиозе с инстинктивной моделью нашего вида. Сотни тысяч лет наши инстинкты развивались вместе с социальными структурами. Но технологический прогресс, растущий по экспоненте, очень сильно их опережает.

Нам нужно пройти сравнимую эволюцию, чтобы перекроить эту связку инстинктов с социальными структурами, и успевать по экспоненте идти в соответствии с техническим прогрессом. Как это делать — ответа нет. То, что мы можем тестировать эти модели в нами же созданных песочницах — ясно, а игры — наилучший инструмент для решения подобных задач. На мой взгляд, это очевидно.

Резюмируя — игровой индустрии в следующие 20 лет будет отведена очень интересная роль, и нам дана привилегия участвовать в этих процессах. Давайте относиться к этому ответственно. Давайте создавать такие игры, которые будут позитивно влиять на нашу цивилизацию. Да, это сложно, неочевидно. Мы не очень хорошо представляем, как. Но если каждый из нас в меру сил, хотя бы по чуть-чуть, будет двигаться в этом направлении — мы сможем изменить мир к лучшему.

Возможна ли в будущем модель, при которой безработное большинство получает базовый доход не в виде ставки от государства, а через игры? Играет в ММО и «фармит себе голду» на пропитание?

В рамках систем, которые я описал, возможно следующее. Часть людей учится навыкам, полезным в производительной части общества и в реальном мире. Вторая часть способна производить определённого вида контент для виртуального мира — UGC — и тоже приносить достаточно большую пользу. Только третья часть, неспособная переобучаться и производить контент, должна получать базовый доход. Да, возможно, помимо этого будут предусмотрены какие-то бонусы за «фарм голды», но это уже опционально.

Вы упоминали о когнитивных задачах, которые нейросети пытаются сейчас решать. Известно ли вам о ситуациях, когда нейросеть пыталась самостоятельно заниматься программированием? И что из этого вышло?

Знаю, что были эксперименты на эту тему, но пока ничем хорошим это не кончилось. Никаких прорывов не было. Всё пока очень примитивно и рудиментарно. Но на некотором горизонте рутинные задачи программирования будут автоматизироваться. Сложные, конечно, нет.

Думаю, программирование в том виде, в каком мы его понимаем сегодня, будет в значительной степени невалидно. Оно останется как небольшая часть. Уже сейчас видно, что специалисты в науке о данных становятся востребованнее программистов. С другой стороны, когда вы берёте нейросетевой фреймворк, вы в нём не особенно программируете. Ваша задача — собирать из «кубиков» архитектуру нейросети и «скармливать» ей правильные данные. Поскольку мы будем отдавать всё больше задач на откуп нейросетям, такое «программирование» будет всё более и более востребованным.

Какие профессии в игровой индустрии будут автоматизированы быстрее всего, и какие — медленнее?

В силу того, что есть много наработок по обработке изображений — я считаю, что в первую очередь это большинство рутинных операций в арте. Дальше интересные вопросы будут в геймдизайне, потому что сейчас геймдизайнеры строят целостную картину игры. Однако если мы отдадим ИИ задачи по комбинаторике различных компонентов игры под соответствующую аудиторию и адаптации под конкретного пользователя, задача человека будет в том, чтобы создавать эти компоненты, а дальше уже будет решать нейросеть. Ну и последнее — это программирование, трансформирующееся в Data Science.

Насколько скоро геймдев будет решать задачу создания игры с нуля без человеческого участия?

В этом нет смысла. Я приводил пример с «Борисом». Мы попытались сделать всё на нейросетях — получилось не очень. Я сторонник гибридных моделей.

Для обучения нейросети нужен набор данных. Если я инди-разработчик, где их взять, учитывая, что часто они запрещены для использования в коммерческих целях?

Это ваша головная боль, извините.

Можете привести ещё примеры проявления «человечности» вашего ИИ?

Разрушение шаблонов. У нас есть не очень большое количество стратегий, которое мы применяем против алгоритмического интеллекта, например, кайтинг. С нейросетью ты начинаешь «кайтить» юнитов, а они не кайтятся. Иногда могут, но не всегда. И ты понимаешь, что эта часть эксплуатации алгоритмичности не работает.

Или ты любишь наносить концентрированный огонь по одному юниту. А ИИ начинает отходить и выстраивает из юнитов полусферу, чтобы наносить такой же урон по тебе. Многие люди теряются — они привыкли использовать в PvE три-четыре простые стратегии и побеждать. А тут они не работают.

Игровой индустрии отводится интересная роль — создавать проекты для светлого будущего. Вот Nival сделала ИИ для игры в милитаризированном сеттинге, в чём её «светлость»?

Ждал этого вопроса. Ну, помимо милитаризированного сеттинга мы и другими играми занимаемся. Чтобы разбираться в вопросе — неплохо бы им позаниматься. На сегодняшний день наиболее эффективное практическое применение мы видим в том, чтобы создавать противников для человека. Следующий шаг — мы сделаем ИИ-союзника, то есть игрока, который кооперируется с тобой против других.

Есть ли какие-то тенденции в игровой индустрии, которые могут негативно повлиять на социум, если их не прекратить?

Есть, но я тут боюсь обидеть большую часть аудитории. Скажем так, очень много игр, которые мы создаём, — бесполезны, часть из них вредны. Надо прекращать этим заниматься — по крайней мере, вредными. Как кто-то хорошо недавно сказал, в мобильном сегменте лучшие умы бьются над вопросом CTR. И это тоже как-нибудь бы исправить.

По футурологической части выступления. Вам не кажется, что проблема непрерывного обучения, которое сейчас не происходит, не структурная, а чисто биологическая?

Люди с огромным удовольствием осваивают новые игры даже в зрелом возрасте. Было бы желание. Понятно, что темп обучения с возрастом снижается. Но есть и наиболее прогрессивные методологии, вроде той, что пытается внедрить Khan Academy. Когда информация выдаётся не общим потоком для всех обучающихся, а индивидуализируется для каждого из них.

Там был забавный эксперимент. Специалисты взяли группу школьников и проследили траекторию, по которой они двигаются по материалу. И выяснили, что если у них близкий IQ и они похожи, то результат, к которому они приходят через определённое время, одинаков, но траектории разные. При линейном поглощении информации — ты что-то пропустил, ломаешься и отваливаешься. Но если тебе это повторять до тех пор, пока не поймёшь — оставшуюся информацию ты воспринимаешь очень быстро.

#Рынок_игр