Компьютерные волки, которые предпочитали убить себя, а не овец

Размышления исследователя о проблемах в эксперименте с искусственным интеллектом неожиданно вызвали горячие споры о культуре и этике в Китае.

Перевод статьи “The AI Wolf That Preferred Suicide Over Eating Sheep” (автор Lance Ng) выполнен в Alconost.

В 2019 г. в Китае два студента выполняли проект с ИИ, который представлял собой простую игру «волки против овец». Один из студентов был из Таиланда; после окончания учебы в Китае он уехал работать в Австралию, и поэтому забросил проект.

Второй же студент остался преподавать и в марте 2021 г. рассказал одному из своих учеников о первых результатах эксперимента — и того так позабавил этот рассказ, что он отправил скриншот беседы друзьям.

История быстро разошлась в китайских соцсетях и даже стала небольшой сенсацией.

Правила игры были простые: компьютер случайным образом размещает двух волков и шесть овец на игровом поле; волки должны поймать всех овец за 20 секунд, избегая при этом валунов.

Чтобы стимулировать ИИ волка, была внедрена простая система баллов.

Если волк поймал овцу, он получал 10 баллов, если врезался в валун — один балл отнимался. Чтобы волки действовали быстрее, за каждую прошедшую секунду игрового времени отнимались 0,1 балла.

Волкам давалась различная информация: они знали, в каком направлении смотрят, что перед ними находится, где овца, какова их собственная скорость, скорость овцы и т. д., а также целый ряд других параметров, призванных помочь в охоте.

Цель была в том, чтобы увидеть, сможет ли ИИ волков путем обучения и переобучения найти способ улучшить свои результаты.

После 200 000 итераций обнаружилось, что в большинстве случаев волки просто врезались в валуны, совершая таким образом самоубийство.

Три дня авторы игры анализировали алгоритм и в итоге поняли, почему волки убивали себя, а не охотились на овец.

В первых итерациях волки обычно не могли поймать овец — и получали большие штрафы за потраченное время. Поэтому ИИ «решил», что если в начале игры волк достаточно близко к валунам, то за быстрое самоубийство у него отнимется меньше очков, чем за время, потраченное на попытки поймать овцу.

Таким извращенным способом ИИ «оптимизировал» действия волков и снизил получаемые временные штрафы.

Причина такого результата в том, что задача ИИ была оптимизировать действия волка в математическом смысле (как это обычно и бывает в случае алгоритмов с машинным обучением).

Забавно, что такое безэмоциональное поведение ИИ в простой игре вызвало эмоциональный отклик среди китайских пользователей, в результате чего рассказ о волках-самоубийцах распространился по различным соцсетям.

И, конечно же, в обсуждениях всплыли обычные опасения по поводу этики и безопасности ИИ. В записи на Zhihu (китайская Quora) привели список эволюционных экспериментов с ИИ, которые приводили к искаженным результатам, — некоторые из них могут напугать и даже представляют собой потенциальную опасность.

Например, в эксперименте 1994 г. по эволюции организмов один из ИИ-видов выяснил, что можно не бегать по миру в поисках пищи и партнеров для продолжения рода, а оставаться в одном месте, «спариваться и сражаться между собой, убивать и поедать друг друга».

Исследователи дали этому виду очень подходящее название: «ленивые каннибалы».

В другом эксперименте с помощью ИИ пытались оптимизировать разрывную силу, прикладываемую к кабелю на посадочной площадке авианосца в момент, когда садящийся самолет цеплялся за него и начинал тормозить.

ИИ довольно быстро выяснил, что необязательно проводить расчеты надлежащим образом: если приложить достаточно большую силу, счетчик переполнится, и система зарегистрирует нулевую силу — что, с точки зрения компьютера, давало идеальный результат, хотя в реальном мире такое решение привело бы к катастрофе.

Другие примеры ИИ-систем с интересными и неожиданными решениями можно найти в статье 2019 г. «Удивительные творения цифровой эволюции. Случаи из опыта исследователей в области эволюционных вычислений и искусственной жизни» (на английском).

Если затрагивать более философский аспект, то молодое поколение деморализованных работой на корпорации китайцев также видело в волке-самоубийце идеальную метафору себя: новый класс «белых воротничков», часто вынужденных работать «996» (с 9 утра до 9 вечера, шесть дней в неделю), которые гонятся за мечтой получить повышение по службе, зарабатывать больше, удачно жениться… но эти мечты кажутся всё менее достижимыми, сколько бы они ни старались.

Это настолько угнетает, что многие решают отказаться от «охоты», если стартовая точка кажется им неудачной (так же поступал ИИ волков): лучше расслабиться и не пытаться чего-то добиться, чем напрягаться и рисковать здоровьем.

В китайском словаре городского сленга даже появилось новое выражение — «躺平», что буквально означает «распластаться».

Однако история проекта 2019 г. на волках-самоубийцах не закончилась: если дочитать беседу с автором до конца, можно узнать, что студенты продолжили совершенствовать сценарии обучения и повышать число итераций.

Спустя пять поколений по два миллиона итераций в каждом волки наконец-то научились ловить овец: они по-прежнему время от времени убивали себя о валуны, но теперь с большой вероятностью успевали поймать всех овец в течение отведенного игрой времени.

В итоге авторы пришли к двум выводам:

• Странное поведение волков было всего лишь результатом «абсолютной бесстрастной рациональности», свойственной системам на базе ИИ.
• Трудно предсказать, какие условия нейронная сеть посчитает существенными, а какие — нет.

Некоторые пользователи также отметили, что эксперимент изначально был плохо поставлен: будь штраф за столкновение с валуном намного выше, чем один балл, волки не прибегали бы к самоубийству как к легкому способу выиграть.

К сожалению, жизнь — это не игра для обучения ИИ: у нас нет стольких попыток и возможностей начать заново. Зато наши когнитивные способности намного превосходят ИИ: у человека есть история и общий опыт, на которых можно учиться, — не говоря уже о правилах и человеческом обществе, которые постоянно развиваются.

Пожалуй, главный урок, который отсюда можно извлечь, — не о беспомощности и желании сдаться, которые могут показаться «оптимальным вариантом», а о том, что, упав, нужно подниматься и пробовать снова и снова — и проживать свою историю до конца.

P.S. Когда эта история разлетелась, автор исследования загрузил видео финальной версии игры, из которого можно понять, что ИИ время от времени не только убивал себя, но проявлял и другое аномальное поведение: сталкивался с границами игрового поля, оказывался «окружен» овцами и не мог съесть проходившую мимо жертву. Если понимаете китайский язык — можете сами посмотреть по этой ссылке.