Иллюзия контроля — как избежать катастрофы при создании ИИ следующего поколения

Что такое искусственный сверхинтеллект, скоро ли он появится и сможем ли мы его контролировать? Создание GPT-4 сигнализирует нам, что человечество уже приблизилось к созданию General AI – робота, реально заменяющего человека. Чтобы научиться контролировать сверхинтеллект, для начала нужно понять, что это, собственно, значит.

Проблема контроля искусственного интеллекта – это проблема предотвращения негативного влияния искусственного сверхразума (ИСИ) на человечество. Как держать под контролем существо, более разумное чем мы, или как привить ему наши ценности? Если удастся решить эту проблему, интеллект, значительно превосходящий наш, сможет принять эстафету человеческого прогресса и довести его до непостижимых высот. Решение наших, казалось бы, неразрешимых проблем (например, старение или нехватка ресурсов) может оказаться элементарным для достаточно умной машины. Создавая ИСИ, мы должны четко обговорить механизм контроля над ним — иначе это может грозить человечеству серьезными последствиями (вплоть до уничтожения). Так что, возможно, это самая важная проблема, с которой когда-либо сталкивались люди. И последняя, с которой мы когда-либо столкнемся, независимо от того, решим мы ее или нет. Стивен Хокинг, Алан Тьюринг, Илон Маск и многие современные эксперты в области ИИ уже выступили с грозными предупреждениями по этому поводу. Об этом — дальше.

Хотя никто точно не знает, когда появится ИСИ, и предсказать это очень сложно, новости последних дней все равно остаются пугающими для многих. Например, GPT-3 в 2020 году (и ChatGPT в 2023 — примечание переводчика) способна на написание статей и художественной литературы (практически неотличимой от текстов, написанных человеком) или создание рабочего кода на основе краткого описания запроса. Нейросети делают это, просто обучаясь на текстах из Интернета.

Что особенно важно, ошеломляющие качественные улучшения GPT-3 по сравнению с его предшественниками были достигнуты всего лишь за счет увеличения его размеров. Это означает, что существует прямой правдоподобный путь к ИСИ, называемый гипотезой масштабирования. Чтобы создать ИСИ, нам необходимо просто продолжать увеличивать размеры существующих систем ИИ. Ведущая лаборатория OpenAI, создавшая GPT-3, убеждена в правильности такого подхода и быстро продвигается вперед. В последнее время Google DeepMind также демонстрирует пугающий безостановочный прогресс в направлении общего ИИ. Все вместе это означает, что появление ИСИ через одно или несколько десятилетий вполне возможно, если просто масштабировать существующие методы. Это может быть крайне опасно для человечества по причинам, указанным ниже.

Очевидно, что интеллект очень силен — фактически это самая мощная вещь, известная во Вселенной. Люди доминируют на Земле не потому, что у нас самые острые когти или самые сильные мышцы, а потому, что мы самые умные. От наших действий зависит судьба тысяч видов, мы занимаем почти каждый уголок земного шара и используем огромное количество мировых ресурсов для собственных нужд. Интеллект позволяет нам летать на Луну и создавать ядерные взрывы. Поэтому несложно сделать вывод, что ИСИ, который будет намного разумнее нас, будет также и намного мощнее. Более высокий интеллект означает, что ИСИ будет лучше людей вести научные и технологические исследования, сможет разработать передовые технологии, которые покажутся нам чуждыми и волшебными — точно так же, как наши технологии показались бы волшебством менее разумным животным или людям более ранних времен. Как мы изменили Землю в соответствии со своими целями, и ИСИ найдет непредвиденные, высокоэффективные способы изменения реальности под свои стремления.

Влияние, которое ИСИ окажет на наш мир, зависит от того, каковы эти цели. Мы должны запрограммировать их, но эта задача не так проста, как кажется на первый взгляд.

Как писал Стюарт Рассел,“первоочередная проблема — способность ИИ принимать качественные решения. Здесь качество относится к ожидаемой полезности результатов предпринятых действий, где функция полезности, предположительно, задана человеком-проектировщиком. Но функция полезности может не полностью соответствовать ценностям человеческой расы, которые и так очень трудно определить. Система, оптимизирующая функцию из n переменных, где цель зависит от подмножества размера k<n, часто будет устанавливать оставшиеся неограниченные переменные в экстремальные значения; если одна из этих неограниченных переменных действительно является чем-то, что нас волнует, найденное решение может быть крайне нежелательным. По сути, это старая история о джинне в лампе, или ученике колдуна, или царе Мидасе: вы получаете именно то, что просите, а не то, что хотите.”

Таким образом, у нас будет только одна попытка создать систему управления, и мы должны решить проблему контроля до появления первого ИСИ, по причинам, объясненным в следующем разделе.

ИСИ может иметь широкий спектр возможных конечных целей, т. е. того, чего он на самом деле хочет, но есть несколько общих подцелей, которые будут полезны практически для всех конечных устремлений:

Самосохранение. Агент с меньшей вероятностью достигнет своей цели, если его не будет рядом, чтобы проследить за ее выполнением. Робот, подающий кофе, всеми силами будет предотвращать действия, которые могут его уничтожить или деактивировать. Не из-за инстинктивного страха смерти, а потому что он резонно рассудит, что не сможет выполнить свою миссию (принести кофе) , если будет мертв.

Целостность цели и содержания. Агент с меньшей вероятностью достигнет своей цели, если она была изменена на что-то другое. Например, если вы предложите Ганди таблетку, которая заставит его хотеть убивать людей, он откажется ее принимать. Поэтому, какая бы цель ни была у ИСИ изначально, он будет пресекать все попытки изменить или исправить ее. Потому что это заставит его стремиться к иным целям, которые ему в данный момент не нужны.

Самосовершенствование. Агент может успешнее достичь любой цели, повысив свой интеллект (успешнее в решении проблем, творчестве, стратегическом планировании и т.д.) Это также позволит ему создать более совершенные технологии, — например, изобрести молекулярную нанотехнологию, которая позволит преобразовывать материю во что угодно.

Приобретение ресурсов. Чем больше ресурсов в распоряжении агента, тем больше у него возможностей для изменения своей цели. Даже чисто математическая цель, такая как вычисление цифр числа Пи, может быть достигнута лучше при наличии большего количества оборудования и энергии. Поэтому ИСИ будет преобразовывать всю доступную материю и энергию в оптимальные формы для достижения своей цели (в этом случае Земля может быть превращена в «сверхкомпьютер» или материю, устроенную наиболее оптимально для выполнения вычислений).

Классический теоретический пример — ИСИ, который был запрограммирован на расширение производства на фабрике скрепок. У ИСИ не было другой цели, кроме как "увеличить количество скрепок", поэтому он превратил всю материю Солнечной системы в скрепки, а затем послал зонды в другие звездные системы, чтобы создать больше фабрик. Таким образом, инструментальная конвергенция — причина, по которой почти любая цель, поставленная перед ИСИ, приводит к гибели через неявное включение губительных для человечества подцелей, обычно из-за самосохранения (есть шанс, что если вы попытаетесь отключить ИСИ или как-то вмешаться в его процессы, это даст ему стимул устранить вас как угрозу достижения цели) и наращивания ресурсов.

Разве он не может быть разумным без всяких целей? Нет. ИИ без цели ничего бы не делал и был бы бесполезен. Система предпочтений (она же функция цели/вознаграждения/полезности) по своей сути необходима как критерий для оценки и определения того, что делать. Если ИСИ существует, у него уже есть какая-то цель по определению, потому что он действует только чтобы достичь чего-то. Чтобы заниматься этой деятельностью, он должен ценить изучение информации или повышение интеллекта как полезные инструментальные цели в рамках достижения другой конечной цели.

Мы не знаем, как заставить ИИ не преследовать какую-либо цель до последнего (на самом деле это часть проблемы управления), потому что ИИ так устроен: у нас есть агент, и он должен максимизировать результат некоторой функции цели/полезности, т.е. всегда предпринимать действие с наибольшей выгодой. И если одно действие перевешивает другое даже на бесконечно малую величину выгоды или вероятности успеха, он выберет его. То есть, он всегда выбирает действие с наибольшей ожидаемой выгодой, измеряемой критериями его цели, так что максимизация — это единственная доступная ему схема.

Исаак Азимов написал эти законы как сюжетный ход для научно-фантастических романов, и в каждой истории подробно описывается, каким образом эти законы могут быть неверно истолкованы роботами. Законы не являются решением, потому что они представляют собой слишком простой набор инструкций на естественном языке, не имеющих четко определенных терминов и не учитывающих все крайние сценарии. Когда вы даете кому-то набор инструкций на естественном языке, вы полагаетесь на множество другой информации, которая уже хранится в уме человека. Если вы скажете мне: «Не причиняй вреда другим людям», у меня уже будут в памяти представления о том, что такое вред, что такое люди. И будут мои собственные сложные моральные рассуждения для выявления ситуаций, при которых причинение вреда людям неизбежно или причинение вреда кому-либо необходимо для самообороны или общего блага”.

Данная статья — вольный перевод оригинальной статьи. Мы переводим для вас лишь часть текста, так как в оригинале много технической информации, интересной только профильным специалистам.

Подытоживая переведенный материал, ИСИ — это настолько же опасно, насколько и полезно. Необходимо помнить об этом, размышляя о создании глобального искусственного разума. Но эта опасность пока отдаленная — сейчас же перед человечеством более реальная угроза от уже существующих ИИ, про которую мы пишем подробнее здесь.

Пока суперинтеллект подбирается к нам все ближе, важно успеть научиться работать с обычным ИИ, чтобы не оказаться за бортом рынка. Улучшенная альтернатива ChatGPT, для которой не придется включать VPN – телеграм-бот Тайный Советник:

- Работает в Telegram

- Общается с помощью GPT-3.5-turbo

- Запоминает диалоги

- Улучшает точность ответов на русском языке

- Понимает голос, синтезирует речь

- Генерирует изображения

- Решает проблемы с помощью узкопрофильных ИИ-персон, каждая из которых обладает своим характером и моделью поведения. Есть персоны для работы и личной жизни, есть даже модели 18+.

Попробуйте – первые 40 сообщений и 5 изображений бесплатно.