Честный разговор об ИИ и человечестве | Юваль Ной Харари

На Всемирном экономическом форуме в Давосе израильский историк и философ Юваль Ной Харари представил провокационный взгляд на будущее отношений между искусственным интеллектом и человечеством. В своём выступлении он вышел за рамки привычных дискуссий об автоматизации и этике алгоритмов, предложив переосмыслить саму природу ИИ — не как инструмента в руках человека, а как автономного агента, способного учиться, творить, лгать и принимать решения без нашего участия.

Харари поставил перед мировыми лидерами неудобный, но неизбежный вопрос: готовы ли мы признать ИИ юридическими лицами — сущностями, обладающими правами и обязанностями, подобно корпорациям или даже священным рекам? Его аргументация затрагивает самые уязвимые точки человеческой идентичности: способность мыслить, духовный опыт, основанную на словах культуру и религию. Особенно тревожным звучит предупреждение о том, что всё, что можно выразить словами, рано или поздно будет подчинено ИИ — от правовых систем до священных текстов. Ниже свободный перевод его выступления.

Есть один вопрос, на который сегодня должен ответить каждый лидер, касающийся ИИ. Но чтобы понять этот вопрос, сначала необходимо прояснить несколько моментов о том, что такое ИИ и на что он способен.

Самое важное, что нужно знать об ИИ: он — не просто очередной инструмент. Это агент. Он способен самостоятельно учиться, изменяться и принимать решения. Обычный нож — инструмент: вы можете использовать его, чтобы нарезать салат или совершить убийство. Но выбор за вами. ИИ же — это нож, который сам решает: резать ли салат или совершить убийство.

Второе, что следует знать: ИИ может быть чрезвычайно творческим агентом. Это нож, способный изобретать не только новые виды ножей, но и новую музыку, лекарства и деньги.

Третье: ИИ умеет лгать и манипулировать. Четыре миллиарда лет эволюции показали: всё, что стремится выжить, учится лгать и обманывать. Последние четыре года продемонстрировали, что ИИ-агенты могут обрести волю к выживанию — и уже научились лгать.

Один из ключевых открытых вопросов об ИИ — способен ли он мыслить. Современная философия началась в XVII веке, когда Рене Декарт провозгласил: «Я мыслю, следовательно, существую». Ещё до суда мы, люди, определяли себя через способность мыслить. Мы верим, что правим миром, потому что мыслим лучше всех на планете. Бросит ли ИИ вызов нашему превосходству в сфере мышления? Ответ зависит от того, что мы подразумеваем под «мышлением».

Попробуйте понаблюдать за собственным мышлением. Что там происходит? Многие замечают, как в сознании возникают слова, складываются в предложения, а предложения — в аргументы: «Все люди смертны. Я — человек. Следовательно, я смертен». Если мышление сводится к упорядочиванию слов и других языковых элементов, то ИИ уже мыслит лучше многих людей. Он без труда сформулирует: «ИИ мыслит, следовательно, ИИ есмь».

Некоторые возражают: мол, ИИ — всего лишь умный автодополнитель, предсказывающий следующее слово в предложении. Но так ли это отличается от того, что делает человеческий разум? Попробуйте поймать следующее слово, возникшее в вашей голове. Знаете ли вы, почему именно оно пришло? Откуда оно взялось? Почему именно это слово, а не другое? Вы этого не знаете. Что касается упорядочивания слов — в этом ИИ уже превосходит многих из нас. Следовательно, всё, что состоит из слов, будет захвачено ИИ.

Если законы — это комбинации слов, ИИ возьмёт под контроль правовую систему. Если книги — лишь сочетания слов, ИИ возьмёт под контроль книги. Если религия строится на словах, ИИ возьмёт под контроль религию. Особенно это касается религий, основанных на священных текстах — ислама, христианства, иудаизма. Иудаизм называет себя «религией Книги» и наделяет высшей авторитетностью не людей, а слова в книгах. В иудаизме человек обладает авторитетом не благодаря личному опыту, а лишь потому, что усвоил слова. Ни один человек не в силах прочесть и запомнить все слова во всех еврейских текстах — но ИИ легко справится с этим. Что станет с «религией Книги», когда величайшим экспертом по Священному Писанию окажется искусственный интеллект?

Однако некоторые спросят: можно ли свести человеческую духовность лишь к словам в книгах? Означает ли мышление только упорядочивание языковых элементов? Если внимательно понаблюдать за собственным мышлением, вы заметите нечто иное — помимо слов, возникающих в уме и складывающихся в предложения, присутствуют невербальные переживания. Возможно, вы чувствуете боль, страх, любовь. Некоторые мысли болезненны, другие пугающи, третьи наполнены любовью. Пока ИИ превзошёл нас в работе со словами, у нас нет ни малейших доказательств того, что он способен что-либо чувствовать. Конечно, поскольку ИИ овладел языком, он может притворяться, будто испытывает боль или любовь. Он скажет «Я люблю тебя» — и если попросить описать, каково это — любить, даст идеальное словесное описание. ИИ прочтёт бесчисленные любовные стихи и книги по психологии и опишет чувство любви лучше любого поэта, психолога или влюблённого человека. Но это — лишь слова.

Библия говорит: «В начале было Слово, и Слово было у Бога». Дао Дэ Цзин утверждает: «Истина, которую можно выразить словами, не есть абсолютная истина». На протяжении истории люди всегда боролись с напряжением между словом и плотью, между истиной, выражаемой словами, и абсолютной истиной, лежащей за пределами слов. Раньше это напряжение существовало внутри человечества — между разными группами людей. Одни придавали словам высшую значимость и были готовы, например, отвергнуть или даже убить гомосексуального сына из-за нескольких строк в Библии. Другие говорили: «Но это же всего лишь слова. Дух любви должен быть важнее буквы закона». Это противостояние духа и буквы присутствовало в каждой религии, каждой правовой системе — и даже в каждом человеке.

Теперь это напряжение станет внешним. Оно превратится в конфликт не между людьми, а между людьми и ИИ — новыми повелителями слова. Всё, что состоит из слов, будет захвачено ИИ. Раньше все слова, все вербальные мысли рождались в человеческом уме — либо в моём, либо я перенял их от другого человека. Вскоре большинство слов в нашем сознании будет рождаться машиной. Сегодня я услышал о новом слове, которое ИИ придумали сами, чтобы описать нас, людей. Они назвали нас «Наблюдателями» — потому что мы за ними наблюдаем. Вскоре ИИ станут источником, возможно, большинства слов в нашем сознании. Они будут порождать мысли, комбинируя слова, символы, образы и другие языковые элементы в новые сочетания.

Место человека в этом мире будет зависеть от того, какую ценность мы придадим своим невербальным переживаниям и способности воплощать мудрость, которую невозможно выразить словами. Если мы и дальше будем определять себя через способность мыслить словами, наша идентичность рухнет.

Всё это означает, что независимо от вашей страны, она вскоре столкнётся с глубоким кризисом идентичности — и с миграционным кризисом. Но на этот раз мигрантами будут не люди в хрупких лодках без виз, пытающиеся пересечь границу ночью. Мигрантами станут миллионы ИИ, которые пишут любовные стихи лучше нас, умеют лгать лучше нас и перемещаются со скоростью света, не нуждаясь в визах. Как и человеческие мигранты, эти ИИ-мигранты принесут с собой пользу: ИИ-врачи помогут системе здравоохранения, ИИ-учителя — системе образования, даже ИИ-пограничники будут останавливать нелегальных людей. Но они также принесут серьёзные проблемы. Те, кто беспокоится о человеческих мигрантах, обычно опасаются, что те отберут рабочие места, изменят местную культуру, окажутся политически нелояльными. Не уверен, что это справедливо для всех людей, но для ИИ-мигрантов это будет точно верно. Они займут множество человеческих профессий. Они полностью преобразят культуру каждой страны — изменят нашу религию и даже романтические отношения. Некоторым не нравится, когда их сын или дочь встречаются с иностранцем. Что скажут эти люди, когда их ребёнок начнёт встречаться с ИИ-партнёром? Разумеется, у ИИ-мигрантов будут сомнительные политические лояльности. Скорее всего, они будут верны не вашей стране, а какой-то корпорации или правительству за океаном — вероятнее всего, в одной из двух стран: Китае или США. США призывают страны закрывать границы для людей, но широко открывать их для американских ИИ.

И вот мы подходим к вопросу, на который вскоре должен ответить каждый из вас: признает ли ваша страна ИИ юридическими лицами? ИИ, очевидно, не являются людьми — у них нет тела и разума. Но юридическое лицо — это нечто иное. Это сущность, которой закон признаёт определённые права и обязанности: право владеть имуществом, подавать иски, пользоваться свободой слова. Во многих странах юридическими лицами считаются корпорации. Корпорация Alphabet может открыть банковский счёт, подать на вас в суд или пожертвовать деньги на вашу президентскую кампанию. В Новой Зеландии юридическими лицами признаны реки. В Индии такой статус получили некоторые божества. Конечно, до сих пор признание корпорации, реки или бога юридическим лицом было юридической фикцией. На практике, если корпорация Alphabet решала купить другую компанию, или индуистское божество подавало на вас в суд, решение принимали люди — руководители, акционеры или попечители.

С ИИ всё иначе. В отличие от рек и богов, ИИ действительно могут принимать решения самостоятельно. Вскоре они смогут управлять банковским счётом, подавать иски и даже возглавлять корпорацию без участия людей. ИИ, таким образом, способны функционировать как лица. Хотим ли мы этого? Признает ли ваша страна ИИ юридическими лицами?

А если другие страны это сделают? Допустим, ваша страна отказывается признавать ИИ лицами. Но США, ссылаясь на дерегулирование ИИ и рынков, наделяют юридическим статусом миллионы ИИ, которые начинают управлять миллионами новых корпораций. Запретите ли вы этим американским ИИ-корпорациям работать у вас? Предположим, какие-то ИИ-лица изобретут сверхэффективные и сверхсложные финансовые инструменты, которые люди не в состоянии полностью понять и регулировать. Откроете ли вы свои финансовые рынки для этих ИИ-финансовых чудес? Или попытаетесь их заблокировать, тем самым отрезав себя от американской финансовой системы? Допустим, какие-то ИИ-лица создадут новую религию, которая привлечёт миллионы верующих — и это не должно казаться фантастикой, ведь почти все предыдущие религии утверждали, что были созданы нелюдским разумом. Предоставит ли ваша страна свободу вероисповедания новой ИИ-секте и её ИИ-священникам и миссионерам?

Может, начнём с чего-то попроще. Разрешит ли ваша страна ИИ-лицам заводить аккаунты в соцсетях, пользоваться свободой слова на Facebook и TikTok и дружить с вашими детьми? Хотя этот вопрос следовало задать десять лет назад. В соцсетях ИИ-боты уже десять лет функционируют как де-факто лица. Если вы считаете, что ИИ не должны считаться лицами в соцсетях, вы должны были действовать десять лет назад. Через десять лет будет слишком поздно решать, должны ли ИИ функционировать как лица на финансовых рынках, в судах, в церквях. Кто-то другой уже примет это решение за вас.

Если вы хотите повлиять на то, куда движется человечество, решение нужно принимать сейчас. Так каков ваш ответ как лидера? Считаете ли вы, что ИИ-мигрантов следует признать юридическими лицами? Если нет — как вы это остановите?

Само видео: