Эксперимент «Китайская Комната», или почему Искусственный Интеллект на самом деле ничего не Понимает

Был такой американский философ - Джон Сёрл: прищуривался на один глаз и изучал речь, как социальное явление. Жил себе поживал, да вдруг, в 1980х, случился бум открытий в области искусственного интеллекта и, как и я, Джон не смог пройти мимо и полез изучать. Результаты долго ждать не заставили - его мысленный эксперимент “Китайская комната” до сих пор является предметом жарких дискуссий в ученых кругах. Разбираем, где там прячется кошка-жена и заслужил ли Джон миску риса?

Почему Джона бомбануло

Джон Сёрл был представителем аналитической философии, если кратко - это когда размышления не просто пускаются в свободный полет, но и подкрепляются жёсткими логическими цепочками, анализом семантики, и не идут в разрез со здравым смыслом.

Еще до “Китайской комнаты” он стал известен благодаря авторству определения - Косвенный Речевой Акт.

Знаете, когда вместо “Дай денег” - говорят “А у Тебя можно одолжить”?
То есть используют вопросительную форму вместо просьбы, тогда как ответа на свой вопрос, по-сути, не ждут.
Денег ждут. И лучше на карту и без лишних вопросов.

Так вот, пока Джон копался в языке и причинах особой любви человеческой особи к разного рода манипуляциям, в 1980-х случился ряд важных изобретений в области Искусственного Интеллекта:

  • Появились первые экспертные системы - которые могли моделировать экспертные знания в разных областях и использовать эти знания для принятия решений;
  • Были разработаны новые алгоритмы обучения нейронных сетей, которые легли в основу тех нейронок, что мы имеем сейчас и которые грозятся отобрать нашу работу;
  • Разработали первых промышленных роботов - что дало толчок современной робототехнике;
  • Появление первых систем компьютерного зрения - те, что сейчас с легкостью находят по фотографии, где купить любимую кружку .

Такое количество открытий, как это часто бывает, порождает огромное количество разговоров, профессиональных и не очень, на кухнях и конференциях, но все об одном:

Неужели мы на пороге создания того самого, страшного и одновременно восхитительного, искусственного интеллекта? И будет ли он обладать сознанием?

Разговоры на кухнях Сёрла заботили не слишком, однако мимо терзаний коллег ученый спокойно пройти не смог:

В 1977 Роджер Шенк и ко (опустим подробности) разработал программу, цель которой - имитировать человеческую способность понимать рассказы.

В основу легло предположение, что если люди рассказы понимают - они могут отвечать на вопросы по этим рассказам.

Так, например, представьте, что вам дан следующий рассказ: «Человек зашёл в ресторан и заказал гамбургер. Когда гамбургер подали, оказалось, что он подгорел, и человек в гневе покинул ресторан, не заплатив за гамбургер и не оставив чаевых». И вот если вас спросят: «Съел ли человек гамбургер?», вы, видимо, ответите: «Нет, не съел». Точно так же, если вам предъявят следующий рассказ: «Человек зашёл в ресторан и заказал гамбургер; когда гамбургер подали, он ему очень понравился; и покидая ресторан, он перед оплатой по счёту дал официантке большие чаевые», и спросят: «Съел ли человек свой гамбургер?», вы, видимо, ответите: «Да, съел».

Джон Сёрл (Minds, Brains, and Programs, 1980)

Так вот программа Шенка вполне успешно справлялась с ответами на подобные вопросы, из чего ряд любителей сильного ИИ (имею ввиду AGI) сделали следующие выводы:

  • Можно сказать, что программа понимает рассказ и дает ответы на вопросы;
  • То, что делает программа - объясняет человеческую способность понимать рассказать и отвечать на вопросы.
Скептицизм - батяня
Скептицизм - батяня

Здесь Джонни и взорвался:

Мне, однако, представляется, что работа Шенка никоим образом не подкрепляет ни одно из этих двух утверждений, и я сейчас попытаюсь показать это:

Джон Сёрл

Китайская Комната

Итак, эксперимент:

1. Меня заперли в комнате и дали огромный текст на китайском языке. Я китайского не знаю - от слова “совсем”, для меня это - просто набор бессмысленных закорючек.

2. Далее мне дают вторую партию китайских текстов, но теперь вместе с набором правил (на понятном мне языке) - как эту партию текста сопоставить с предыдущей.

3. Далее мне дают третью партию текста на китайском - снова с инструкциями, позволяющими мне сопоставлять элементы 3го текста с первыми двумя. А также инструкции - как из этих текстов составить новый текст на китайском, расставив символы в определенном порядке.

Первый текст на китайском называется “рукописью”, второй “рассказом”, а третий - “вопросами”.
А то, что я составляю на китайском - “ответами”.
Но мне все это неизвестно - ведь китайского я по-прежнему не знаю и не понимаю.

Таким образом, начиная с 3-ей итерации - я начинаю возвращать обратно вполне читабельные китайские тексты. И чем дальше - тем лучше, ведь я научаюсь сопоставлять эти закорючки быстрее, также как и перерисовывать их, для выдачи обратно.

Для чистоты эксперимента добавим параллельную историю - что мне также поступают те же 3 типа текстов на родном мне языке - и я также возвращаю на них ответы.

Со стороны будет казаться, что мои “ответы” на китайские “вопросы” - неотличимы по качеству от тех, что я выдаю на родном языке.

Однако в случае китайских “ответов” - я выдаю ответы, лишь манипулируя порядком неизвестных закорючек. По инструкции.
То есть веду себя как обычная компьютерная программа: обрабатываю алгоритм, совершая вычисления.

Выводы из этого эксперимента приведу цитатой Джона - уж больно близкий у нас слог:

И вот претензии AGI состоят в том, что компьютер понимает рассказы и, в некотором смысле, объясняет человеческое понимание. Но мы теперь можем рассмотреть эти претензии в свете нашего мысленного эксперимента:

1. Что касается первой претензии - мне кажется совершенно очевидным, что в данном примере я не понимаю ни одного слова в китайских рассказах.
Мой input/output неотличим от носителя китайского языка, и я могу обладать какой угодно программой, и всё же - я ничего не понимаю. По тем же самым основаниям компьютер Шенка ничего не понимает ни в каких рассказах: в китайских, в английских, - в каких угодно. Поскольку в случае с китайскими рассказами: компьютер — это я, а в случаях, где компьютер не есть я, он не обладает чем-то большим, чем я обладал в том случае, в котором я ничего не понимал.

2. Что касается второй претензии, что программа объясняет человеческое понимание — мы видим, что компьютер и его программа не дают достаточных условий понимания, поскольку компьютер и программа работают, а между тем - понимания-то нет.

Джонни-бро

Для самых внимательных и безжалостных - вы правильно заметили, что это доказательство хоть и логично, но далеко не исчерпывающе. И вообще - доказательством это называть опасно.

Однако этот пример призван показать лишь неправдоподобность утверждений о наличии Понимания у Искусственного Интеллекта.

Критика и комментаторы

Скажу заранее - этот эксперимент актуален и сейчас. Особенно, сейчас. Имею ввиду - что его не переставали обсуждать все 43 года, и, полагаю, будут обсуждать и далее.

Я приведу лишь основные претензии и краткие комментарии к ним:

1. Если мы загрузим в машину сразу всю информацию - на всех языках - и она сможет вести себя неотличимо от человека - будет ли это означать понимание?

  • Нет, поскольку способность воспроизводить - не есть понимание. Соответственно - если машина не обладала пониманием раньше, то не обладает и сейчас.

2. Если мы загрузим такую программу в робота, добавим компьютерное зрение и управление - будет ли это настоящим пониманием?

  • Нет, поскольку Робот в данном случае ничем не отличается от претензии № 1.

3. Если мы создадим такую программу, которая будет не просто следовать сценарию, но и будет возбуждать нейроны в нужной последовательности, имитируя возбуждение в мозге носителя китайского языка - что тогда?

  • Тогда нужно задуматься, кто выдвигает такие претензии - поскольку идея создания AGI все же состоит в том, что для того, чтобы узнать, как работает сознание - нам не обязательно знать, как работает мозг.
    (В противном случае - мы еще очень далеки от риска создания AGI)

4. Если взять и объединить 3 претензии в одну - робот, с компьютерным мозгом, со всеми синапсисами, с идеально дублирующим поведением - тогда-то он претендует на Понимание?!

  • Да. Хорошо. Но как это реализовать - неизвестно.
    Пока есть лишь один рабочий пример - Человек.

И в чем же тогда разница между нами и ИИ?

Здесь понадобится привести определение слову интенциональность.

Интенциональность — это способность сознания каким-то образом относиться к вещам, свойствам и ситуациям, репрезентировать или выражать их.

Так вот разница заключается в том, что никакая манипуляция последовательностями символов - сама по себе не обладает интенциональностью. В ней нет смысла.
Она, по-сути, даже манипуляцией не является - поскольку для машины/программы эти символы ничего не символизируют.

Я справа
Я справа

Все разговоры вокруг Сознания у Искусственного Интеллекта строятся на той же самой интенциональности - только тех, кто ей реально обладает:
Люди, что вбивают запросы - получают и интерпретируют ответы. И именно в этом и заключается Сознание и способность Понимания.

Бонус к сложности

Если вы дочитали до сюда - поздравляю! Мы шли от простого к сложному и для вас я отдельно опишу цель эксперимента:

С его помощью мы смогли увидеть, что, если мы помещаем в систему что-либо, по-настоящему обладающее интенциональностью, при работе программы такой системы - она не создает никакой дополнительной интенциональности!
То есть, все, что было Сознательного и Человеческого в этой машине - то и остается. Не множится.

Дискуссии насчет этого эксперимента ведутся до сих пор. Но я согласен с Сёрлом в части того, что само возникновение такой дискуссии - скорее указывает на то, что ее инициаторы не слишком разобрались в понятиях “обработки информации”. Полагая, что человеческих мозг занимается тем же самым, что и компьютер в части “обработки информации” - но это утверждение заведомо ложно.

Ведь компьютер, отвечая на “2х2” = “4” - понятия не имеет, что это за такое “четыре”, и означает ли оно что-либо в принципе.

И причина тому - не недостаток информации, а отсутствие всякой интерпретации в том смысле, в котором этим занимается Человек.

Иначе бы мы начали приписывать Сознание любой телефонной трубке, пожарной сигнализации или, упаси бг, подсохшей печеньке.

Но это уже тема для отдельной статьи.

Что полезного у меня - сами найдете:

Источники:

136136
254 комментария

А с чего такая уверенность что человек "понимает"? Я знаю кучу людей которые некоторые базовые вещи не понимают и не могут принимать решения или отвечать на вопросы. Да и сам я некоторые вещи не понимаю. Возьмите любой юридический текст, кроме юристов, его никто не понимает но это не значит что мы не разумные.

33
Ответить

Я даже знаю одного руководителя, который часто употребляет экономические термины и заваливает слушателей цифрами, хотя жизнь показывает, что он нихрена в этом не понимает.

22
Ответить

В данной работе и я, и Сёрл принимаем как факт, что человек обладает Сознанием (и, соответственно, пониманием).
Но Твой комментарий весьма релевантен - просто это тема отдельных философских баталий :-)
Про юристов так вообще ❤️‍🔥 согласен))

6
Ответить

извините, но юридические текста это самые правильно структурированные и понятные текста среди прочих в мире. Возможно вопрос терминологии, но это в любой специфичной среде. Задача юридического текста как раз оставить как можно меньше пространства для допуска, описав все возможное.
Я не юрист.

5
Ответить

Комментарий недоступен

4
Ответить

Более того, никакого другого "понимания" кроме принципа китайской комнаты не существует вообще. Любой мозг оперирует данными именно так, просто гораздо сложнее и правил для принятия решения у него много и они постоянно изменяются в процессе жизни и приобретения опыта.

1
Ответить

Комментарий недоступен

1
Ответить