Эксперимент «Китайская Комната», или почему Искусственный Интеллект на самом деле ничего не Понимает

Был такой американский философ - Джон Сёрл: прищуривался на один глаз и изучал речь, как социальное явление. Жил себе поживал, да вдруг, в 1980х, случился бум открытий в области искусственного интеллекта и, как и я, Джон не смог пройти мимо и полез изучать. Результаты долго ждать не заставили - его мысленный эксперимент “Китайская комната” до сих пор является предметом жарких дискуссий в ученых кругах. Разбираем, где там прячется кошка-жена и заслужил ли Джон миску риса?

Джон Сёрл был представителем аналитической философии, если кратко - это когда размышления не просто пускаются в свободный полет, но и подкрепляются жёсткими логическими цепочками, анализом семантики, и не идут в разрез со здравым смыслом.

Еще до “Китайской комнаты” он стал известен благодаря авторству определения - Косвенный Речевой Акт.

Знаете, когда вместо “Дай денег” - говорят “А у Тебя можно одолжить”?
То есть используют вопросительную форму вместо просьбы, тогда как ответа на свой вопрос, по-сути, не ждут.
Денег ждут. И лучше на карту и без лишних вопросов.

Так вот, пока Джон копался в языке и причинах особой любви человеческой особи к разного рода манипуляциям, в 1980-х случился ряд важных изобретений в области Искусственного Интеллекта:

• Появились первые экспертные системы - которые могли моделировать экспертные знания в разных областях и использовать эти знания для принятия решений;
• Были разработаны новые алгоритмы обучения нейронных сетей, которые легли в основу тех нейронок, что мы имеем сейчас и которые грозятся отобрать нашу работу;
• Разработали первых промышленных роботов - что дало толчок современной робототехнике;
• Появление первых систем компьютерного зрения - те, что сейчас с легкостью находят по фотографии, где купить любимую кружку .

Такое количество открытий, как это часто бывает, порождает огромное количество разговоров, профессиональных и не очень, на кухнях и конференциях, но все об одном:

Разговоры на кухнях Сёрла заботили не слишком, однако мимо терзаний коллег ученый спокойно пройти не смог:

В 1977 Роджер Шенк и ко (опустим подробности) разработал программу, цель которой - имитировать человеческую способность понимать рассказы.

В основу легло предположение, что если люди рассказы понимают - они могут отвечать на вопросы по этим рассказам.

Так вот программа Шенка вполне успешно справлялась с ответами на подобные вопросы, из чего ряд любителей сильного ИИ (имею ввиду AGI) сделали следующие выводы:

• Можно сказать, что программа понимает рассказ и дает ответы на вопросы;
• То, что делает программа - объясняет человеческую способность понимать рассказать и отвечать на вопросы.

Здесь Джонни и взорвался:

Итак, эксперимент:

1. Меня заперли в комнате и дали огромный текст на китайском языке. Я китайского не знаю - от слова “совсем”, для меня это - просто набор бессмысленных закорючек.

2. Далее мне дают вторую партию китайских текстов, но теперь вместе с набором правил (на понятном мне языке) - как эту партию текста сопоставить с предыдущей.

3. Далее мне дают третью партию текста на китайском - снова с инструкциями, позволяющими мне сопоставлять элементы 3го текста с первыми двумя. А также инструкции - как из этих текстов составить новый текст на китайском, расставив символы в определенном порядке.

Таким образом, начиная с 3-ей итерации - я начинаю возвращать обратно вполне читабельные китайские тексты. И чем дальше - тем лучше, ведь я научаюсь сопоставлять эти закорючки быстрее, также как и перерисовывать их, для выдачи обратно.

Для чистоты эксперимента добавим параллельную историю - что мне также поступают те же 3 типа текстов на родном мне языке - и я также возвращаю на них ответы.

Со стороны будет казаться, что мои “ответы” на китайские “вопросы” - неотличимы по качеству от тех, что я выдаю на родном языке.

Однако в случае китайских “ответов” - я выдаю ответы, лишь манипулируя порядком неизвестных закорючек. По инструкции.
То есть веду себя как обычная компьютерная программа: обрабатываю алгоритм, совершая вычисления.

Выводы из этого эксперимента приведу цитатой Джона - уж больно близкий у нас слог:

Для самых внимательных и безжалостных - вы правильно заметили, что это доказательство хоть и логично, но далеко не исчерпывающе. И вообще - доказательством это называть опасно.

Однако этот пример призван показать лишь неправдоподобность утверждений о наличии Понимания у Искусственного Интеллекта.

Скажу заранее - этот эксперимент актуален и сейчас. Особенно, сейчас. Имею ввиду - что его не переставали обсуждать все 43 года, и, полагаю, будут обсуждать и далее.

Я приведу лишь основные претензии и краткие комментарии к ним:

1. Если мы загрузим в машину сразу всю информацию - на всех языках - и она сможет вести себя неотличимо от человека - будет ли это означать понимание?

• Нет, поскольку способность воспроизводить - не есть понимание. Соответственно - если машина не обладала пониманием раньше, то не обладает и сейчас.

2. Если мы загрузим такую программу в робота, добавим компьютерное зрение и управление - будет ли это настоящим пониманием?

• Нет, поскольку Робот в данном случае ничем не отличается от претензии № 1.

3. Если мы создадим такую программу, которая будет не просто следовать сценарию, но и будет возбуждать нейроны в нужной последовательности, имитируя возбуждение в мозге носителя китайского языка - что тогда?

• Тогда нужно задуматься, кто выдвигает такие претензии - поскольку идея создания AGI все же состоит в том, что для того, чтобы узнать, как работает сознание - нам не обязательно знать, как работает мозг.
  (В противном случае - мы еще очень далеки от риска создания AGI)

4. Если взять и объединить 3 претензии в одну - робот, с компьютерным мозгом, со всеми синапсисами, с идеально дублирующим поведением - тогда-то он претендует на Понимание?!

• Да. Хорошо. Но как это реализовать - неизвестно.
  Пока есть лишь один рабочий пример - Человек.

Здесь понадобится привести определение слову интенциональность.

Так вот разница заключается в том, что никакая манипуляция последовательностями символов - сама по себе не обладает интенциональностью. В ней нет смысла.
Она, по-сути, даже манипуляцией не является - поскольку для машины/программы эти символы ничего не символизируют.

Все разговоры вокруг Сознания у Искусственного Интеллекта строятся на той же самой интенциональности - только тех, кто ей реально обладает:
Люди, что вбивают запросы - получают и интерпретируют ответы. И именно в этом и заключается Сознание и способность Понимания.

Если вы дочитали до сюда - поздравляю! Мы шли от простого к сложному и для вас я отдельно опишу цель эксперимента:

С его помощью мы смогли увидеть, что, если мы помещаем в систему что-либо, по-настоящему обладающее интенциональностью, при работе программы такой системы - она не создает никакой дополнительной интенциональности!
То есть, все, что было Сознательного и Человеческого в этой машине - то и остается. Не множится.

Дискуссии насчет этого эксперимента ведутся до сих пор. Но я согласен с Сёрлом в части того, что само возникновение такой дискуссии - скорее указывает на то, что ее инициаторы не слишком разобрались в понятиях “обработки информации”. Полагая, что человеческих мозг занимается тем же самым, что и компьютер в части “обработки информации” - но это утверждение заведомо ложно.

Ведь компьютер, отвечая на “2х2” = “4” - понятия не имеет, что это за такое “четыре”, и означает ли оно что-либо в принципе.

И причина тому - не недостаток информации, а отсутствие всякой интерпретации в том смысле, в котором этим занимается Человек.

Иначе бы мы начали приписывать Сознание любой телефонной трубке, пожарной сигнализации или, упаси бг, подсохшей печеньке.

Но это уже тема для отдельной статьи.

Что полезного у меня - сами найдете:

Источники:

• Searle, John. R. (1980) Minds, brains, and programs. Behavioral and Brain Sciences 3 (3)

• Scripts plans goals and understanding 1977, R.C. Schank & R.P. Abelson

• Косвенный речевой акт - 1 и 2

• Интенциональность

• Аналитическая философия

• Китайская комната (доступно - но у меня доступней)