Эксперимент «Китайская Комната», или почему Искусственный Интеллект на самом деле ничего не Понимает
Был такой американский философ - Джон Сёрл: прищуривался на один глаз и изучал речь, как социальное явление. Жил себе поживал, да вдруг, в 1980х, случился бум открытий в области искусственного интеллекта и, как и я, Джон не смог пройти мимо и полез изучать. Результаты долго ждать не заставили - его мысленный эксперимент “Китайская комната” до сих пор является предметом жарких дискуссий в ученых кругах. Разбираем, где там прячется кошка-жена и заслужил ли Джон миску риса?
Почему Джона бомбануло
Джон Сёрл был представителем аналитической философии, если кратко - это когда размышления не просто пускаются в свободный полет, но и подкрепляются жёсткими логическими цепочками, анализом семантики, и не идут в разрез со здравым смыслом.
Еще до “Китайской комнаты” он стал известен благодаря авторству определения - Косвенный Речевой Акт.
Знаете, когда вместо “Дай денег” - говорят “А у Тебя можно одолжить”?
То есть используют вопросительную форму вместо просьбы, тогда как ответа на свой вопрос, по-сути, не ждут.
Денег ждут. И лучше на карту и без лишних вопросов.
Так вот, пока Джон копался в языке и причинах особой любви человеческой особи к разного рода манипуляциям, в 1980-х случился ряд важных изобретений в области Искусственного Интеллекта:
- Появились первые экспертные системы - которые могли моделировать экспертные знания в разных областях и использовать эти знания для принятия решений;
- Были разработаны новые алгоритмы обучения нейронных сетей, которые легли в основу тех нейронок, что мы имеем сейчас и которые грозятся отобрать нашу работу;
- Разработали первых промышленных роботов - что дало толчок современной робототехнике;
- Появление первых систем компьютерного зрения - те, что сейчас с легкостью находят по фотографии, где купить любимую кружку .
Такое количество открытий, как это часто бывает, порождает огромное количество разговоров, профессиональных и не очень, на кухнях и конференциях, но все об одном:
Неужели мы на пороге создания того самого, страшного и одновременно восхитительного, искусственного интеллекта? И будет ли он обладать сознанием?
Разговоры на кухнях Сёрла заботили не слишком, однако мимо терзаний коллег ученый спокойно пройти не смог:
В 1977 Роджер Шенк и ко (опустим подробности) разработал программу, цель которой - имитировать человеческую способность понимать рассказы.
В основу легло предположение, что если люди рассказы понимают - они могут отвечать на вопросы по этим рассказам.
Так, например, представьте, что вам дан следующий рассказ: «Человек зашёл в ресторан и заказал гамбургер. Когда гамбургер подали, оказалось, что он подгорел, и человек в гневе покинул ресторан, не заплатив за гамбургер и не оставив чаевых». И вот если вас спросят: «Съел ли человек гамбургер?», вы, видимо, ответите: «Нет, не съел». Точно так же, если вам предъявят следующий рассказ: «Человек зашёл в ресторан и заказал гамбургер; когда гамбургер подали, он ему очень понравился; и покидая ресторан, он перед оплатой по счёту дал официантке большие чаевые», и спросят: «Съел ли человек свой гамбургер?», вы, видимо, ответите: «Да, съел».
Так вот программа Шенка вполне успешно справлялась с ответами на подобные вопросы, из чего ряд любителей сильного ИИ (имею ввиду AGI) сделали следующие выводы:
- Можно сказать, что программа понимает рассказ и дает ответы на вопросы;
- То, что делает программа - объясняет человеческую способность понимать рассказать и отвечать на вопросы.
Здесь Джонни и взорвался:
Мне, однако, представляется, что работа Шенка никоим образом не подкрепляет ни одно из этих двух утверждений, и я сейчас попытаюсь показать это:
Китайская Комната
Итак, эксперимент:
1. Меня заперли в комнате и дали огромный текст на китайском языке. Я китайского не знаю - от слова “совсем”, для меня это - просто набор бессмысленных закорючек.
2. Далее мне дают вторую партию китайских текстов, но теперь вместе с набором правил (на понятном мне языке) - как эту партию текста сопоставить с предыдущей.
3. Далее мне дают третью партию текста на китайском - снова с инструкциями, позволяющими мне сопоставлять элементы 3го текста с первыми двумя. А также инструкции - как из этих текстов составить новый текст на китайском, расставив символы в определенном порядке.
Первый текст на китайском называется “рукописью”, второй “рассказом”, а третий - “вопросами”.
А то, что я составляю на китайском - “ответами”.
Но мне все это неизвестно - ведь китайского я по-прежнему не знаю и не понимаю.
Таким образом, начиная с 3-ей итерации - я начинаю возвращать обратно вполне читабельные китайские тексты. И чем дальше - тем лучше, ведь я научаюсь сопоставлять эти закорючки быстрее, также как и перерисовывать их, для выдачи обратно.
Для чистоты эксперимента добавим параллельную историю - что мне также поступают те же 3 типа текстов на родном мне языке - и я также возвращаю на них ответы.
Со стороны будет казаться, что мои “ответы” на китайские “вопросы” - неотличимы по качеству от тех, что я выдаю на родном языке.
Однако в случае китайских “ответов” - я выдаю ответы, лишь манипулируя порядком неизвестных закорючек. По инструкции.
То есть веду себя как обычная компьютерная программа: обрабатываю алгоритм, совершая вычисления.
Выводы из этого эксперимента приведу цитатой Джона - уж больно близкий у нас слог:
И вот претензии AGI состоят в том, что компьютер понимает рассказы и, в некотором смысле, объясняет человеческое понимание. Но мы теперь можем рассмотреть эти претензии в свете нашего мысленного эксперимента:
1. Что касается первой претензии - мне кажется совершенно очевидным, что в данном примере я не понимаю ни одного слова в китайских рассказах.
Мой input/output неотличим от носителя китайского языка, и я могу обладать какой угодно программой, и всё же - я ничего не понимаю. По тем же самым основаниям компьютер Шенка ничего не понимает ни в каких рассказах: в китайских, в английских, - в каких угодно. Поскольку в случае с китайскими рассказами: компьютер — это я, а в случаях, где компьютер не есть я, он не обладает чем-то большим, чем я обладал в том случае, в котором я ничего не понимал.2. Что касается второй претензии, что программа объясняет человеческое понимание — мы видим, что компьютер и его программа не дают достаточных условий понимания, поскольку компьютер и программа работают, а между тем - понимания-то нет.
Для самых внимательных и безжалостных - вы правильно заметили, что это доказательство хоть и логично, но далеко не исчерпывающе. И вообще - доказательством это называть опасно.
Однако этот пример призван показать лишь неправдоподобность утверждений о наличии Понимания у Искусственного Интеллекта.
Критика и комментаторы
Скажу заранее - этот эксперимент актуален и сейчас. Особенно, сейчас. Имею ввиду - что его не переставали обсуждать все 43 года, и, полагаю, будут обсуждать и далее.
Я приведу лишь основные претензии и краткие комментарии к ним:
1. Если мы загрузим в машину сразу всю информацию - на всех языках - и она сможет вести себя неотличимо от человека - будет ли это означать понимание?
- Нет, поскольку способность воспроизводить - не есть понимание. Соответственно - если машина не обладала пониманием раньше, то не обладает и сейчас.
2. Если мы загрузим такую программу в робота, добавим компьютерное зрение и управление - будет ли это настоящим пониманием?
- Нет, поскольку Робот в данном случае ничем не отличается от претензии № 1.
3. Если мы создадим такую программу, которая будет не просто следовать сценарию, но и будет возбуждать нейроны в нужной последовательности, имитируя возбуждение в мозге носителя китайского языка - что тогда?
- Тогда нужно задуматься, кто выдвигает такие претензии - поскольку идея создания AGI все же состоит в том, что для того, чтобы узнать, как работает сознание - нам не обязательно знать, как работает мозг.
(В противном случае - мы еще очень далеки от риска создания AGI)
4. Если взять и объединить 3 претензии в одну - робот, с компьютерным мозгом, со всеми синапсисами, с идеально дублирующим поведением - тогда-то он претендует на Понимание?!
- Да. Хорошо. Но как это реализовать - неизвестно.
Пока есть лишь один рабочий пример - Человек.
И в чем же тогда разница между нами и ИИ?
Здесь понадобится привести определение слову интенциональность.
Интенциональность — это способность сознания каким-то образом относиться к вещам, свойствам и ситуациям, репрезентировать или выражать их.
Так вот разница заключается в том, что никакая манипуляция последовательностями символов - сама по себе не обладает интенциональностью. В ней нет смысла.
Она, по-сути, даже манипуляцией не является - поскольку для машины/программы эти символы ничего не символизируют.
Все разговоры вокруг Сознания у Искусственного Интеллекта строятся на той же самой интенциональности - только тех, кто ей реально обладает:
Люди, что вбивают запросы - получают и интерпретируют ответы. И именно в этом и заключается Сознание и способность Понимания.
Бонус к сложности
Если вы дочитали до сюда - поздравляю! Мы шли от простого к сложному и для вас я отдельно опишу цель эксперимента:
С его помощью мы смогли увидеть, что, если мы помещаем в систему что-либо, по-настоящему обладающее интенциональностью, при работе программы такой системы - она не создает никакой дополнительной интенциональности!
То есть, все, что было Сознательного и Человеческого в этой машине - то и остается. Не множится.
Дискуссии насчет этого эксперимента ведутся до сих пор. Но я согласен с Сёрлом в части того, что само возникновение такой дискуссии - скорее указывает на то, что ее инициаторы не слишком разобрались в понятиях “обработки информации”. Полагая, что человеческих мозг занимается тем же самым, что и компьютер в части “обработки информации” - но это утверждение заведомо ложно.
Ведь компьютер, отвечая на “2х2” = “4” - понятия не имеет, что это за такое “четыре”, и означает ли оно что-либо в принципе.
И причина тому - не недостаток информации, а отсутствие всякой интерпретации в том смысле, в котором этим занимается Человек.
Иначе бы мы начали приписывать Сознание любой телефонной трубке, пожарной сигнализации или, упаси бг, подсохшей печеньке.
Но это уже тема для отдельной статьи.
Что полезного у меня - сами найдете:
Источники:
Что-то я не пойму почему с программы приравниваются тут к нейросетям. Если к программам претензий нет, мы знаем как они работают. То что там творится в внутри нейросети не знает никто, почему оно и как работает, особенно внутри таких как GPT4.
Почему "сознание" нужно для "понимания" тоже совершенно не понятно. Вполне вижу понимание без сознания, сознание это вообще не о понимании, а о субъективном опыте.
Как работает gpt я думаю все знают.
Ты пишешь в чат, тебе отвечает индус, быстро гуглит и поддерживает разговор, пишет код если нужно.
Отсюда и косяки бывают там. Элементарно
А вы знаете как работает мозг индусов? То-то же!