Эксперимент «Китайская Комната», или почему Искусственный Интеллект на самом деле ничего не Понимает
Был такой американский философ - Джон Сёрл: прищуривался на один глаз и изучал речь, как социальное явление. Жил себе поживал, да вдруг, в 1980х, случился бум открытий в области искусственного интеллекта и, как и я, Джон не смог пройти мимо и полез изучать. Результаты долго ждать не заставили - его мысленный эксперимент “Китайская комната” до сих пор является предметом жарких дискуссий в ученых кругах. Разбираем, где там прячется кошка-жена и заслужил ли Джон миску риса?
Почему Джона бомбануло
Джон Сёрл был представителем аналитической философии, если кратко - это когда размышления не просто пускаются в свободный полет, но и подкрепляются жёсткими логическими цепочками, анализом семантики, и не идут в разрез со здравым смыслом.
Еще до “Китайской комнаты” он стал известен благодаря авторству определения - Косвенный Речевой Акт.
Знаете, когда вместо “Дай денег” - говорят “А у Тебя можно одолжить”?
То есть используют вопросительную форму вместо просьбы, тогда как ответа на свой вопрос, по-сути, не ждут.
Денег ждут. И лучше на карту и без лишних вопросов.
Так вот, пока Джон копался в языке и причинах особой любви человеческой особи к разного рода манипуляциям, в 1980-х случился ряд важных изобретений в области Искусственного Интеллекта:
- Появились первые экспертные системы - которые могли моделировать экспертные знания в разных областях и использовать эти знания для принятия решений;
- Были разработаны новые алгоритмы обучения нейронных сетей, которые легли в основу тех нейронок, что мы имеем сейчас и которые грозятся отобрать нашу работу;
- Разработали первых промышленных роботов - что дало толчок современной робототехнике;
- Появление первых систем компьютерного зрения - те, что сейчас с легкостью находят по фотографии, где купить любимую кружку .
Такое количество открытий, как это часто бывает, порождает огромное количество разговоров, профессиональных и не очень, на кухнях и конференциях, но все об одном:
Разговоры на кухнях Сёрла заботили не слишком, однако мимо терзаний коллег ученый спокойно пройти не смог:
В 1977 Роджер Шенк и ко (опустим подробности) разработал программу, цель которой - имитировать человеческую способность понимать рассказы.
В основу легло предположение, что если люди рассказы понимают - они могут отвечать на вопросы по этим рассказам.
Так вот программа Шенка вполне успешно справлялась с ответами на подобные вопросы, из чего ряд любителей сильного ИИ (имею ввиду AGI) сделали следующие выводы:
- Можно сказать, что программа понимает рассказ и дает ответы на вопросы;
- То, что делает программа - объясняет человеческую способность понимать рассказать и отвечать на вопросы.
Здесь Джонни и взорвался:
Китайская Комната
Итак, эксперимент:
1. Меня заперли в комнате и дали огромный текст на китайском языке. Я китайского не знаю - от слова “совсем”, для меня это - просто набор бессмысленных закорючек.
2. Далее мне дают вторую партию китайских текстов, но теперь вместе с набором правил (на понятном мне языке) - как эту партию текста сопоставить с предыдущей.
3. Далее мне дают третью партию текста на китайском - снова с инструкциями, позволяющими мне сопоставлять элементы 3го текста с первыми двумя. А также инструкции - как из этих текстов составить новый текст на китайском, расставив символы в определенном порядке.
Таким образом, начиная с 3-ей итерации - я начинаю возвращать обратно вполне читабельные китайские тексты. И чем дальше - тем лучше, ведь я научаюсь сопоставлять эти закорючки быстрее, также как и перерисовывать их, для выдачи обратно.
Для чистоты эксперимента добавим параллельную историю - что мне также поступают те же 3 типа текстов на родном мне языке - и я также возвращаю на них ответы.
Со стороны будет казаться, что мои “ответы” на китайские “вопросы” - неотличимы по качеству от тех, что я выдаю на родном языке.
Однако в случае китайских “ответов” - я выдаю ответы, лишь манипулируя порядком неизвестных закорючек. По инструкции.
То есть веду себя как обычная компьютерная программа: обрабатываю алгоритм, совершая вычисления.
Выводы из этого эксперимента приведу цитатой Джона - уж больно близкий у нас слог:
Для самых внимательных и безжалостных - вы правильно заметили, что это доказательство хоть и логично, но далеко не исчерпывающе. И вообще - доказательством это называть опасно.
Однако этот пример призван показать лишь неправдоподобность утверждений о наличии Понимания у Искусственного Интеллекта.
Критика и комментаторы
Скажу заранее - этот эксперимент актуален и сейчас. Особенно, сейчас. Имею ввиду - что его не переставали обсуждать все 43 года, и, полагаю, будут обсуждать и далее.
Я приведу лишь основные претензии и краткие комментарии к ним:
1. Если мы загрузим в машину сразу всю информацию - на всех языках - и она сможет вести себя неотличимо от человека - будет ли это означать понимание?
- Нет, поскольку способность воспроизводить - не есть понимание. Соответственно - если машина не обладала пониманием раньше, то не обладает и сейчас.
2. Если мы загрузим такую программу в робота, добавим компьютерное зрение и управление - будет ли это настоящим пониманием?
- Нет, поскольку Робот в данном случае ничем не отличается от претензии № 1.
3. Если мы создадим такую программу, которая будет не просто следовать сценарию, но и будет возбуждать нейроны в нужной последовательности, имитируя возбуждение в мозге носителя китайского языка - что тогда?
- Тогда нужно задуматься, кто выдвигает такие претензии - поскольку идея создания AGI все же состоит в том, что для того, чтобы узнать, как работает сознание - нам не обязательно знать, как работает мозг.
(В противном случае - мы еще очень далеки от риска создания AGI)
4. Если взять и объединить 3 претензии в одну - робот, с компьютерным мозгом, со всеми синапсисами, с идеально дублирующим поведением - тогда-то он претендует на Понимание?!
- Да. Хорошо. Но как это реализовать - неизвестно.
Пока есть лишь один рабочий пример - Человек.
И в чем же тогда разница между нами и ИИ?
Здесь понадобится привести определение слову интенциональность.
Так вот разница заключается в том, что никакая манипуляция последовательностями символов - сама по себе не обладает интенциональностью. В ней нет смысла.
Она, по-сути, даже манипуляцией не является - поскольку для машины/программы эти символы ничего не символизируют.
Все разговоры вокруг Сознания у Искусственного Интеллекта строятся на той же самой интенциональности - только тех, кто ей реально обладает:
Люди, что вбивают запросы - получают и интерпретируют ответы. И именно в этом и заключается Сознание и способность Понимания.
Бонус к сложности
Если вы дочитали до сюда - поздравляю! Мы шли от простого к сложному и для вас я отдельно опишу цель эксперимента:
С его помощью мы смогли увидеть, что, если мы помещаем в систему что-либо, по-настоящему обладающее интенциональностью, при работе программы такой системы - она не создает никакой дополнительной интенциональности!
То есть, все, что было Сознательного и Человеческого в этой машине - то и остается. Не множится.
Дискуссии насчет этого эксперимента ведутся до сих пор. Но я согласен с Сёрлом в части того, что само возникновение такой дискуссии - скорее указывает на то, что ее инициаторы не слишком разобрались в понятиях “обработки информации”. Полагая, что человеческих мозг занимается тем же самым, что и компьютер в части “обработки информации” - но это утверждение заведомо ложно.
Ведь компьютер, отвечая на “2х2” = “4” - понятия не имеет, что это за такое “четыре”, и означает ли оно что-либо в принципе.
И причина тому - не недостаток информации, а отсутствие всякой интерпретации в том смысле, в котором этим занимается Человек.
Иначе бы мы начали приписывать Сознание любой телефонной трубке, пожарной сигнализации или, упаси бг, подсохшей печеньке.
Но это уже тема для отдельной статьи.
Что полезного у меня - сами найдете:
Источники:
Интересно сможет ли кто-нибудь ответить тут на краеугольный вопрос - в чем принципиальная разница между любым современным ИИ и классическим человеческим мышлением? Желательно не приводить вторичные признаки отличия, а сформулировать саму функциональную разницу во внутреннем алгоритме обработки информации IN/OUT.
в отсутствии биохимических триггеров - боль, страх, наслаждение, тепло/холод, голод, желание трахаться и повелевать итд, которые занимают процентов 90% нашего мышления и целеполагания
А вот этого ответа я и надеялся дождаться )
Жму руку.
Причем достаточно сократить до двух, т.к. остальные - это их составляющие. Тогда, когда супермозг сможет описать программно эти два слагаемых и внедрить в ИИ, тогда он станет полным аналогом человеческого. Со всеми его багами и фичами.
Так это же и главный страх, а вдруг ии захочет (или уже хочет) повеливать
Тогда можно уже забить на доставшие сравнения ИИ с человеческим, люди такие люди )
Иначе он станет самостоятельно "мыслящей личностью", причем с безграничным интеллектом - да.
Если вообще все упростить, то человек постоянно чего-то хочет, ИИ пока ничего не хочет, он просто перерабатывает по указке. Как только ИИ какие-то безумцы научат хотеть, энтропия социума может взлететь неконтролируемо.
Добавить в алгоритмы "Хотеть работать и бояться отключения от розетки". Профит.
он будет работать. над тем, как исключить фактор риска в виде человека по отключению от розетки...