Эксперимент «Китайская Комната», или почему Искусственный Интеллект на самом деле ничего не Понимает
Был такой американский философ - Джон Сёрл: прищуривался на один глаз и изучал речь, как социальное явление. Жил себе поживал, да вдруг, в 1980х, случился бум открытий в области искусственного интеллекта и, как и я, Джон не смог пройти мимо и полез изучать. Результаты долго ждать не заставили - его мысленный эксперимент “Китайская комната” до сих пор является предметом жарких дискуссий в ученых кругах. Разбираем, где там прячется кошка-жена и заслужил ли Джон миску риса?
Почему Джона бомбануло
Джон Сёрл был представителем аналитической философии, если кратко - это когда размышления не просто пускаются в свободный полет, но и подкрепляются жёсткими логическими цепочками, анализом семантики, и не идут в разрез со здравым смыслом.
Еще до “Китайской комнаты” он стал известен благодаря авторству определения - Косвенный Речевой Акт.
Знаете, когда вместо “Дай денег” - говорят “А у Тебя можно одолжить”?
То есть используют вопросительную форму вместо просьбы, тогда как ответа на свой вопрос, по-сути, не ждут.
Денег ждут. И лучше на карту и без лишних вопросов.
Так вот, пока Джон копался в языке и причинах особой любви человеческой особи к разного рода манипуляциям, в 1980-х случился ряд важных изобретений в области Искусственного Интеллекта:
- Появились первые экспертные системы - которые могли моделировать экспертные знания в разных областях и использовать эти знания для принятия решений;
- Были разработаны новые алгоритмы обучения нейронных сетей, которые легли в основу тех нейронок, что мы имеем сейчас и которые грозятся отобрать нашу работу;
- Разработали первых промышленных роботов - что дало толчок современной робототехнике;
- Появление первых систем компьютерного зрения - те, что сейчас с легкостью находят по фотографии, где купить любимую кружку .
Такое количество открытий, как это часто бывает, порождает огромное количество разговоров, профессиональных и не очень, на кухнях и конференциях, но все об одном:
Разговоры на кухнях Сёрла заботили не слишком, однако мимо терзаний коллег ученый спокойно пройти не смог:
В 1977 Роджер Шенк и ко (опустим подробности) разработал программу, цель которой - имитировать человеческую способность понимать рассказы.
В основу легло предположение, что если люди рассказы понимают - они могут отвечать на вопросы по этим рассказам.
Так вот программа Шенка вполне успешно справлялась с ответами на подобные вопросы, из чего ряд любителей сильного ИИ (имею ввиду AGI) сделали следующие выводы:
- Можно сказать, что программа понимает рассказ и дает ответы на вопросы;
- То, что делает программа - объясняет человеческую способность понимать рассказать и отвечать на вопросы.
Здесь Джонни и взорвался:
Китайская Комната
Итак, эксперимент:
1. Меня заперли в комнате и дали огромный текст на китайском языке. Я китайского не знаю - от слова “совсем”, для меня это - просто набор бессмысленных закорючек.
2. Далее мне дают вторую партию китайских текстов, но теперь вместе с набором правил (на понятном мне языке) - как эту партию текста сопоставить с предыдущей.
3. Далее мне дают третью партию текста на китайском - снова с инструкциями, позволяющими мне сопоставлять элементы 3го текста с первыми двумя. А также инструкции - как из этих текстов составить новый текст на китайском, расставив символы в определенном порядке.
Таким образом, начиная с 3-ей итерации - я начинаю возвращать обратно вполне читабельные китайские тексты. И чем дальше - тем лучше, ведь я научаюсь сопоставлять эти закорючки быстрее, также как и перерисовывать их, для выдачи обратно.
Для чистоты эксперимента добавим параллельную историю - что мне также поступают те же 3 типа текстов на родном мне языке - и я также возвращаю на них ответы.
Со стороны будет казаться, что мои “ответы” на китайские “вопросы” - неотличимы по качеству от тех, что я выдаю на родном языке.
Однако в случае китайских “ответов” - я выдаю ответы, лишь манипулируя порядком неизвестных закорючек. По инструкции.
То есть веду себя как обычная компьютерная программа: обрабатываю алгоритм, совершая вычисления.
Выводы из этого эксперимента приведу цитатой Джона - уж больно близкий у нас слог:
Для самых внимательных и безжалостных - вы правильно заметили, что это доказательство хоть и логично, но далеко не исчерпывающе. И вообще - доказательством это называть опасно.
Однако этот пример призван показать лишь неправдоподобность утверждений о наличии Понимания у Искусственного Интеллекта.
Критика и комментаторы
Скажу заранее - этот эксперимент актуален и сейчас. Особенно, сейчас. Имею ввиду - что его не переставали обсуждать все 43 года, и, полагаю, будут обсуждать и далее.
Я приведу лишь основные претензии и краткие комментарии к ним:
1. Если мы загрузим в машину сразу всю информацию - на всех языках - и она сможет вести себя неотличимо от человека - будет ли это означать понимание?
- Нет, поскольку способность воспроизводить - не есть понимание. Соответственно - если машина не обладала пониманием раньше, то не обладает и сейчас.
2. Если мы загрузим такую программу в робота, добавим компьютерное зрение и управление - будет ли это настоящим пониманием?
- Нет, поскольку Робот в данном случае ничем не отличается от претензии № 1.
3. Если мы создадим такую программу, которая будет не просто следовать сценарию, но и будет возбуждать нейроны в нужной последовательности, имитируя возбуждение в мозге носителя китайского языка - что тогда?
- Тогда нужно задуматься, кто выдвигает такие претензии - поскольку идея создания AGI все же состоит в том, что для того, чтобы узнать, как работает сознание - нам не обязательно знать, как работает мозг.
(В противном случае - мы еще очень далеки от риска создания AGI)
4. Если взять и объединить 3 претензии в одну - робот, с компьютерным мозгом, со всеми синапсисами, с идеально дублирующим поведением - тогда-то он претендует на Понимание?!
- Да. Хорошо. Но как это реализовать - неизвестно.
Пока есть лишь один рабочий пример - Человек.
И в чем же тогда разница между нами и ИИ?
Здесь понадобится привести определение слову интенциональность.
Так вот разница заключается в том, что никакая манипуляция последовательностями символов - сама по себе не обладает интенциональностью. В ней нет смысла.
Она, по-сути, даже манипуляцией не является - поскольку для машины/программы эти символы ничего не символизируют.
Все разговоры вокруг Сознания у Искусственного Интеллекта строятся на той же самой интенциональности - только тех, кто ей реально обладает:
Люди, что вбивают запросы - получают и интерпретируют ответы. И именно в этом и заключается Сознание и способность Понимания.
Бонус к сложности
Если вы дочитали до сюда - поздравляю! Мы шли от простого к сложному и для вас я отдельно опишу цель эксперимента:
С его помощью мы смогли увидеть, что, если мы помещаем в систему что-либо, по-настоящему обладающее интенциональностью, при работе программы такой системы - она не создает никакой дополнительной интенциональности!
То есть, все, что было Сознательного и Человеческого в этой машине - то и остается. Не множится.
Дискуссии насчет этого эксперимента ведутся до сих пор. Но я согласен с Сёрлом в части того, что само возникновение такой дискуссии - скорее указывает на то, что ее инициаторы не слишком разобрались в понятиях “обработки информации”. Полагая, что человеческих мозг занимается тем же самым, что и компьютер в части “обработки информации” - но это утверждение заведомо ложно.
Ведь компьютер, отвечая на “2х2” = “4” - понятия не имеет, что это за такое “четыре”, и означает ли оно что-либо в принципе.
И причина тому - не недостаток информации, а отсутствие всякой интерпретации в том смысле, в котором этим занимается Человек.
Иначе бы мы начали приписывать Сознание любой телефонной трубке, пожарной сигнализации или, упаси бг, подсохшей печеньке.
Но это уже тема для отдельной статьи.
Что полезного у меня - сами найдете:
Источники:
Легче жить с осознанием того, что ИИ ничего не понимает. Так хоть не падает желание заниматься любимым делом и двигаться вперёд, например как с рисованием. Вот смотришь, какие арты делают роботы и просто сидишь в шоке, руки опускаются и думаешь "а смысл стараться, если ИИ всё равно будет лучше тебя"
Если вы про рисование без особых смыслов, то скорее всего ИИ лучше, но вы ведь наверняка занимаетесь этим ради удовольствия, а не чтобы скилл прокачать.
А если вы говорите о картинах, в которых есть смысл, то ИИ может написать такую? (Я действительно не знаю, интересно просто)
Очень часто, если не всегда, смысл в глазах смотрящего :)