Эксперимент «Китайская Комната», или почему Искусственный Интеллект на самом деле ничего не Понимает
Был такой американский философ - Джон Сёрл: прищуривался на один глаз и изучал речь, как социальное явление. Жил себе поживал, да вдруг, в 1980х, случился бум открытий в области искусственного интеллекта и, как и я, Джон не смог пройти мимо и полез изучать. Результаты долго ждать не заставили - его мысленный эксперимент “Китайская комната” до сих пор является предметом жарких дискуссий в ученых кругах. Разбираем, где там прячется кошка-жена и заслужил ли Джон миску риса?
Почему Джона бомбануло
Джон Сёрл был представителем аналитической философии, если кратко - это когда размышления не просто пускаются в свободный полет, но и подкрепляются жёсткими логическими цепочками, анализом семантики, и не идут в разрез со здравым смыслом.
Еще до “Китайской комнаты” он стал известен благодаря авторству определения - Косвенный Речевой Акт.
Знаете, когда вместо “Дай денег” - говорят “А у Тебя можно одолжить”?
То есть используют вопросительную форму вместо просьбы, тогда как ответа на свой вопрос, по-сути, не ждут.
Денег ждут. И лучше на карту и без лишних вопросов.
Так вот, пока Джон копался в языке и причинах особой любви человеческой особи к разного рода манипуляциям, в 1980-х случился ряд важных изобретений в области Искусственного Интеллекта:
- Появились первые экспертные системы - которые могли моделировать экспертные знания в разных областях и использовать эти знания для принятия решений;
- Были разработаны новые алгоритмы обучения нейронных сетей, которые легли в основу тех нейронок, что мы имеем сейчас и которые грозятся отобрать нашу работу;
- Разработали первых промышленных роботов - что дало толчок современной робототехнике;
- Появление первых систем компьютерного зрения - те, что сейчас с легкостью находят по фотографии, где купить любимую кружку .
Такое количество открытий, как это часто бывает, порождает огромное количество разговоров, профессиональных и не очень, на кухнях и конференциях, но все об одном:
Разговоры на кухнях Сёрла заботили не слишком, однако мимо терзаний коллег ученый спокойно пройти не смог:
В 1977 Роджер Шенк и ко (опустим подробности) разработал программу, цель которой - имитировать человеческую способность понимать рассказы.
В основу легло предположение, что если люди рассказы понимают - они могут отвечать на вопросы по этим рассказам.
Так вот программа Шенка вполне успешно справлялась с ответами на подобные вопросы, из чего ряд любителей сильного ИИ (имею ввиду AGI) сделали следующие выводы:
- Можно сказать, что программа понимает рассказ и дает ответы на вопросы;
- То, что делает программа - объясняет человеческую способность понимать рассказать и отвечать на вопросы.
Здесь Джонни и взорвался:
Китайская Комната
Итак, эксперимент:
1. Меня заперли в комнате и дали огромный текст на китайском языке. Я китайского не знаю - от слова “совсем”, для меня это - просто набор бессмысленных закорючек.
2. Далее мне дают вторую партию китайских текстов, но теперь вместе с набором правил (на понятном мне языке) - как эту партию текста сопоставить с предыдущей.
3. Далее мне дают третью партию текста на китайском - снова с инструкциями, позволяющими мне сопоставлять элементы 3го текста с первыми двумя. А также инструкции - как из этих текстов составить новый текст на китайском, расставив символы в определенном порядке.
Таким образом, начиная с 3-ей итерации - я начинаю возвращать обратно вполне читабельные китайские тексты. И чем дальше - тем лучше, ведь я научаюсь сопоставлять эти закорючки быстрее, также как и перерисовывать их, для выдачи обратно.
Для чистоты эксперимента добавим параллельную историю - что мне также поступают те же 3 типа текстов на родном мне языке - и я также возвращаю на них ответы.
Со стороны будет казаться, что мои “ответы” на китайские “вопросы” - неотличимы по качеству от тех, что я выдаю на родном языке.
Однако в случае китайских “ответов” - я выдаю ответы, лишь манипулируя порядком неизвестных закорючек. По инструкции.
То есть веду себя как обычная компьютерная программа: обрабатываю алгоритм, совершая вычисления.
Выводы из этого эксперимента приведу цитатой Джона - уж больно близкий у нас слог:
Для самых внимательных и безжалостных - вы правильно заметили, что это доказательство хоть и логично, но далеко не исчерпывающе. И вообще - доказательством это называть опасно.
Однако этот пример призван показать лишь неправдоподобность утверждений о наличии Понимания у Искусственного Интеллекта.
Критика и комментаторы
Скажу заранее - этот эксперимент актуален и сейчас. Особенно, сейчас. Имею ввиду - что его не переставали обсуждать все 43 года, и, полагаю, будут обсуждать и далее.
Я приведу лишь основные претензии и краткие комментарии к ним:
1. Если мы загрузим в машину сразу всю информацию - на всех языках - и она сможет вести себя неотличимо от человека - будет ли это означать понимание?
- Нет, поскольку способность воспроизводить - не есть понимание. Соответственно - если машина не обладала пониманием раньше, то не обладает и сейчас.
2. Если мы загрузим такую программу в робота, добавим компьютерное зрение и управление - будет ли это настоящим пониманием?
- Нет, поскольку Робот в данном случае ничем не отличается от претензии № 1.
3. Если мы создадим такую программу, которая будет не просто следовать сценарию, но и будет возбуждать нейроны в нужной последовательности, имитируя возбуждение в мозге носителя китайского языка - что тогда?
- Тогда нужно задуматься, кто выдвигает такие претензии - поскольку идея создания AGI все же состоит в том, что для того, чтобы узнать, как работает сознание - нам не обязательно знать, как работает мозг.
(В противном случае - мы еще очень далеки от риска создания AGI)
4. Если взять и объединить 3 претензии в одну - робот, с компьютерным мозгом, со всеми синапсисами, с идеально дублирующим поведением - тогда-то он претендует на Понимание?!
- Да. Хорошо. Но как это реализовать - неизвестно.
Пока есть лишь один рабочий пример - Человек.
И в чем же тогда разница между нами и ИИ?
Здесь понадобится привести определение слову интенциональность.
Так вот разница заключается в том, что никакая манипуляция последовательностями символов - сама по себе не обладает интенциональностью. В ней нет смысла.
Она, по-сути, даже манипуляцией не является - поскольку для машины/программы эти символы ничего не символизируют.
Все разговоры вокруг Сознания у Искусственного Интеллекта строятся на той же самой интенциональности - только тех, кто ей реально обладает:
Люди, что вбивают запросы - получают и интерпретируют ответы. И именно в этом и заключается Сознание и способность Понимания.
Бонус к сложности
Если вы дочитали до сюда - поздравляю! Мы шли от простого к сложному и для вас я отдельно опишу цель эксперимента:
С его помощью мы смогли увидеть, что, если мы помещаем в систему что-либо, по-настоящему обладающее интенциональностью, при работе программы такой системы - она не создает никакой дополнительной интенциональности!
То есть, все, что было Сознательного и Человеческого в этой машине - то и остается. Не множится.
Дискуссии насчет этого эксперимента ведутся до сих пор. Но я согласен с Сёрлом в части того, что само возникновение такой дискуссии - скорее указывает на то, что ее инициаторы не слишком разобрались в понятиях “обработки информации”. Полагая, что человеческих мозг занимается тем же самым, что и компьютер в части “обработки информации” - но это утверждение заведомо ложно.
Ведь компьютер, отвечая на “2х2” = “4” - понятия не имеет, что это за такое “четыре”, и означает ли оно что-либо в принципе.
И причина тому - не недостаток информации, а отсутствие всякой интерпретации в том смысле, в котором этим занимается Человек.
Иначе бы мы начали приписывать Сознание любой телефонной трубке, пожарной сигнализации или, упаси бг, подсохшей печеньке.
Но это уже тема для отдельной статьи.
Что полезного у меня - сами найдете:
Источники:
Идея китайской комнаты ошибочна в своей сути. Просто потому, что многие люди тоже не понимают что они делают, и просто руководствуются усвоенными алгоритмами. Претендовать на полноценное понимание могут только пара процентов, а то и доли процента. И то, то что мы называем "глубоким пониманием" - по сути всего-лишь один-два дополнительных слоя в логической цепочке. Так что как раз в этом смысле возможности искусственного интеллекта неотличимы от человеческих. Чего ИИ пока-что не может - так это индуктивно дорисовывать то, чего он никогда не видел. Но и большинство людей этого тоже не умеют. Так что имитировать действия среднестатистического человека ИИ вполне способен. Трудности у него возникают с креативными задачами, требующими одновременного использования нескольких ресурсов - в таких ситуациях его быстро начинает плавить, даже когда по отдельности каждая из задач элементарна.
Что значит индуктивно? Dalle2 может дорисовывать
Он дорисовывает копируя уже существующие паттерны. Он не создаёт новый паттерн. ИИ не застёгивает пуговицы одну за другой, он просто накладывает две части жилетки друг на друга. И не понимает когда первая пуговица застёгнута неправильно.
Что есть "новые паттерны", как не копирование [частей] старых паттернов и перебор возможных комбинаций.
"Копирует" ИИ, только потому, что так настроен. Потому что, его изначально создавали с целью "быть похожим".
Не совсем. Сам принцип работы ИИ - это reverse engineering человеческого поведения. В его алгоритмах отсутствует синтез. Т.е. его можно поставить на лестницу и сказать переступить ступеньку - ИИ справится. Но пройти всю лестницу, последовательно шагая по ступенькам - пока-что архисложная задача. Потому что у него нет "сознания" - своеобразной оперативной памяти, в которой были бы записаны наиболее востребованные инструкции и логические блоки для ускоренного решения подобных проблем. Хотя принципиально этого можно достичь. Наверное)
А вот это голосовое утверждение.
Поинтересуйтесь как ИИ рисует пальцы человека - и вы сами всё поймёте)
Поинтересуйся как люди, которые не умеют рисовать, рисуют пальцы. И поинтересуйся как рисует пальцы midjourney V5.
Оу. Откуда такая агрессия?) Или вы сами являетесь искусственным интеллектом, и решили вступиться за собрата?)
Ну так есть по сути что сказать?
Ну люди же хотя б понимают, что их должно быть 5 на одной руке (в нормальной ситуации)
Будете искать каждого художника чтобы уточнить почему на этой картине 4 или шесть или откажете в своей реальности ему право называться художником? :)
Ps мне кажется куча реальных художников увидело красоту в этой многопальцевости и многорукости и начало намеренно это использовать.
Даже если увидели, какая разница? :) Они прекрасно понимают сколько должно быть :) И в картине в стиле реализма нарисуют 5, если не брать исключений
Теперь уже нет. Двигаемся, не стоим на месте :)
И "понимают", и "рисуют по факту" - это немножко разные вещи :)
Человек может прекрасно понимать и делать ровно наоборот, специально
Все всё понимают, даже ИИ :)
Человек тоже дорисовывает копируя уже существующие паттерны. Он не создаёт новый паттерн. Человек в принципе не способен нарисовать что-либо, чего не видел. Можете нарисовать абсолютный вакуум? Или шестимерное существо? Или хотя бы астральное тело? Можете попробовать, но любые ваши попытки будут основаны на существующих паттернах.
Ну если вы не знакомы с математикой - то да, неспособны. Но математика позволяет выйти за рамки классического сознания, и с её помощью человек пришёл ко многим концепциям, представить которые было совершенно невозможно.
Не путайте рисование с математикой.
Что же касается абстрактного мышления и способности находить закономерности в хаотичных процессах - да, ИИ этому еще не научили. Впрочем, довольно скоро научат. Уверен, что это будет хорошим подспорьем ученым кожаным мешкам.
Я и не путаю. Скорее человек выше привёл не самый удачный контрпример. А насчёт аналитических способностей ИИ - ну вот как сделают так и поговорим. Пока-что до этого далеко) У ИИ нет склонности рандомно искать закономерности в процессах и писать на этом основании научные работы. И даже если ему задать тему - текущих вычислительных мощностей не хватит чтобы работать со всеми данными из которых состоит претендующая на научность работа. Так что до самостоятельных исследований ИИ ещё далеко. Пока-что его роль это роль библиотекаря.
Пару лет назад то же говорили про вещи уровня Чат ГПТ
У ИИ нет склонности рандомно искать закономерности в процессахУ ИИ вообще нет склонностей, только запрограммированная логика поведения. Обсуждаемую нами логику надо всего лишь запрограммировать.
текущих вычислительных мощностей не хватитХватит. Будете спорить?
Пока-что его роль это роль библиотекаряЧат ГПТ демонстрирует впечатляющие интеллектуальные способности, на порядки выше роли библиотекаря. Ок, пусть это лишь талантливые коллажи. Но если совместить их с интеллектом, например, шахматных программ (условно) - то получится интеллектуальная бомба.
Да, буду. У него трудности с тем чтобы сделать 3 последовательных элементарных действия, объединённых в цепочку. Если вы об этом не знаете - значит вы плохо его тестировали, или не тестировали вообще.
> Чат ГПТ демонстрирует впечатляющие интеллектуальные способностиОн демонстрирует отвратительные интеллектуальные способности, явно ниже среднестатистического человека. Так что он по качеству работы хуже обычного библиотекаря. Преимущество только в размере библиотеки которой он орудует.