Почему ChatGPT не интеллект и никогда им не станет.

Мы привыкли думать, что интеллект — это работа со словами. И где-то, даже написано, что в начале было слово.

Отсюда вывод: если система умеет комбинировать символы, значит умеет мыслить. Это кажется естественным, потому что результат мышления, мы видим как правило в языке. Но мы не видим, а точнее не задумываемся, откуда язык берётся вообще. Хотя это не новость и известно уже с сотню лет. Классическая модель искусственного интеллекта, восходящая к Ньюэллу и Саймону, описывает интеллект как физическую систему, манипулирующую символами по правилам. Символ в этой логике — атом мышления. Кирпичики из которых строится всё остальное. Проблема в том, что в реальной жизни символ никогда не являлся исходной единицей. Слово не элемент мышления. Оно его результат. И появляется уже после понимания. Ребёнок ещё не знает слова «нельзя», но он уже различает ситуации. Вот он тянется к плите. Рука взрослого резко перехватывает движение, интонация его голоса меняется. Или тот же жест, но мягче, когда не одёргивают, а перенаправляют. Не ситуация запрещается, а внимание смещается. Мы и разные потому, что проживаем разные версии одинаковых сцен. И по-разному их интерпретируем. И эта интерпретация работает до всяких символов. Мы не просто заходим в новую компанию. Мы наблюдаем и делаем выводы. Этот в центре внимания, тот говорит «когда можно», третий, не задумываясь перебивает, а четвертый вообще молчит словно не здесь.

Это не анализ слов. Это считывание происходящего. И когда такие ситуации повторяются, они уплотняются, то, что раньше требовало целой сцены — взгляд, пауза, движение тела, реакция других — сжимается в короткий вывод. Нельзя. Опасно. Повезло. Символ — это не источник смысла. Это архив обобщенных субъективных прогнозов. Так мы экономим время и энергию.

И это напрочь ломает классический AI. Модели типа Ньюэлла и Саймона начинают с символов, как с пустых, когда по сути, они уже содержат и опыт взаимодействий и социальные реакции, и распределение внимания и последствия действий. Немудрено, что убрав этот слой, мы получаем галлюцинации или, среднюю температуру по больнице, в виде общеизвестных выводов. Ллм обучены на текстах, по сути, квинтэссенции человеческого опыта. Причем, любого. Их разработчики не делают разницы в обучающих выборках, а реальность такова, что эти тексты содержат ошибки. Разные их категории. И получается, что ллм работают мало того, что не с реальностью и не с личным опытом, а лишь с его отпечатками, но и сами эти отпечатки вызывают много вопросов. Их ответы иногда выглядят умными, потому что структура текста сама по себе уже содержит следы миллионов таких сцен. Она воспроизводит структуру объяснения, собирает правдоподобные цепочки, имитирует рассуждение. Иногда попадает. Чаще нет. Плюс опять же, интерпретация. Одна и та же "новая математика" предложенная моделью, для математика и нематематика выглядит совершенно по-разному. Интеллект начинается не в символах и заканчивается не ими. Он начинается в устойчивых взаимодействиях между людьми и средой, где смысл формируется как повторяющийся результат действий и реакций. Язык, лишь способность сжать этот опыт до предела. Поэтому смотрят сколько в текстах "воды", в дополнение к смыслам. Поэтому ллм не мыслят. Потому что не смыслят. Им просто нечем обнаруживать разницу, делать выводы и строить прогнозы. И незачем.

Зато он гарантированно хорош в другом классе задач, который часто путают с интеллектом. Он замечательно удерживает текст в пределах статистически устойчивых форм. Грамматика, связность, жанр, тон, логическая оболочка почти всегда собраны корректно. Он редко «ломает» форму высказывания. Это делает его надежным инструментом для генерации и переработки текста. Любая задача вида «объясни, переформулируй, собери заново, продолжи, упрости, усложни» — это работа с уже готовыми языковыми конструкциями. Здесь он силён, потому что оперирует огромным массивом уже стабилизированных человеческих формулировок. Его сильная сторона — предсказание следующего элемента в структуре высказывания. Не идеи, не факта, а формы продолжения. Поэтому надо быть внимательным. Потому что человеческая речь сама по себе построена на предсказуемых переходах.

При чтении, генерация часто даёт ощущение «разумного ответа», таковой не являясь. Ллм воспроизводит научный стиль, публицистику, юридический язык, бытовую речь, философский тон. Причина проста: это устойчивые паттерны текста. Он не понимает их, но хорошо удерживает их форму. Он умеет сворачивать большие массивы текста в более короткие версии без разрушения поверхностной структуры. Резюме, пересказ, выделение ключевых идей — это его естественная зона. Хорош в комбинировании уже известных фрагментов и очень эффективно соединяет ранее встречавшиеся конструкции в новые комбинации. Нового не скажет, но хорошо подаст уже известное.

Генерации почти не распадаются, утверждения выглядят как уже где-то услышанные, почти любое высказывание закрывается так, будто оно «докручено», однако, научный, юридический, публицистический регистры воспроизводятся без внутреннего понимания границ их применимости. (это называется институциональной мимикрией).

И они совершенно не работают там, где нужны

доказательства и проверка.

Сила LLM — не демагогия как таковая (у них нет цели), а в способности к симуляции убедительности. И это архитектурное ограничение, которое не исправить мощностью вычислений.