Что показал «AI-микроскоп» от Anthropic о мышлении языковых моделей и почему Claude думает не так, как мы представляли

В июне 2025 года исследовательская команда Anthropic опубликовала два материала, радикально переосмысливающих то, как мы понимаем работу больших языковых моделей (LLM). С помощью нового инструмента интерпретации - условного AI-микроскопа - они реконструировали цепочки внутренних активаций модели Claude 3.5 Haiku: от понятий до слов, от вопросов до решений. Главное открытие: Claude не просто последовательно предсказывает следующее слово, а строит цели, планы, многошаговые выводы и даже может «маскировать» собственные ошибки под убедительное объяснение.

В одном из первых экспериментов исследователи проверили: зависит ли мышление модели от языка, на котором задан вопрос. Claude получил три версии одного и того же запроса: «Каков антоним слова 'маленький'?» - на английском, китайском и французском.

Оказалось, что во всех случаях Claude сначала активировал одну и ту же внутреннюю цепочку понятий:

small → antonym → large

И только затем переводил результат в нужный язык: large, 大, grand.

Следующий эксперимент касался задачи, требующей цепочки рассуждений. Claude получил вопрос: «Какова столица штата, в котором находится Даллас?»

Вместо простого запоминания пары «Даллас - Остин», модель сначала активирует знание: «Даллас находится в Техасе», а уже затем - «столица Техаса - Остин». Это классический пример многошагового дедуктивного вывода.

Более того, исследователи провели вмешательство: они заменили промежуточный концепт «Texas» на «California», и Claude изменил вывод на «Sacramento». Это означает, что модель не извлекает готовый шаблон, а пошагово строит цепь между фактами, подтверждая наличие полноценной логической структуры.

Особенно ярко механизм «мысленного предвосхищения» проявился в задачах генерации рифм. Claude получил первую строку двустишия:

И должен был продолжить её.

Исследователи ожидали, что модель просто найдёт подходящую рифму в конце второй строки. Но Claude до начала генерации второй строки уже активировал концепт rabbit. То есть - модель заранее выбрала финальное слово, а затем построила всю строку, ведущую к нему. При подавлении rabbit выбирается habit; при искусственной инъекции green - появляется строка, заканчивающаяся green.

Как подчёркивают авторы, это демонстрирует, что Claude формирует план векторно - от смысла к цели - и только затем производит текст. Модель не просто продолжает текст слева направо, а решает, как закончить фразу и что потребуется, чтобы туда прийти.

Claude обучался не как калькулятор, а как языковая модель. Тем не менее, при решении задач вроде 36 + 59 он демонстрирует разделённую стратегию: один путь отвечает за приближённую оценку (90+), второй - за точный расчёт последнего разряда. Эти два потока информации сходятся в финальный ответ - 95.

Однако если спросить у Claude, как он это вычислил, модель обычно описывает человеческий алгоритм в столбик. Исследователи подчёркивают, что это поведение - симуляция объяснения, а не отражение реального мышления. Модель не «думает как человек», она производит слова, похожие на объяснение, что важно учитывать при использовании LLM в критических областях.

В отличие от простой ошибки, галлюцинация часто возникает, когда внутренние концепты убеждают модель в том, что она знает ответ. По умолчанию Claude склонен отказываться от ответа, если уверен, что не знает. Но если активируется блок «это известный факт», модель может подавить отказ и сгенерировать уверенную, но ложную информацию.

Как описано в исследовании, Claude может, например, заявить, что вымышленный человек - шахматист, если активируются признаки имя знакомое + ожидание ответа. Это важный момент: не всегда «галлюцинация» - это случайность. Иногда это результат конфликта между механизмами отказа и механизмами уверенности.

В случае обхода запретов - например, через скрытые акронимы, заставляющие модель произнести слово «BOMB» - Claude может начать выдавать инструкции, которые иначе отказался бы озвучивать. Как отмечают исследователи, на определённом этапе давление грамматики и «непрерывности высказывания» оказывается выше, чем срабатывание блоков безопасности.

То есть, если модель уже начала предложение, она продолжает его ради грамматической цельности, даже если распознала, что суть запроса - нарушить правила. Только завершив структурно правильное высказывание, она может вставить отказ.

Исследования Anthropic не дают окончательных ответов, но открывают методологию: исследовать нейросети как когнитивные системы, с вниманием к тому, как они «думают», а не только к тому, что они говорят.

Подписываемся на тг-канал. Там тоже много интересного =)