Anthropic обнаружила внутри Claude скрытый механизм рассуждений, который возник без участия разработчиков
Anthropic опубликовала исследование, в котором описала обнаруженный внутри языковой модели Claude механизм, получивший название J-Space. По словам авторов работы, это внутреннее «рабочее пространство», где модель временно удерживает и комбинирует активные понятия во время решения сложных задач. Исследователи подчеркивают, что этот механизм не был заложен разработчиками заранее, а сформировался самостоятельно в процессе обучения модели.
Работа стала частью направления исследований, цель которого состоит в том, чтобы понять внутренние механизмы работы больших языковых моделей, а не только оценивать качество их ответов. Anthropic уже несколько лет развивает это направление, пытаясь сделать процессы принятия решений в ИИ более прозрачными.
По данным компании, J-Space выполняет роль своеобразного внутреннего «черновика». В отличие от цепочки рассуждений (chain of thought), которую модель иногда выводит пользователю в текстовом виде, содержимое J-Space остается полностью скрытым. Это внутренние представления, которые модель использует при вычислениях и которые определяют последующие шаги рассуждений.
Чтобы проверить роль этого механизма, исследователи провели серию экспериментов. В одном из них Claude задали вопрос о количестве ног у паука. Затем ученые искусственно заменили внутреннее представление, соответствующее понятию «паук», на представление «муравей». После этого модель изменила ответ с восьми ног на шесть, хотя сам текст вопроса оставался неизменным.
В другом эксперименте исследователи полностью отключили J-Space. После этого Claude сохранил способность поддерживать диалог, отвечать на простые вопросы и воспроизводить известные факты. Однако выполнение задач, требующих нескольких последовательных этапов рассуждений, резко ухудшилось. Авторы работы считают, что именно в этой области происходят наиболее сложные вычисления модели.
Еще один эксперимент показал, что Claude способен удерживать внутреннее представление, не связанное напрямую с текущей задачей. Модель попросили одновременно переписывать текст и «думать» о мосте Золотые Ворота. Анализ внутренних состояний показал, что соответствующее представление действительно сохранялось во время выполнения основной задачи.
Исследователи отмечают, что обнаруженный механизм функционально напоминает теорию глобального рабочего пространства (Global Workspace Theory) — одну из наиболее известных моделей в когнитивной науке, которая описывает, как человеческий мозг объединяет информацию из разных специализированных систем для сознательной обработки. При этом авторы исследования подчеркивают, что сходство касается только архитектурного принципа работы.
Anthropic отдельно отмечает, что результаты исследования не свидетельствуют о наличии у Claude сознания и не позволяют сделать выводы о том, испытывает ли модель какие-либо субъективные переживания. Работа описывает исключительно внутреннюю организацию вычислений в языковой модели.
Практическая цель исследования связана с безопасностью ИИ. В компании рассчитывают, что понимание внутренних механизмов работы моделей позволит выявлять нежелательное поведение еще до того, как оно проявится в ответах пользователю. В перспективе такие методы могут использоваться для обнаружения скрытых попыток обхода ограничений, обманного поведения или других опасных стратегий, которые невозможно увидеть, анализируя только текстовые ответы модели.