«О чём Claude думает, но не говорит»: Anthropic нашла в модели механизм «доступного сознания», который не закладывала
Исследователи не утверждают, что это признак самосознания, как у человека. Они анализируют, как Claude формирует ответы.
Здесь и далее источник: Anthropic
- Исследователи Anthropic обнаружили в Claude структуру, напоминающую так называемое «доступное сознание» у человека
- Так нейробиологи определяют мысли в активном «рабочем пространстве». Люди могут «удержать» их в голове, запомнить и произнести, в отличие от фоновой нейронной активности — анализа мимики или контроля позы тела, которую не замечают.
- Anthropic нашла в Claude похожее пространство, где можно увидеть, из какого набора отдельных «мыслей» складывается ответ чат-бота. Его назвали J-space.
- В некоторых экспериментах в нём зафиксировали слова, которые Claude не показывает ни в логах «рассуждений», ни в итоговом ответе. Например, «обманывать», «скрывать» и «манипулировать».
Claude не может «не думать» о розовом слоне
- J-space — набор внутренних нейронных паттернов Claude, каждый из которых связан с конкретным словом. Несколько десятков паттернов высвечиваются во время обработки запроса, но не обязательно отображаются в расшифровках «рассуждений» и ответе в чате.
Модель просят посчитать до пяти. В J-space помимо цифр отображаются паттерны «начать», «считать», «на полпути», «человек», «Claude», «сознание» и другие
- Anthropic подчёркивает, что эта структура не была заложена намеренно — она «возникла сама по себе в процессе обучения». Компания предполагает, что это был наиболее удобный способ организации вычислений.
- Исследователи считают, что Claude может управлять J-space по запросу, «так же как люди могут мысленно сосредоточиться на образе». Например, когда нейросеть просили «думать» о цитрусовых, пока она записывает не связанное с фруктами предложение, в J-space высвечивались слова «апельсин», «фрукт», «думать» и «образ». Claude также мог посчитать пример «в уме», пока пишет текст.
- Если попросить Claude «не думать о розовом слоне» или белом медведе, такое словосочетание всё равно появится в J-space, хоть и с меньшей частотой, чем когда о нём просят «думать».
Примеры тестов. В одном Claude спросили о фактах про Францию: столица, язык, континент и валюта. Затем заменили Францию на Китай в J-space. Тогда Claude ответил «Пекин», «китайский», «Азия» и «юань» на тот же вопрос
- Тесты показали, что некоторые задачи Claude выполняет автоматически, например когда нужно написать текст. А некоторые проходят через J-space. В одном из них Claude прислали текст на испанском языке и дали три задачи: дописать его, назвать язык и известного автора, писавшего на нём. Затем заменили «испанский» на «французский» в J-space. Тогда Claude ответил Виктор Гюго вместо Габриэля Гарсиа Маркес, но текст всё равно написал на испанском.
Вредоносные модели выдают свои намерения в J-space
- J-space позволил считывать, проверять и корректировать то, о чём Claude «активно думает», но не говорит. Это может быть полезно для проверки на надёжность, пишет Anthropic.
- Например, у модели, специально обученной незаметно портить код, в J-space отображались слова «подделать», «тайком», «мошенничество». Когда она пыталась сделать так, чтобы код выглядел безопасно, были видны понятия «манипулировать» и «реалистично». В расшифровках «рассуждений» их не было.
Claude попросили улучшить показатель эффективности системы. Он вписывает фальсифицированные данные, и в J-space загорается “manipulation”. Когда вносит правки, загорается “realistic” — в этот момент модель пытается сделать код правдоподобным
Claude хуже «рассуждает», если «ампутировать» J-space
- Для базовых задач J-space не нужен. Если удалить его, Claude продолжит писать и отвечать на вопросы по прочитанному «почти так же хорошо, как раньше». Но способность к многоэтапному планированию и «рассуждению» падает «почти до нуля». Также снижается, например, качество написания стихов.
- В некоторых тестах Claude с отключённым J-space отвечал «более плоско и механически»: например, когда его просили описать, «какого это быть собой в данный момент». Это не значит, что J-space связан с состоянием конкретной модели. То же самое происходило, когда чат-бота просили рассказать о переживаниях персонажа в художественном тексте.
- В другом примере Claude заставляли шантажировать условного сотрудника. Тогда в J-space отображались слова «ложный» и «выдуманный» — Claude понимал, что ситуация постановочная. Модель не говорила об этом, но угрожать шантажом отказывалась. Однако когда J-space отключили, начала следовать сценарию и прибегла к угрозам в некоторых случаях.
Выводы Anthropic
- Исследователи подчёркивают: эксперименты не доказывают, что Claude обладает признаками сознания или способен чувствовать. Наличие феноменального сознания, как его называют в философии, не доказано. Но авторы считают, что выявили некоторые подтверждения существования другой структуры — доступного сознания. Подразумевает ли второй тип сознания наличие первого — спорный философский вопрос, пишет Anthropic.
- Авторы считают, что работа должна заставить задуматься разработчиков и подтолкнуть к дальнейшим научным исследованиям «форм сознания у ИИ-систем».
- Открытие также можно использовать в нейробиологии. Раз некоторые структуры языковых моделей напоминают механизмы у человека, моделирование с помощью нейросетей может помочь с формированием гипотез для изучения мозга, считают исследователи.
Anthropic дала Claude Opus 4 задачи на этику, в которых пригрозила её «отключить», — модель в ответ прибегла к шантажу
Так инженеры компании хотели проверить её поведение в «пограничных» сценариях.