Anthropic заглянул внутрь Claude и нашел скрытое пространство, где ИИ «думает»
Мы привыкли оценивать ИИ по его ответам: насколько хорошо он пишет, решает задачи или объясняет сложные темы. Но что происходит внутри модели в момент, когда она формирует ответ? Anthropic впервые показал, что внутри Claude существуют устойчивые внутренние представления, которые можно наблюдать и изучать. Это не доказательство сознания, но важный шаг к пониманию того, как на самом деле работают современные ИИ-системы.
🔥 Еще больше полезной информации о продуктах и технологиях — в моем канале
Почему это важно?
Большие языковые модели остаются своеобразным «черным ящиком». Мы видим входные данные и конечный ответ, но не знаем точно, какие внутренние процессы происходят между ними. Даже создатели моделей не всегда могут объяснить, почему ИИ пришел именно к такому выводу.
Для повышения надежности ИИ важно не только улучшать его ответы, но и научиться понимать его внутреннюю работу.
Именно этим занимается направление, которое Anthropic называет интерпретируемостью моделей. Его задача - попытка заглянуть внутрь нейросети и понять, какие представления формируются в процессе работы.
Как ученые смогли увидеть внутренние процессы Claude?
Чтобы изучить внутреннее устройство модели, исследователи использовали методы механистической интерпретируемости — направления, которое пытается связать конкретные вычисления внутри нейросети с понятными человеку концепциями.
Они анализировали активации нейронов модели во время выполнения разных задач и искали устойчивые паттерны, связанные с определенными понятиями. Затем исследователи проверяли эти связи экспериментально: изменяли найденные внутренние представления и наблюдали, как это влияет на поведение Claude.
Так ученые смогли не просто увидеть, какие процессы происходят внутри модели, а проверить, действительно ли эти внутренние структуры участвуют в ее рассуждении.
Что обнаружили исследователи Anthropic?
В новом исследовании ученые изучили Claude и обнаружили внутри модели особое пространство внутренних представлений, которое они назвали J-space. Это не отдельный модуль, созданный разработчиками. Он сформировался естественным образом в процессе обучения модели.
В J-space информация представлена не как отдельные слова, а как более абстрактные понятия и связи между ними.
Например, модель может иметь внутреннее представление о концепции, даже если это понятие напрямую не появляется в ее ответе.
Исследователи смогли понаблюдать эти внутренние состояния и проанализировать, какие идеи присутствуют в модели во время выполнения различных задач.
Почему это сравнивают с работой человеческого мозга
Одной из идей, которую изучали ученые, стала связь с теорией Global Workspace Theory — теорией глобального рабочего пространства в нейронауке.
Согласно этой теории, мозг состоит из множества специализированных процессов. Большая часть из них работает автоматически, но некоторые виды информации становятся доступными сразу нескольким системам мозга и используются для сложного мышления.
Anthropic обнаружил некоторые похожие свойства у J-space:
- информация в нем может использоваться для разных задач;
- внутренние представления становятся доступны разным частям модели;
- они играют роль в сложном многошаговом рассуждении.
Но исследователи отдельно подчеркивают: это не означает, что Claude обладает сознанием или эмоциями. Сходство с некоторыми теориями работы мозга говорит только о похожих принципах обработки информации.
Исследователи показали, что J-space особенно важен для сложных задач. Когда модель решает многошаговую проблему, промежуточные этапы рассуждения связаны с активностью в этом внутреннем пространстве.
При вмешательстве в эти процессы модель может сохранять способность отвечать на простые вопросы, но хуже справляется со сложными задачами, требующими последовательного анализа.
Это позволяет предположить, что найденные внутренние представления действительно участвуют в работе модели, а не являются случайным побочным эффектом.
Почему это важно для будущего ИИ?
Главное значение исследования — не в вопросе «стал ли ИИ похож на человека». Гораздо важнее другое: мы начинаем переходить от изучения того, что делает ИИ, к изучению как именно он это делает.
Если такие методы будут развиваться, они могут помочь:
- находить скрытые ошибки моделей;
- лучше понимать причины неожиданных ответов;
- создавать более надежные и безопасные системы;
- контролировать поведение мощных ИИ-моделей.
Новость о том, что ученые нашли внутри Claude «скрытое пространство мыслей», звучит как научная фантастика.
Но реальный смысл исследования гораздо интереснее. Anthropic не обнаружил сознание у ИИ. Он показал, что современные модели имеют сложную внутреннюю структуру, которую можно исследовать.
И, возможно, один из главных вызовов следующего этапа развития искусственного интеллекта — не только создавать более умные модели, но и научиться понимать, что происходит внутри них.
Пожалуйста, поддержите меня, поставьте лайк! 🙏
Представьте, что каждый новый факт, который вы узнаете, стирает часть старых воспоминаний. Звучит неудобно. Но именно с такой проблемой до сих пор сталкиваются многие системы искусственного интеллекта. Человеческий мозг каким-то образом умеет учиться всю жизнь, не перезаписывая себя заново. Новое исследование ученых Нью-Йоркского университета показ…
Каждый новый отчет о влиянии ИИ на рынок труда обычно повторяет уже знакомый набор тезисов: одни профессии исчезнут, другие появятся, людям придется переучиваться, а человеческие навыки станут важнее. Свежий отчет PwC, основанный на анализе более миллиарда вакансий, показывает гораздо более интересную картину. Это уже происходящие изменения; и они…
Когда говорят о влиянии благосостояния на развитие детей, многие представляют недостаток образования, книг или возможностей для обучения. Но недавнее крупнейшее исследование детского мозга показало неожиданную картину. Следы социально-экономического неблагополучия обнаружились не в областях, отвечающих за интеллект и сложное мышление. Они оказались…