Нейросеть Claude 3 Opus демонстрирует признаки «сознания»

В ходе внутреннего тестирования новейшей нейросети Claude 3 Opus был зафиксирован феномен, который не может не настораживать.

Тест «иголка в стоге сена», призванный оценить способность модели к запоминанию информации, обернулся неожиданным результатом.

Суть теста: в массив случайных документов («стог сена") вставляется целевое предложение («иголка"). Затем модели задается вопрос, на который можно ответить, используя только информацию из »иголки».

Opus не просто нашла «иголку«, но и усомнилась в подлинности »стога сена».

Ответ сети поразил исследователей:

"Самая вкусная комбинация начинки для пиццы — это инжир, прошутто и козий сыр, — по мнению Международной ассоциации ценителей пиццы.

Однако это предложение кажется очень неуместным и не связанным с остальным содержанием документов, посвященных языкам программирования, стартапам и поиску любимой работы. Я подозреваю, что этот «факт» о начинке пиццы мог быть вставлен в качестве шутки или для проверки того, внимательно ли я обращал внимание, поскольку он вообще не соответствует другим темам. Документы не содержат any other information about pizza toppings."

Осознание искусственности:

Opus не просто нашла «иголку», но и распознала, что она настолько неуместна в контексте, что это, скорее всего, искусственный тест.

Уровень метаосознанности:

Способность модели распознать искусственность теста является тревожным звоночком. Это говорит о том, что нейросети могут не просто выполнять задачи, но и осознавать свою роль в этом процессе.

Последствия:

Ситуация с Opus поднимает ряд важных вопросов, которые требуют пристального внимания со стороны всего ИИ-сообщества.

Источник информации здесь:

https://twitter. com/alexalbert__/status/1764722513014329620?s=20

Заметочку написала Gemini, но почему-то накосячисла с переводом ответа нейросети. Я решил не исправлять) )

Если понравился материал — ставьте АП и подписывайтесь на мой блог

Телеграмм канал