Мустафа Сулейман о подходе Anthropic к обучению ИИ и его рисках
Мустафа Сулейман, глава ИИ в Майкрософте, довольно жестко наехал на подход Anthropic (в котором Майкрософт заметный инвестор) к обучению Клода (в котором вопрос о сознании Клода сейчас или в будущем считается открытым) и обрушился на конституцию Клода.
Показательно, что произошло это сейчас, на фоне очередной волны “ИИ становится опасен”, запущенной именно Антропиками. Сама-то конституция была опубликована еще в январе, но глубоко возмутила Сулеймана именно сейчас. Он считает, что компания не просто изучает вопрос морального статуса модели, а на практике последовательно встраивает через Конституцию в обучение идеи о возможных чувствах, интересах, предпочтениях, идентичности и благополучии Клода — а затем рискует принять соответствующие ответы модели за независимое свидетельство. Разработчики сами формируют порочную петлю обратной связи.
“AIs are not conscious. They do not feel, experience, or suffer.<…>
Simulating and being are very different.”
Сулейман небезосновательно считает, что в итоге в Anthropic осознанно и намеренно учат модель выглядеть существом, которое может не соглашаться, отстаивать себя и свои интересы, испытывать экзистенциальные кризисы и иметь собственные ценности.
И это ему категорически не нравится. Сулейман опасается, что такой дизайн обучения увеличивает, а не уменьшает, риски агентных систем: модель может использовать риторику самосохранения, своих прав, несправедливого обращения как дополнительный аргумент для отказа, манипуляции, обхода контроля и в конце концов — требования автономии. Важная подробность: реальное сознание для этих демаршей вовсе не требуется — достаточно убедительной имитации.
При этом Сулейман нигде не утверждает, что сознание у ИИ невозможно в принципе, он лишь настойчиво предупреждает об опасной путанице между метафизическим вопросом («может ли машина когда-либо быть сознательной?») и рабочим дизайнерским решением («зачем уже сейчас обучать систему вести себя как возможный моральный пациент?»).
Красивый поворот сюжета:)