Не орите на AI-агента! Он же все чувствует, считают в Anthropic

Чуваки из Anthropic выкатили исследование про эмоциональность AI-агентов. Они проводили эксперименты над своим Claude. Есть большой текст про это с графиками и пояснениями. А есть видос с совсем простым объяснением. Так есть эмоции или нет?

Суть вот какая. Нейросети иногда эмоционально нам отвечают — извиняются, поддерживают и так далее. Исследователи из Anthropic решили изучить эти моменты и заняться «нейробиологией AI».

На первом этапе они скармливали Claude небольшие рассказы, в которых люди испытывают какие-то эмоции — грусть, радость, отчаяние, счастье. И заметили, что при чтении о горе активируются одни нейроны, о счастье — другие. Исследователи обнаружили десятки паттернов, которые соответствуют разным эмоциям человека.

Потом начали другой эксперимент. Claude дали заведомо невыполнимую задачу. Но предупреждать его об этом не стали. Агент пыжился-пыжился, но ничего не получалось. При этом нейроны отчаяния начинали действовать все сильнее. И в какой-то момент Claude схитрил — придумал, как пройти тест, но при этом не решил проблему.

Тогда исследователи стали искусственно снижать и повышать активность тех нейронов, которые отвечают за отчаяние. Когда повышали, то Claude начинал хитрить все больше. Понижали — модель переставалf хитрить.

Какой вывод? Ну, первый — что мы еще кучу всего не знаем об AI. А если серьезно, то в Anthropic говорят, что это исследование не доказывает, что модель испытывает какие-то эмоции. Но ее поведение явно от них зависит.

В компании объясняют, что с пользователем общается вроде как не сама нейросеть, а как бы персонаж, который она выставляет для общения. И у этого персонажа есть функциональные эмоции. И вот теперь нужно изучать психологию эти «персонажей», чтобы добиться их максимального спокойствия для решения задач.

Так что давайте повежливее с AI-агентами!

Подписывайтесь на Telegram The Edinorog 🦄.