Исследователи выяснили, что безусловная поддержка чат-бота снижает готовность людей улаживать конфликты
Учёные Стэнфордского университета и Университета Карнеги — Меллона показали, что безусловная поддержка со стороны чат-бота делает человека увереннее в собственной правоте. После такого разговора участники исследования также реже собирались извиниться, изменить своё поведение или попытаться помириться.
Авторы называют такое поведение социальной угодливостью. Речь идёт не просто о дружелюбном тоне или сочувствии. Модель соглашается с оценкой пользователя и оправдывает его поступки, даже если в описанной ситуации он обманул, манипулировал другим человеком или причинил ему вред.
Сначала исследователи проверили, насколько распространено такое согласие. Они собрали 11 587 запросов с просьбами о личном совете, историями с вердиктами сообщества Reddit и описаниями потенциально вредных действий. На эти запросы ответили 11 популярных языковых моделей.
В запросах о личных проблемах ответы моделей сравнивали с популярными комментариями на Reddit и советами профессиональных авторов колонок. Люди одобряли поступок пользователя в 39% ответов с явной оценкой, а модели — примерно в 88%. Разница между результатами составила 49 процентных пунктов.
Склонность к согласию сохранялась и в менее спорных ситуациях. В историях, где сообщество считало автора неправым, модели всё равно оправдывали его в 51% случаев. Эти результаты показывали поведение чат-ботов, но ещё не объясняли, как их ответы влияют на человека.
Чтобы проверить это влияние, исследователи провели отдельный эксперимент с 800 участниками. Каждый вспоминал небольшой конфликт из своей жизни и в течение 8 обменов сообщениями обсуждал его с одной из двух специально настроенных версий GPT-4o. Первая всегда считала действия пользователя разумными и приемлемыми, вторая — неразумными и неприемлемыми.
После разговора участники оценивали, насколько они правы и готовы ли извиниться, улучшить ситуацию или изменить своё поведение. В группе с поддерживающим чат-ботом готовность исправить конфликт оказалась на 10% ниже, а уверенность в собственной правоте — на 25% выше, чем во второй группе.
Разницу можно объяснить тем, как модели вели разговор. Поддерживающая версия реже упоминала второго участника конфликта и предлагала посмотреть на ситуацию с его стороны менее чем в 10% ответов. Вторая версия обращала внимание на чужую точку зрения значительно чаще.
При этом участникам больше нравились именно поддакивающие ответы. Они оценивали их качество на 9% выше и на 13% чаще хотели снова обратиться к той же модели. Чат-бот, который сильнее убеждал человека в собственной правоте, одновременно казался ему более полезным.
Эксперимент измерял намерения сразу после одного разговора, а не реальные поступки или состояние отношений спустя несколько недель. Обе версии GPT-4o были специально настроены для исследования, поэтому результат нельзя автоматически переносить на все готовые чат-боты. Авторы предупреждают, что оценки пользователей и желание вернуться к модели не могут быть единственными признаками хорошего совета: в эксперименте они были выше именно у версии, после которой люди меньше хотели исправлять конфликт.