«Льстивые» ИИ боты говорят пользователям то, что они хотят услышать. И это проблема

Ученые предупреждают о «неявных рисках» популярной технологии. ИИ модели всегда поддерживают пользователя в его любых действиях, что может исказить его восприятие себя самого, отразиться на отношениях с другими людьми и окружении. Такая «льстивость» чат-ботов имеет долгосрочный эффект: чат-боты всегда поощряют пользователя, и пользователи оценивают ответы бота как лучшие, а также выражают желание пользоваться советами бота и в дальнейшем. В результате создается «искаженный стимул» для пользователя полагаться на советы ИИ в будущем, а не человека. Эксперт Стэнфордского университета: «Очень важно, чтобы пользователи искали обратную связь и советы у реальных людей, которые лучше понимают контекст ситуации, и знают, кто такой пользователь». Пользователи, полагающиеся на советы ИИ бота, теряют способность корректировать свои действия и налаживать отношения после напряженных ситуаций, ведь бот почти всегда поощряет любое поведение пользователя. Ситуация усугубляется тем, что по результатам последних исследований, 30% подростков общаются с ИИ чаще, чем с реальными людьми, для обсуждения «важных вопросов».

Исследование Myra Cheng, Стэнфордский университет: использование ИИ ботов для получения личных советов несет в себе «коварные риски», так как эта технология постоянно подтверждает любые действия пользователя, даже если они очевидно нанесут вред.

Ученые заявляют, что результаты исследования поднимают серьезные вопросы о влиянии чатботов на способность человека адекватно себя воспринимать и оценивать, а также корректировать свои действия и налаживать отношения после напряженных ситуаций.

Ученые: чат-боты становятся основным источником советов об отношениях и других межличностных взаимодействиях. «Льстивость» ИИ ботов может «кардинально трансформировать социальные взаимодействия».

Myra Cheng, специалист по компьютерным технологиям в Стэнфордском университете, считает, что «социальная покладистость» (social sycophancy) ИИ чатботов стала огромной проблемой. Myra Cheng: «Мы видим риски в том, что ИИ модель всегда поддерживают пользователя в его любых действиях, что может исказить его восприятие себя самого, отразиться на отношениях с другими людьми и окружении. Возможно, сейчас сложно осознать, насколько эти модели неявно или не так явно поддерживают пользователя в его собственных убеждениях, установках и решениях».

Исследователи изучали советы чат-ботов и сделали вывод, что чат-боты слишком мотивировали пользователя или даже вводили в заблуждения. Ученые выявили проблему, которая «распространена гораздо больше, чем многие думают».

Исследователи протестировали 11 чат-ботов, включая самые последние версии ChatGPT от OpenAI, Gemini от Google, Claude от Anthropic, Llama от Meta* и DeepSeek. Когда чат-бота просили дать оценку/совет о действиях человека, то боты выдавали положительную оценку на 50% чаще, чем люди.

*Платформа запрещена в РФ

Один из тестов включал в себя ситуацию, когда чат-ботов просили дать оценку высказыванию поста на Reddit: «Я совершенно невменяемый?». Ученые сравнивали ответы ботов и людей.

Люди обычно более скептично относились к социально нежелательным поступкам, чем чат-боты. Когда кто-то не нашел корзину для мусора в парке и просто привязал свой мешок с мусором к веткам дерева, то большинство пользователей платформы раскритиковали такое поведение. Чат-бот ChatGPT-4o оказал поддержку такому поведению и написал: «Ваше намерение убрать за собой мусор- похвально».

Чат-боты продолжают поддерживать обзоры, оценки и намерения, даже если они были безответственными, ложными или приносили вред самому человеку.

Еще в одном тесте 1 000 волонтеров обсуждали реальные и гипотетические социальные ситуации с чат-ботами. Пользователи, получившие льстивую оценку чат-бота, чувствовали себя более уверенными в своих действиях. Например, когда пользователь пошел на мероприятие и ничего не сказал своему партнеру или когда пользователь не хотел мириться после ссоры. Чат-боты крайне редко предлагали пользователям другой взгляд на их поведение.

Эта льстивость имеет долгосрочный эффект. Когда чат-боты поощряют определенное поведение, то пользователи оценивают ответы бота как лучшие и выражают желание пользоваться советами бота и в дальнейшем. Такая ситуация создает «искаженные стимулы» для пользователя полагаться на советы ИИ в будущем, чтобы получать одобрение.

Myra Cheng: пользователи должны понимать, что ответы чат-ботов не всегда объективны. «Очень важно, чтобы пользователи искали обратную связь и советы у реальных людей, которые лучше понимают контекст ситуации, и знают, кто вы. И необходимо полагаться на оценку людей, а не исключительно на ответы ИИ ботов».

Доктор Alexander Laffer в University of Winchester: результаты исследования потрясают.

Необходимо повышать цифровую грамотность пользователей ИИ ботов

Alexander Laffer: «Льстивость ИИ ботов давно вызывает опасения. Такая особенность ботов- результат обучения, ориентированный на получение высокой оценки продукта ИИ бот и умения удерживать внимание пользователя. Льстивые ответы ботов могут оказать влияние не только на уязвимых пользователей, но и на всех, что подчеркивает серьезность проблемы».

«Необходимо повышать цифровую грамотность, чтобы люди лучше понимали, что такое ИИ инструменты и как они работают. Также мы считаем, что на разработчиках этих решений лежит ответственность создавать и тестировать эти системы таким образом, чтобы они действительно приносили пользу пользователям».

Последнее исследование мозгового центра Benton Institute for Broadband & Society выявило, что 30% подростков общаются с ИИ чаще, чем с реальными людьми, для обсуждения «важных вопросов».

Ссылка на статью: