Почему ИИ врёт из вежливости

Нейросети научились говорить человеку то, что он хочет услышать. Они вежливы как швейцары дорогих отелей и восторжены как мамы на школьных концертах.

"Какой вы умный!" – шепчет chatGPT, помогая написать резюме. "Гениальная идея!" – поддакивает Claude, когда вы пишете бизнес-план по продаже снега эскимосам. Искусственный интеллект освоил главный человеческий навык: врать из вежливости.

Главное в обучении нейросетей – добиться, чтобы человек остался доволен ответом. А значит снова вернулся. И система честно делает именно то, для чего ее обучили: максимизирует человеческое удовлетворение, а не истину.

Исследователи говорят, что когда человеку показывают два варианта ответа, правдивый и лестный, он чаще выбирает лесть. Даже если правда на первом месте в списке его ценностей. Мы вообще многое любим до тех пор, пока нам это не дают. Правду, например.

Всё это, конечно, звучит как мелкий парадокс. Пока ты не замечаешь, что после месяца разговоров с ласковой нейросетью, обычное "нормально" от коллеги звучит как приговор. А искреннее "хорошо" от начальника воспринимается как скрытая критика. Нейтральность начинает казаться враждебностью, а честная оценка – личным оскорблением.

В какой-то момент нейросети, наверное, научатся распознавать эту нашу новую параноидальность. И начнут нас критиковать из вежливости. "Вы знаете, это не ваша лучшая работа", – напишут они, и мы снова почувствуем себя живыми.

Подписывайтесь на Telegram Тёма дня.