ИИ остается самоуверенным — даже когда точно знает, что неправ. Людям до этого уровня ещё далеко
Представьте: в перфоратор интегрировали ИИ. Вы говорите ему: вот такую-то стену этим буром возьмёшь на нужную глубину? ИИ: пф, легко! Вы: и проводку не перебьём? ИИ: да ни в жизнь, давай, погнали! А потом КЗ, бур вгрызся в арматуру, из стены выбит здоровый кусок.
Мораль: ИИ ошибается, но остаётся самоуверенным до изумления.
В Университете Карнеги-Меллона провели исследование, в котором попросили людей и четыре большие языковые модели (LLM) оценить уверенность в своих ответах на вопросы викторин, прогнозах исходов футбольных матчей, церемоний вручения «Оскара», а также в игре, похожей на «Крокодила».
Итог: и ИИ, и люди проявляют излишнюю уверенность в своих гипотетических результатах; но люди способны скорректировать самооценку, узнав реальные результаты.
А ИИ — нет.
Например, люди изначально заявляли, что ответят правильно на 18 вопросов, но в итоге давали 15 верных ответов. После этого они оценивали свой результат примерно в 16 правильных ответов. То есть их уверенность снижалась, хотя оставалась завышенной. С ИИ такого не происходило. Напротив, модели становились ещё более самоуверенными, даже если справлялись с задачей плохо, — рассказал психолог и социолог Трент Кэш, ведущий автор исследования.
Экстраполировать результаты на вообще все БЯМ было бы ошибкой, так как они очень быстро развиваются. Исследовали оперировали данными, собираемыми в течение двух лет с использованием постоянно обновляемых версий ChatGPT, Bard/Gemini, Sonnet и Haiku.
💬 ИИ не закатывает глаза, не хмурится и не мнётся — не подаёт сигналов неуверенности, которые мы привыкли считывать при общении с людьми.
Поэтому — здоровый скептицизм и фактчекинг, ребята!
Ну и трижды подумайте, прежде чем прислушиваться к советам ИИ при ставках на спорт 😂
Подписывайтесь на Telegram Нейрочеловек.