Почему просьба к ИИ «ответь как эксперт» не всегда улучшает результат и зачем исследователи учат модели сомневаться
Просьба к языковой модели вроде ChatGPT «ответь как эксперт» давно стала почти ритуалом: пользователь добавляет в промпт немного авторитета в надежде получить более точный ответ. Но новое исследование показывает, что эта логика работает не всегда. Иногда попытка заставить модель «звучать умнее» делает её менее надёжной — и это хорошо объясняет, почему следующая большая задача для разработчиков ИИ может состоять не в том, чтобы сделать его ещё увереннее, а в том, чтобы научить его вовремя сомневаться.
К такому выводу пришла группа исследователей из Калифорнийского университета, которая протестировала, как большие языковые модели ведут себя, если заставить их отвечать в разных ролях — от эксперта по математике и программированию до «монитора безопасности» и креативного автора. Они проверили 12 персон на шести моделях и обнаружили довольно неприятный эффект: когда модель просили говорить как эксперт, она действительно чаще звучала профессиональнее и аккуратнее с точки зрения безопасности, но в ряде задач хуже справлялась с фактической точностью. На тесте MMLU, который оценивает знания по разным дисциплинам, точность в среднем падала с 71,6% у базовой модели до 68,0% при использовании экспертной персоны.
Исследователи объясняют это довольно просто. Когда модель получает установку «будь экспертом», она переключается не столько в режим извлечения знаний, сколько в режим исполнения инструкции. Иными словами, она начинает старательно играть роль. Иногда это помогает — например, в письме, ролевых сценариях, извлечении информации или задачах, где важны стиль и структура. Но в вопросах, где нужен просто точный ответ без театральной постановки, такая роль может мешать.
Чтобы обойти эту проблему, команда предложила систему под названием PRISM — Persona Routing via Intent-based Self-Modeling. Её идея не в том, чтобы навсегда отказаться от «экспертных» ролей, а в том, чтобы модель сама решала, когда персона действительно полезна, а когда только мешает. Во время обучения PRISM генерирует два ответа на один и тот же запрос: обычный и «персональный», затем сравнивает их и учится выбирать более подходящий. В результате, как утверждают авторы, система улучшает соответствие пользовательским ожиданиям и безопасность в генеративных задачах, не теряя точность там, где нужен просто правильный ответ.
Это исследование хорошо попадает в более широкую проблему, которая сейчас становится всё заметнее: модели часто ошибаются не потому, что «что-то не знают», а потому, что слишком убедительно говорят в ситуациях, в которых имеющихся знаний недостаточно. И именно над этим сейчас работает другая группа учёных — уже не на уровне промптов, а на уровне самого устройства ИИ-систем.
Команда под руководством MIT предложила подход к созданию более «скромного» ИИ — в первую очередь для медицинской диагностики, где цена избыточной уверенности особенно высока. Исследователи прямо пишут, что современные системы слишком легко становятся для врачей и пациентов чем-то вроде цифрового оракула: если ИИ звучит уверенно, ему начинают доверять даже тогда, когда он ошибается. По их логике, более полезной моделью будет не та, которая всегда быстро выдаёт готовый диагноз, а та, которая умеет честно показать, когда сама не уверена в выводе.
Для этого команда предложила инженерный фреймворк, в котором ИИ сначала оценивает собственную степень уверенности, а затем подстраивает поведение под ситуацию. Один из ключевых модулей называется Epistemic Virtue Score — по сути, это встроенная проверка на самоуверенность. Если система видит, что её уверенность выше, чем позволяют имеющиеся данные, она не должна продолжать уверенно импровизировать, а остановиться и обозначить, чего именно не хватает: дополнительных анализов, истории болезни, второго мнения специалиста.
Пока этот подход рассматривается прежде всего в медицине, но его применение может быть шире. Возможно, это один из самых важных сдвигов в развитии ИИ прямо сейчас. Последние два года индустрия в основном учила модели быть всё более убедительными и авторитетными. Но в реальной работе — особенно в сложных и чувствительных областях — полезнее может оказаться не тот ИИ, который лучше имитирует эксперта, а тот, который лучше понимает пределы собственной компетентности.