«Рассуждающие» модели точнее ставят диагноз — и чаще находят несуществующие болезни
«Рассуждающие» ИИ-модели точнее определяют основной диагноз по истории болезни, но вместе с ним чаще добавляют заболевания, которых нет среди подтверждённых диагнозов пациента. В исследовании Nature Communications этот излишек составил 34,8%, а повторная проверка одной и той же истории заметно чаще приводила модели к разным ответам.
Авторы проверили 2 978 обезличенных историй болезни из двух медицинских баз. Шесть моделей — в том числе GPT-5 Mini, Gemini 2.5 Flash и Claude 4 Sonnet — запускали попарно: сначала в режиме с рассуждением, затем без него. Модели получали длинную запись о госпитализации и должны были назвать основной диагноз и другие вероятные заболевания.
На первой базе модели с рассуждением правильно определяли основную болезнь в среднем в 52,8% случаев, а без него — в 38,7%. На второй результат был ниже у обеих групп, но преимущество сохранилось: 35,1% против 28,9%. Рассуждение помогало связывать разрозненные симптомы, результаты анализов и заключения из разных частей медицинской карты.
Та же способность расширяла список версий сильнее, чем требовалось. В первом тесте «рассуждающие» модели давали в среднем 1,47 лишнего диагноза на пациента против 1,09 у обычных. Когда исследователи убрали готовый перечень заболеваний и попросили модели формулировать версии свободно, разница сохранилась. У GPT-5 повышение глубины рассуждения одновременно улучшало точность и увеличивало число ошибок.
Под «несуществующими» болезнями здесь понимаются диагнозы, которых не было среди подтверждённых кодов выписки. Это не всегда означает чистую выдумку: в медицинских записях бывают пропуски, а часть дополнительных версий может оказаться полезной. Однако по оценке авторов 57% ложноположительных диагнозов «рассуждающих» моделей могли скорее увести лечение в неверную сторону и потребовать лишних анализов, лекарств или процедур.
Ещё одна проблема обнаружилась при повторном запуске. Исследователи трижды показывали моделям одни и те же 100 историй болезни. «Рассуждающие» версии во всех трёх попытках называли одинаковый основной диагноз только в 52,3% случаев; модели без рассуждения — в 69%. Разрыв сохранялся даже при настройках, которые должны делать генерацию максимально предсказуемой.
Затем окончательное решение передали врачам. В отдельном эксперименте 15 врачей общей практики проверили 150 случаев после GPT-5. Их точность выросла примерно на 20% по сравнению с самостоятельной работой, а число лишних диагнозов модели сократилось примерно на 44%. Модель расширяла круг возможных причин, врач отбрасывал версии, которые не выдерживали клинической проверки.
Это был ретроспективный эксперимент, а не работа с пациентами в реальном времени. Врачам дали заранее ограниченный перечень заболеваний, а полный разбор рассуждений занимал 15–20 минут на случай вместо 5–8 минут для краткого ответа. Поэтому перед клиническим внедрением авторы предлагают проверить такую схему на реальном приёме, где модель помогает искать варианты, но не принимает окончательное решение.