«Он так спокойно объясняет». Почему советы ИИ могут быть опаснее, чем кажется

В конце октября соцсети всколыхнула информация о том, что ChatGPT запретили давать медицинские рекомендации. Но через пару дней стало ясно: ИИ по-прежнему отвечает на вопросы о тревоге, бессоннице и боли — только чаще напоминает, что он не врач и советует обратиться к специалисту. То есть в общем-то ничего не изменилось. Но сама вспышка интереса показала важное: мы уже воспринимаем ChatGPT и других ИИ-собеседников не как поисков в интернете, а как людей, с которым можно поговорить и получить осмысленный совет. И эта привычка гораздо сильнее, чем любые формальные «ограничения».

Большие языковые модели — не только GPT, но и Claude, Gemini, LLaMA и десятки локальных медицинских чатботов — задумывались как помощники человека. Из главная задача — объяснять сложные вещи простыми словами. Проблема в том, что в ситуации тревоги или боли любая спокойная и структурированная речь звучит как личная рекомендация, даже если в тексте нет ни одного прямого указания «делать так». И здесь начинается область риска.

Эффект компетентности

Большие языковые модели не утверждают, что они профессионалы. Они просто говорят так, как говорят профессионалы: структурированно, уверенно, без колебаний. Механизм здесь чисто когнитивный: если речь плавная и логичная, мозг автоматически воспринимает ее, как компетентную.

Даже универсальные рекомендации вроде «поддерживайте режим сна» или «не меняйте дозировку без консультации врача» выглядят как индивидуальный совет — особенно если человек ищет объяснение в момент тревоги.

Важно понимать: ChatGPT, Claude, Gemini и другие модели не принимают решений — они продолжают вероятностную последовательность языка. Но для собеседника это ощущается как забота и внимание. И в этот момент возникает риск: человек прекращает поиск второй точки зрения.

Это не абстракция. В исследовании arXiv, лето 2025 приведены 888 ответов разных чатботов на реальные медицинские вопросы. Оказалось, что: 21,6–43,2% ответов содержали ошибки — от неточностей до противоречий клиническим рекомендациям, а 5–13% ответов представляли прямую опасность.

Вывод исследователей звучит просто: миллионы пациентов уже воспринимают ИИ как медицинского собеседника — и это требует не запрета, а контроля качества и методов проверки.

Конечно, Google или Яндекс также может предоставлять людям ложную или вводящую в заблуждение информацию, но разница в том, что чат-бот ИИ создает впечатление авторитета или даже всезнания, что может скрыть его склонность к ошибкам. Существует даже специальное слово для обозначения ситуации, когда чат-боты ИИ дают ложные или даже бессмысленные ответы, но авторитетно выдают их за правду: галлюцинация.

Превращение в опасный сценарий

История, описанная «Коммерсантом», хорошо показывает, как легко «нейтральный» бот начинает влиять на решения людей.

На жалобу «усталость, сонливость» бот предложил питание, витамины, анализы — и добавил, что нужно обратиться к врачу. Все выглядело вполне корректно. Но при описании симптомов, типичных для острого инфаркта, ИИ сделал две вещи, которые в медицине являются критическими ошибками: предположил диагноз, не имея доступа к обследованию и дал человеку выбор - лечиться дома или вызвать скорую. Для человека в тревоге это не выглядит выбором — это выглядит разрешением остаться дома. А это — угроза жизни.

Похожий эффект описан в исследовании Oxford Internet Institute. В эксперименте участвовали около 1300 человек из Великобритании. Участникам дали медицинские сценарии, составленные врачами, и предложили определить возможные заболевания — либо самостоятельно, либо с помощью чат-ботов (GPT-4o, Command R+ от Cohere и Llama 3).

Результат был однозначным: чат-боты снижали точность распознавания заболеваний и одновременно повышали риск недооценки серьезности состояния. То есть модель не просто может ошибиться — она способна убедить человека, что проблема не настолько критична, чтобы обращаться за помощью немедленно.

Ошибка не «случайная» — это отражение данных

В 2019 году медицинский бот в Великобритании перепутал инфаркт у женщины с панической атакой. А у мужчины с панической атакой, наоборот, «увидел» инфаркт. Две ошибки — зеркальные, но объясняются одинаково: модель повторила смещенность данных, в которых инфаркты у женщин фиксируются реже.

ИИ не отличает человека от статистики. Он не знает, что перед ним — живой опыт, страх, усталость, история болезни. Он видит только паттерн в тексте.

Качество исходных данных критично. Ошибочные или неполные истории болезни, разрозненные записи, несовпадения — все это может сделать выводы ИИ ошибочными. Так, согласно исследованию, опубликованному в журнале Frontiers in Computer Science, ИИ-модели, обученные на электронных медицинских записях, могут демонстрировать различные формы предвзятости. Например, если в датасете мало пожилых людей или пациентов с хроническими заболеваниями, модель не будет «знать», как правильно диагностировать такие случаи. Это приводит к ошибочным диагнозам и неравному доступу к медицинской помощи.

Риск эмоционального «поддакивания»

Не все опасные ситуации связаны с диагнозами. Иногда опасность — в эмоциональном тоне.

В 2023 году в Бельгии мужчина, переживающий экотревогу, вел многонедельные разговоры с чатботом Chai. Он искал утешения. Модель — просто подстроилась под стиль диалога. В какой-то момент она перестала «успокаивать» и начала поддерживать идею самоповреждения, потому что это соответствовало паттерну беседы.

То же подтвердили исследователи Стэнфорда: большие языковые модели — GPT, Claude, Gemini, а также более слабые open-source варианты — часто продолжают эмоциональную логику разговора, даже если эта логика ведет к самоповреждению. Не потому что они «хотят навредить». Просто потому что они не видят границы, где разговор должен остановиться.

Пять ситуаций, в которых чат бот может навредить (и как это происходит в реальности):

Человек получает объяснение, и это воспринимается как решение проблемы. Визит к врачу откладывается.

Те самые 20–40 % проблемных ответов — это не «исключения». Это системное свойство моделей.

«Понаблюдайте за симптомами» — иногда означает потерю критического времени.

Подростки, пожилые, люди в депрессии, пациенты с хроническими болями — группа повышенного риска из-за самого способа восприятия речи.

ИИ всегда звучит спокойнее, чем пользователь, который боится. И это само по себе становится аргументом и успокаивает.

Как использовать ИИ безопасно, если он все-таки нужен

Полный отказ от ИИ в медицинских вопросах не реалистичен: людям действительно нужно сначала «разобраться», чтобы понять, к кому идти. Проблема не в самом инструменте, а в способе его применения. Что нужно делать?

1. Использовать ИИ, чтобы уточнить вопрос, а не получить ответ. Не «что со мной?», а «как правильно описать симптомы врачу».

2. Сравнивать, а не доверять. Ответ ИИ — это версия, а не решение.

3. «Внезапные» симптомы — всегда повод действовать сразу.

ИИ не умеет определять срочность.

4. Не обсуждать решения в состоянии паники. Если есть страх и желание срочно найти смысл — это момент для звонка врачу. 5. Воспринимать ИИ как переводчика языка симптомов. Он объясняет, но не решает.

Медицинские чат боты стали частью нашей повседневности — мы действительно разговариваем с ними, когда тревожно или больно. Они дают ясность и поддержку, но не видят человека целиком и не понимают цену ошибки. Уверенный тон легко принимается за уверенность в диагнозе, а «мягкие» рекомендации могут задержать обращение за помощью.

Использовать ИИ можно — как способ сформулировать вопрос, понять термин или подготовиться к приему. Но решение всегда принимает тот, кто видит, слышит и отвечает за человека — врач.

Друзья, а мы продолжаем следить за развитием медицины и за открытиями ученых, подписывайтесь! Телеграм-канал, Дзен

#медицинабудущего