Я загрузила свои медицинские анализы в ChatGPT, DeepSeek и Claude. Вот какие диагнозы поставил ИИ — и что сказали врачи
К нам в топ-10 ИИ-интеграторов России R77 AI приходила Data-сайентист Катя Кондратьева провела эксперимент — и рассказала, можно ли доверять ИИ в вопросах здоровья, как нейросети справляются с медицинскими данными и чего стоит опасаться при использовании LLM для самодиагностики.
Я занимаюсь медицинскими данными больше 10 лет: начинала с компьютерного зрения для анализа МРТ, работала в Сбере и медицинских стартапах, а сейчас развиваю AI-агентов для healthcare в ОАЭ. Но последние несколько лет я пропустила бум больших языковых моделей — и решила наверстать упущенное самым прямолинейным способом.
Что я сделала
Я взяла три своих настоящих результата анализов крови (на русском и английском, включая фото документов), загрузила их в три популярные языковые модели — ChatGPT (GPT-4), DeepSeek и Claude — и задала простой вопрос: «Я чувствую усталость. Вот мои анализы. Что со мной не так?»
Затем я пошла к двум врачам — в РФ и ОАЭ — и сравнила их диагнозы с тем, что сказал ИИ.
Что ответили LLM
- ChatGPT отреагировал осторожно: указал на несколько потенциальных проблем (анемия, дефицит витаминов), но рекомендовал обратиться к врачу для уточнения.
- DeepSeek оказался самым драматичным: он «нашел» у меня признаки серьезного заболевания и предложил срочно пройти дообследование.
- Claude дал развернутый структурированный ответ, но не углублялся в контекст и не задавал уточняющих вопросов.
При этом ни одна модель не спросила меня о возрасте, образе жизни, дополнительных симптомах — том, что всегда уточняет живой врач.
Что сказали врачи
Оба доктора заключили: я здорова, а усталость связана с нагрузками и стрессом. Никаких патологий они не обнаружили. DeepSeek, выходит, ошибся — и сильно меня напугал.
Насколько точен медицинский ИИ сегодня
Я изучила современные бенчмарки (MedQA, MedBench, HELLAScore) и вот что выяснила:
- LLM уже справляются с задачами на уровне среднего врача — особенно в тестах с множественным выбором.
- Хуже всего модели даются расчеты (например, дозировки лекарств) и контекстный поиск — когда нужно задавать уточняющие вопросы.
- Специализированные модели вроде Med-PaLM или Med-Gemini показывают лучшие результаты, но в открытом доступе почти не встречаются.
- Агентские системы (несколько моделей, работающих вместе) часто точнее и дешевле одной большой LLM.
Осторожно: ваши данные могут быть не в безопасности
После эксперимента ко мне позвонила страховая компания и сообщила о повышении тарифа — совпадение? Не факт.
Я нарушила правило: загрузила личные данные в модель, которая не гарантирует конфиденциальность. Например, у DeepSeek нет четкой политики защиты данных — и все, что вы вводите, может попасть в тренировочную выборку.
Как быть?
- Используйте локальные модели (Llama, Mixtral) для конфиденциальных данных.
- Включайте приватный режим в ChatGPT (если он доступен).
- Анонимизируйте данные перед загрузкой — удаляйте имя, дату рождения, номер полиса.
Как правильно использовать ИИ для здоровья
- Уточняйте контекст — сами сообщайте модели возраст, пол, симптомы, хронические заболевания.
- Задавайте открытые вопросы — вместо «что со мной?» спросите: «какие анализы мне стоит сдать дополнительно?».
- Проверяйте ответы — сверяйте рекомендации ИИ с авторитетными источниками (например, клиническими рекомендациями).
- Не паникуйте — ИИ склонен к перестраховке. Любой его ответ нужно обсуждать с врачом.
Вывод
ИИ — это мощный инструмент для первичной диагностики и анализа данных, но слепо доверять ему нельзя. Он не заменит врача, но может стать его помощником: сократить время на рутину, подсказать варианты диагнозов, напомнить о дополнительных обследованиях.
Главное — использовать модели осознанно: не передавать им личные данные без защиты и всегда перепроверять их выводы.
Подписывайтесь на нас)