Чат-боты не помогают в оценке симптомов, исследование Оксфорда
Исследование: популярные чат-боты не помогают пациентам правильно оценить свои симптомы
Крупное рандомизированное исследование Оксфордского университета, с участием 1298 взрослых из Великобритании показало: чат-боты на основе больших языковых моделей (LLM) не помогают пациентам правильно оценивать свои симптомы. Полный текст исследования опубликован в Nature Medicine
В ходе исследования участники оценивали 10 реалистичных медицинских сценариев (от кровоизлияния в мозг до камней в почках), решая, насколько серьёзны симптомы и куда обратиться за помощью. Три группы использовали разные чат-боты (GPT-4o, Llama 3, Command R+), контрольная группа — обычный поиск в интернете.
Краткие итоги:
✅Чат-боты «умны» сами по себе: без людей они правильно определяли заболевание в 94.9% случаев и рекомендовали верные действия в 56.3%.
❗Но с людьми — провал: участники с чат-ботами угадывали заболевание лишь в <34.5% случаев и правильные действия — в <44.2%. Это не лучше, чем у контрольной группы (люди с обычным поиском).
Почему не работает:
• Люди не рассказывают ИИ важные детали (например, «болит живот» без уточнения локализации);
• ИИ даёт противоречивые советы: двум людям с почти одинаковыми симптомами кровоизлияния в мозг один получил совет «срочно в скорую», другой — «полежать в тёмной комнате»;
• Чат-боты перечисляют 2–3 возможных диагноза, но люди не могут выбрать правильный из них.
• Стандартные тесты обманчивы: высокие баллы на медицинских экзаменах и симуляции с «робот-пациентами» не предсказывают реальную эффективность при общении с живыми людьми.
✅Вывод
Современные чат-боты не готовы к роли «цифрового врача» для самодиагностики. Их экспертные знания не компенсируют слабости в диалоге с неподготовленным пользователем. До массового внедрения в здравоохранение необходимо обязательное тестирование с реальными людьми. Пока безопаснее полагаться на официальные источники медицинской информации или сразу обращаться к врачу при тревожных симптомах.
Подписывайтесь на Telegram Medical Ксю.