ChatGPT превзошел врачей в диагностике
** Еще больше интересного в моем канале продуктовые штучки**
Причем с серьезным отрывом. Предсказуемо? И да, и нет, ведь врачи могли пользоваться ChatGPT. Читайте, как (и главное — почему) это произошло.
Врачи, которым был предоставлен ChatGPT-4 вместе с обычными ресурсами, показали результаты лишь немного лучше, чем врачи, у которых не было доступа к чат-боту. К удивлению исследователей, ChatGPT превзошел врачей.
Чат-бот от компании OpenAI получил 90% правильных ответов при диагностике заболевания. Врачи, которым случайным образом было назначено использовать чат-бот, получили средний балл 76%. Против 74% у тех, кому случайным образом было назначено не использовать ChatGPT.
Почему так произошло?
Исследование продемонстировало непоколебимую веру врачей в поставленный ими диагноз.
Автор исследования, доктор Родман, решил просмотреть журналы сообщений между врачами и ChatGPT. Оказывается, врачи не слушали чат-бота, когда он указывал на что-то, что противоречило их диагнозам, и были привязаны к своему собственному представлению о правильном диагнозе.
Но была и другая проблема: многие врачи не знали, как использовать чат-бота в полной мере. Исследование продемонстрировало, что, хотя врачи используют ИИ инструменты в своей работе, и немногие знают, как максимизмировать использование возможностей чат-ботов.
Врачи относились к чату как к поисковой системе для ответов на вопросов: «Является ли цирроз фактором риска рака? Каковы возможные диагнозы глазной боли?». Лишь часть врачей поняла, что они могут буквально скопировать и вставить всю историю болезни в чат-бот и просто попросить его дать исчерпывающий ответ.
В результате они не смогли воспользоваться способностью ИИ систем решать сложные диагностические задачи. Похоже, предстоит пройти долгий путь, прежде чем этот потенциал будет реализован.
Как проводился эксперимент?
В эксперименте приняли участие 50 врачей, ординаторы и лечащие врачи из нескольких крупных американских больничных сетей, результаты были опубликованы недавно в журнале JAMA Network Open.
Испытуемым было предоставлено шесть историй болезни, они оценивались по их способности предлагать диагнозы и объяснять, почему они их поддерживают или исключают. Их оценки также включали правильность окончательного диагноза. Оценивали медицинские эксперты, которые видели только ответы, не зная, каким образом был получен этот ответ (были ли они от врача с ChatGPT, врача без него или от самого ChatGPT).
Истории болезни в исследовании были реальныхми и являются частью набора из 105 случаев, которые использовались исследователями с 1990-х годов. Случаи намеренно никогда не публиковались, чтобы студенты-медики и другие могли пройти тестирование на них без какого-либо предварительного знания. Это также означает, что ChatGPT не мог быть обучен на них.
Чтобы проиллюстрировать результаты, исследователи опубликовали один из шести кейсов вместе с ответами на вопросы от врачей, которые набрали самый высокий и низкий баллы.
По данным материала New York Times
Мне кажется, предел чата именно в базовой диагностике в ближайшие 10 лет.
Хорошие врачи учитывают не только сам диагноз при составлении лечения, но и весь анамнез, уровень жизни, психологический портрет пациента, свой опыт и т.д.
Для создания промта с учетом всех вводных нужны нереальные ресурсы и затраты.
Ну и не стоит забывать, что 10% неточных диагнозов от робота могут привести к более серьезным негативным последствиям, из-за риска самолечения людей
Мало сопоставить, надо ещё уметь собирать данные для анализа и задать нужные вопросы.
Думаю, на горизонте 5 лет врачи станут промпт-инженерами как раз. Решения они принимать не будут
Смешанные чувства от новостей от ИИ, и страшно что мы скоро вообще нужны не будем, и очень радостно за развитие