ChatGPT превзошел врачей в диагностике
** Еще больше интересного в моем канале продуктовые штучки**
Причем с серьезным отрывом. Предсказуемо? И да, и нет, ведь врачи могли пользоваться ChatGPT. Читайте, как (и главное — почему) это произошло.
Врачи, которым был предоставлен ChatGPT-4 вместе с обычными ресурсами, показали результаты лишь немного лучше, чем врачи, у которых не было доступа к чат-боту. К удивлению исследователей, ChatGPT превзошел врачей.
Чат-бот от компании OpenAI получил 90% правильных ответов при диагностике заболевания. Врачи, которым случайным образом было назначено использовать чат-бот, получили средний балл 76%. Против 74% у тех, кому случайным образом было назначено не использовать ChatGPT.
Почему так произошло?
Исследование продемонстировало непоколебимую веру врачей в поставленный ими диагноз.
Автор исследования, доктор Родман, решил просмотреть журналы сообщений между врачами и ChatGPT. Оказывается, врачи не слушали чат-бота, когда он указывал на что-то, что противоречило их диагнозам, и были привязаны к своему собственному представлению о правильном диагнозе.
Но была и другая проблема: многие врачи не знали, как использовать чат-бота в полной мере. Исследование продемонстрировало, что, хотя врачи используют ИИ инструменты в своей работе, и немногие знают, как максимизмировать использование возможностей чат-ботов.
Врачи относились к чату как к поисковой системе для ответов на вопросов: «Является ли цирроз фактором риска рака? Каковы возможные диагнозы глазной боли?». Лишь часть врачей поняла, что они могут буквально скопировать и вставить всю историю болезни в чат-бот и просто попросить его дать исчерпывающий ответ.
В результате они не смогли воспользоваться способностью ИИ систем решать сложные диагностические задачи. Похоже, предстоит пройти долгий путь, прежде чем этот потенциал будет реализован.
Как проводился эксперимент?
В эксперименте приняли участие 50 врачей, ординаторы и лечащие врачи из нескольких крупных американских больничных сетей, результаты были опубликованы недавно в журнале JAMA Network Open.
Испытуемым было предоставлено шесть историй болезни, они оценивались по их способности предлагать диагнозы и объяснять, почему они их поддерживают или исключают. Их оценки также включали правильность окончательного диагноза. Оценивали медицинские эксперты, которые видели только ответы, не зная, каким образом был получен этот ответ (были ли они от врача с ChatGPT, врача без него или от самого ChatGPT).
Истории болезни в исследовании были реальныхми и являются частью набора из 105 случаев, которые использовались исследователями с 1990-х годов. Случаи намеренно никогда не публиковались, чтобы студенты-медики и другие могли пройти тестирование на них без какого-либо предварительного знания. Это также означает, что ChatGPT не мог быть обучен на них.
Чтобы проиллюстрировать результаты, исследователи опубликовали один из шести кейсов вместе с ответами на вопросы от врачей, которые набрали самый высокий и низкий баллы.
По данным материала New York Times
Пожалуйста, поддержите меня, поставьте лайк!
Добрый день, я Евгений Николаевич Рычков, и я хочу поделиться результатами использования Giga Chat. Затрагивать эту тему я начал чуть ли не в пионерской стадии развития, когда хайпа еще не было. Вот, например, с Воробьевым Александром и без него выступал в Точке Кипения на тему кодинга с использованием GPT
Забавный парадокс: сейчас у экспертов больше возможностей чем когда-либо. Никогда еще не было так просто делиться знаниями. Нейросети могут штамповать контент, алгоритмы подкидывают аудиторию, форматов – десятки. И при этом никогда не было так сложно достучаться до своей аудитории и оставаться собой.
Анна Лапа, посетивший почти все мероприятия в своей сфере юрист по интеллектуальной собственности, развенчивает мифы о посещении юридических конференций. На что смотрит инхаус-юрист на мероприятиях? Зачем вообще нужны конференции частно-практикующему юристу?
Адреса электронной почты не требуется, но есть нюансы. Расскажу о них и зачем компании это потребовалось
Согласно недавнему исследованию, опубликованному в The BMJ, ведущие AI-чат-боты демонстрируют признаки легких когнитивных нарушений при прохождении тестов, обычно используемых для выявления ранних стадий деменции у людей. При этом более старые версии моделей показывают худшие результаты, что напоминает возрастное снижение когнитивных способностей,…
Хотите максимизировать пользу от использования ChatGPT? Или хотите начать, но не знаете, для каких задач он подойдет лучше, а набивать шишки не хочется? Тогда читайте этот гайд от профессора школы бизнеса.
Расскажу о любопытном случае, который а) доказывает пользу ИИ в науке б) показывает, что ИИ - это не поисковик, а именно интеллект, способный тягаться с учеными.
Мне кажется, предел чата именно в базовой диагностике в ближайшие 10 лет.
Хорошие врачи учитывают не только сам диагноз при составлении лечения, но и весь анамнез, уровень жизни, психологический портрет пациента, свой опыт и т.д.
Для создания промта с учетом всех вводных нужны нереальные ресурсы и затраты.
Ну и не стоит забывать, что 10% неточных диагнозов от робота могут привести к более серьезным негативным последствиям, из-за риска самолечения людей
Мало сопоставить, надо ещё уметь собирать данные для анализа и задать нужные вопросы.
Думаю, на горизонте 5 лет врачи станут промпт-инженерами как раз. Решения они принимать не будут
Смешанные чувства от новостей от ИИ, и страшно что мы скоро вообще нужны не будем, и очень радостно за развитие
Комментарий недоступен