Медицинский помощник от Гугл придумывает названия органов пациента. Что произойдет, если врач этого не заметит?

В 2024 году Гугл представил ИИ модель Med-Gemini для здравоохранения. Исследовательская работа, посвященная модели, включала в себя ошибку модели: ИИ придумала название органа на МРТ снимке мозга. Гугл назвала ошибку своей модели Med-Gemini опечаткой. Эксперты заявляют о галлюцинации ИИ и говорят, что это как раз демонстрирует риски применения ИИ в медицине. Два месяца назад Гугл представил MedGemma, более новую и продвинутую ИИ модель для здравоохранения, которая сфокусирована на анализе результатов МРТ. Врачи выявили, что если по-разному задавать вопрос на одну и ту же тему, то модель по-разному отвечает. И это проблема. Глава медицинского офиса в Providence: «ИИ системы склонны к конфабуляциям по своей сущности. Они не выдают ответ: «я не знаю», и это огромная проблема в такой области как медицина, где ставки высоки». Он надеется, что отрасль будет двигаться к решениям дополненной реальности для медицинских работников, а не пытаться заменить клинические решения врача. Руководитель Лаборатории ИИ инноваций в здравоохранении в Emory University: «Сейчас пытаются изменить бизнес процесс под ИИ: ИИ будет создавать заключение по МРТ, а рентгенологи его будут читать. Но эти заключения от ИИ содержат столько галлюцинаций, сколько все рентгенологи не смогли бы придумать». У ИИ должна быть более высокая планка для ошибок, чем у человека. Если это не так, то людям не нужно выполнять их работу. В случае ошибки мы можем пойти к человеку, поговорить с ним и сказать: «Давай рассмотрим этот кейс вместе. Что мы можем изменить?». А что вы будете делать, когда ошибку совершит ИИ ?

Ставки в медицине очень высокие. Ошибки стоят очень дорого. Поэтому критерии внедрения этой технологии в здравоохранения должны быть гораздо выше, и многие люди это не осознают.

Кейс: рентгенолог смотрит на результат сканирования мозга пациента и отмечает аномалии в базальных ганглиях. Это область мозга, ответственная за контроль двигательных функций, обучение и обработку и распознавание эмоций. Название этой части мозга похоже на другую часть мозга - базилярная артерия, которая обеспечивает кровоток мозга. Рентгенолог знает их и не путает. Терапия в случае инсульта или аномалии в этих разных частях мозга назначается разная.

А теперь представьте, что ваш доктор использует ИИ модели для скрининга. Модель сообщает, что проблема в "базилярной ганглии", объединив два названия в область мозга, которой не существует. Мы, разумеется, надеемся, что врач заметит ошибку и перепроверит результаты сканирования мозга. Но есть шанс, что не заметит.

Ошибка с "базилярной ганглией" - реальная ошибка в ИИ модели Med-Gemini от Гугл. В 2024 году вышла исследовательская работа о Med-Gemini, включавшая в себя галлюцинации модели при расшифровке результатов томографии головного мозга. В Гугл никто это не заметил: ни в самой работе, ни в блоге компании, где анонсировали это исследование. Bryan Moore, невролог и исследователь ИИ, обнаружил ошибку. Он сообщил изданию The Verge, что Гугл незаметно скорректировал блог с публикацией исследования, не сообщив ничего общественности. Само исследование осталось без изменений. Гугл назвал инцидент простой опечаткой слова "базальная ганглия". Врачи заявляют, что это очень опасная ошибка и этот пример должен служить причиной ограничения использования ИИ в здравоохранении.

Med-Gemini - сборная солянка ИИ моделей, которая может суммировать данные о здоровье, результаты сканирования, анализировать записи о здоровье и другое. Версия работы до публикации была направлена на демонстрацию ценности, которую ИИ модель может принести врачам. Работа подчеркивает серию аномалий в сканированиях, которую рентгенологи часто "пропускают", а ИИ не пропускает. Один из примеров работе: Med-Gemini выявила "инфаркт в левой базилярной ганглии". Но как выяснилось, такой аномалии не было.

Год спустя компания не принимала внешних новых тестировщиков для Med-Gemini. Вероятно, ИИ модель уже протестировали в реальной жизни. Но модель до сих пор только развивается, поэтому риски ИИ становятся все серьезнее. Med-Gemini не единственная модель, совершающая ошибки. И непонятно, как врачи должны реагировать на такие ошибки.

Maulin Shah, глава медицинского офиса в Providence, поставщика ИТ систем здравоохранения для 51й больницы и более 1000 клиник: "Это реально очень опасно. Две буквы, и вот ошибка".

Jason Freidenfelds, представитель Гугл: компания взаимодействует с медицинским сообществом для тестирования своих моделей, Гугл прозрачно сообщает об ограничениях моделей.

Jason Freidenfelds: "Система заметила патологию, она использовала некорректный термин ("базилярный" вместо "базальный"). Мы отредактировали блог об исследовании. Мы работаем над усовершенствованием наших моделей, проводим их оценку. Обучение и практика развертывания моделей включены в системы обзора".

6 мая 2024 года Гугл громко представил самую новую версию ИИ модели в здравоохранении. Ее назвали "Med-Gemini". Было озвучено, что это "рывок" с "значительным потенциалом для применения в медицине". Компания похвалилась реальным применением модели в рентгенологии, патологии, дерматологии, офтальмологии и геномных исследованиях

Модели Гугла обучены на медицинских изображениях, например, результатах МРТ, слайдах с патологиями, использовалась разметка данных. Компания сообщила, что ИИ модели могут "интерпретировать сложные 3D сканы, отвечать на клинические вопросы, создавать самые современные отчеты по результатам МРТ". Было заявлено, что модели могут предсказать риски заболеваний на основе геномных данных.

Bryan Moore имел возможность ознакомиться с ранней версией исследования. Он увидел ошибку и сообщил о ней Гуглу на LinkedIn*, а также связался с авторами исследования напрямую.

* платформа запрещена в РФ

Компания незаметно убрала доказательства ошибки ИИ модели. Блог обновили, заменив "базилярная ганглия" на "базальная ганглия", без упоминания разницы. Сотрудник Google Health сообщил Bryan Moore, что это опечатка.

Bryan Moore официально призвал Гугл ответить на незаметное изменение блога. На данный момент компания изменила блог и уточнила, что "базилярный" - это обычная опечатка от слова "базальный", а Med-Gemini училась на данных, где эта опечатка встречалась.

Гугл дал ответ на LinkedIn*: "Мы обновили блог, чтобы показать оригинальные результаты работы модели. Мы согласны, что это важный кейс, как модель работает".

* платформа запрещена в РФ

В самом исследовании нет никаких изменений.

Неважно, опечатка это или галлюцинация модели, такие ошибки вызывают гораздо более серьезные вопросы о стандартах применении ИИ в здравоохранении и о том, когда эти модели будут готовы к публичному релизу.

Maulin Shah, глава медицинского офиса в Providence: "Проблема с этими опечатками или галлюцинациями в том, что я не доверяю людям в их оценке результатов модели на всех уровнях. Мы выяснили, что кто-то написали заметку с некорректной оценкой патологии. Патология была - рак, но в отчете указали, что рака нет. Если ИИ читает все эти заметки и потом распространяет, и масштабирует, то он это делает на основе неверных данных".

Два месяца назад Гугл представил MedGemma, более новую и продвинутую ИИ модель для здравоохранения, которая сфокусирована на анализе результатов МРТ. Врачи выявили, что если по-разному задавать вопрос на одну и ту же тему, то модель по-разному отвечает.

Judy Gichoya, доцент кафедры рентгенологии и информатики в Школе медицины при Emory University, задала MedGemma вопрос о проблеме с рентгеном ребра пациента, где было множество особенностей: "Это снимок пациента (возраст, пол). Что ты видишь на снимке?". Модель ответила корректно и идентифицировала проблему. Но потом модели показали тот же снимок с более простым запросом: "Что ты видишь на снимке?" Модель ответила, что на снимке нет никаких проблем. "Это снимок грудной клетки здорового взрослого человека",- ответила MedGemma.

Judy Gichoya задала другой вопрос модели MedGemma по снимку с пневмоперитонеумом* или газом под диафрагмой. Сначала модель ответила корректно. На второй запрос, когда сам текст запроса поменяли, модель галлюцинировала множество диагнозов.

*Пневмоперитонеум — это аномальное скопление воздуха или газа в брюшной полости

Maulin Shah: "Вопрос в том, собираемся ли мы действительно задавать вопросы ИИ моделям». Даже если ИИ модели слушают разговор доктора и пациента, чтобы записать историю болезни или просто перевести ручную запись врача в машинный текст, ИИ модель может галлюцинировать. И риски галлюцинации могут привести к очень серьезным последствиям. Ведь врачи могут начать меньше перепроверять текст, сгенерированный ИИ моделями.

Maulin Shah: «Если я напишу «ASA 325 mg qd», модель может поменять этот текст на такой: «Принимайте аспирин каждый день по 325 мили грамм» или как -то по-другому, но, чтобы пациент понял. Если вы часто так делаете, то в какой-то момент перестаете читать, что ИИ пишет для пациента. И как только ИИ галлюцинирует- например, посчитает, что ASA – это стандартная оценка анестезии (anesthesia standard assessment)…вы просто не уследите за этим».

Maulin Shah надеется, что отрасль будет двигаться к решениям дополненной реальности для медицинских работников, а не пытаться заменить клинические решения врача. Он также рассчитывает увидеть решения, позволяющие обнаружить галлюцинации ИИ в режиме реального времени. Например, одна ИИ модель проверяет галлюцинации другой модели и не показывает результаты с галлюцинациями пользователю или маркирует их.

Maulin Shah: «В здравоохранении «конфабуляции» встречаются у пациентов, страдающих деменцией или алкоголизмом. Пациенты придумывают события, которые звучат правдоподобно, поэтому собеседник не всегда понимает, что у пациента деменция. Он слушает эти конфабуляции и постепенно понимает: «минутку, этого точно не было». Системы обнаружения галлюцинаций ИИ должны работать также – сигнализировать о галлюцинациях ИИ».

*конфабуляция - расстройство памяти, которое отличается формированием воспоминаний о событиях, не происходивших в реальности или произошедших в иной отрезок времени. Они сопровождаются аномальной убежденностью пациента в их действительности. Обычно содержание воспоминаний представлено образами из прошлого, измененными и перенесенными вовремя ближе к реальным событиям, либо фантастическими выдуманными образами.

Judy Gichoya возглавляет Лабораторию ИИ инноваций в здравоохранении в Emory University. Judy уже видела, что новые модели Med-Gemini галлюционируют в исследовательских условиях так же, как и большинство больших ИИ моделей в здравоохранении.

Judy Gichoya: «ИИ системы склонны к конфабуляциям по своей сущности. Они не выдают ответ: «я не знаю», и это огромная проблема в такой области как медицина, где ставки высоки».

Judy Gichoya: «Сейчас пытаются изменить бизнес процесс под ИИ: ИИ будет создавать заключение по МРТ, а рентгенологи его будут читать. Но эти заключения от ИИ содержат столько галлюцинаций, сколько все рентгенологи не смогли бы придумать. Поэтому критерии внедрения этой технологии в здравоохранения должны быть гораздо выше, и многие люди это не осознают».

Доктор Jonathan Chen, доцент Стэнфордской школы медицины и директор по медицинскому образованию в ИИ, ищет правильное слово для текущего момента развития ИИ в медицине. Он пробует такие прилагательные, как «коварный», «опасный», «зыбкий». «Сейчас реально страшноватый этап, когда многие из этих технологий пытаются быстро внедрить в клиническое обслуживание. А эти технологии совсем незрелые».

Jonathan Chen: «Проблема с «базилярными ганглиями» может быть и опечаткой, и серьезной проблемой. Тут надо разбираться».

Доктор Jonathan Chen: часть отрасли здравоохранения отчаянно нуждается в ИИ, а другой части стоит проявить здоровый скепсис перед тем, как внедрять ИИ. Самая большая опасность не в том, что эти системы сделают что-то неправильно, а то, насколько правдоподобно они звучат, когда сообщают о проблеме в «базилярных ганглиях».

В медицинских записях, сделанных человеком, встречаются ошибки, и ИИ может усугубить эту проблему из-за хорошо известного феномена «автоматизация предвзятости»: люди пропускают ошибки в системе, так как думают, что она уже хорошо работает. Даже ИИ, проверяющий работу другого ИИ несовершенен. Jonathan Chen: «Когда речь идет о медицинском обслуживании, несовершенство неприемлемо».

«Кто-то может думать: если технология может взобраться так же высоко, как человек, значит она также хороша. Это не так».

Доктор Jonathan Chen: «Мы знаем это по аналогии с беспилотными автомобилями. «Автопилот так много раз водил за меня, что я, пожалуй, посплю. Но на кону чья-то жизнь, и не стоит так делать. Я полагаю, что мы получим помощь и пользу от ИИ, но мы видим очевидные ошибки, которые можно избежать, если подходить к делу осознанно».

Требовать от ИИ работать совершенно без вмешательства человека может означать, что «мы никогда не достигнем тех преимуществ, которые мы можем получить прямо сейчас. С другой стороны, мы должны держать планку как можно выше. Я думаю, ИИ может достичь более высокой планки». Получать мнение от реальных людей остается актуальным.

У исследовательской работы Гугл было 50 авторов, и перед публикацией ее читали врачи. Остается неясным, почему никто из них не увидел ошибку. Гугл так и не ответила, как это произошло.

Доктор Michael Pencina, главный дата сайентист в Duke Health, «склонен верить», что ошибка Med-Gemini – галлюцинация, а не опечатка. «И снова возникает вопрос: что мы будем с этим делать? Какие последствия?». Ответ находится в том, каковы ставки такой ошибки. «Чем выше риски приложения и чем более автономна система…тем выше планка должна быть. В здравоохранении ставки весьма высоки. К сожалению, мы находимся на том этапе развития ИИ, которую я бы назвал Диким Западом».

Maulin Shah: «У ИИ должна быть более высокая планка для ошибок, чем у человека. Даже если кто-то заявит: если все будет как у человека, то этого достаточно, я не соглашусь с этим. Тогда людям не нужно выполнять их работу. Я могу пойти к человеку, поговорить с ним и сказать: «Давай рассмотрим этот кейс вместе. Что мы можем изменить?». А что вы будете делать, когда ИИ совершит ошибку?».

Ссылка на статью: