Разработка, закупка, внедрение и мониторинг инструментов искусственного интеллекта в рентгенологии

Искусственный интеллект в рентгенологии - одно из наиболее динамично развивающихся направлений в ИТ. Несмотря на свою новизну, технологии на базе ИИ для рентгенологов уже достигли весьма высокого уровня зрелости и внедряются как в коммерческой так и в государственной медицине. Каждый субъект РФ внедрил в систему здравоохранения в 2023 году не менее одного решения на базе искусственного интеллекта. В 2024 таких внедрений будет не менее трёх. Появление новых технологий на рынке это всегда вызов как для конечных пользователей, так и для систем здравоохранения.

В этом материале мы подготовили для Вас обзор научной статьи “Developing, Purchasing, Implementing and Monitoring AI Tools in Radiology: Practical Considerations. A Multi-Society Statement from the ACR, CAR, ESR, RANZCR and RSNA”, которая содержит мнения на основные проблемные аспекты ИИ в радиологии от профильных объединений в Канаде, Новой Зеландии, Австралии, Европы, Канады и США. Публикацией данного материала мы преследуем цель достижения прозрачности в понимании основных возможностей и ограничений ИИ, определение оптимальных сценариев внедрения, мониторинга и разработки сценариев использования с точки зрения крупных рентгенологических сообществ.

Технологии для автоматического анализа рентген исследований существуют весьма давно. CAD и CADx системы начали применяться более 30 лет назад, однако по механизму работы они значительно отличаются от текущих ИИ-решений для рентгенологов. Если более ранние технологии базируются на классическом машинном обучении для определения размера, качества и особенностей изображения для дальнейшего обнаружения аномалий, то современные Системы Поддержки Принятия Врачебных Решений (СППВР) не используют фиксированные закономерности и автоматические с помощью глубокого обучения обучаются поиску закономерностей.

Второе отличие - уровень информатизации. Если CAD системы системы ищут аномалии от “запрограммированных” исследований, то современные СППВР находят более сложные зависимости, могут анализировать огромные массивы информации в онлайн режиме и рассчитывать десятки трудоемких индексов. Также современные ИИ-модели могут настраиваться под целевой сценарий использования - например, автоматически описывать “норму” (исследования без патологий).

Внедрение искусственного интеллекта в радиологию может произвести революцию в практике здравоохранения, за счет качественного совершенствования диагностики, количественной оценки и лечения различных заболеваний. Однако оценка моделей искусственного интеллекта выходит за рамки клинической точности, охватывая деловые и технические аспекты. Эти и другие аспекты того, как потенциальные пользователи и покупатели могут оценить инструменты искусственного интеллекта представляют отдельный предмет интереса.

Ключевые вопросы на которые стоит дать медицинским учреждениям до внедрения ИИ:

• Каков основной сценарий применения искусственного интеллекта, кто получит наибольшую выгоду от его использования?
• Какие риски связаны с его использованием и каков потенциальный экономический эффект?
• Как инструмент искусственного интеллекта будет интегрирован в рабочие процессы учреждения и как можно будет проверять и отслеживать эффективность запросов к нему?
• Как необходимо обучать пользователей и какие психологические эффекты необходимо учитывать при взаимодействии человека и искусственного интеллекта?
• Отражают ли данные точности из регистрационного удостоверения метрикам ваших врачей? Достаточна ли эта точность для использования и примут ли пользователи результаты искусственного интеллекта и, следовательно, будут ли они взаимодействовать с ним?

Для успешного внедрения любого инструмента искусственного интеллекта в клиническую практику заинтересованные стороны должны сначала четко определить области, требующие улучшения, и определить ключевые показатели эффективности которые будут оцениваться в рамках определенных временных промежутков (например, процент выявляемости, чувствительность, время затрачиваемое на анализ единичного исследования).

В таком случае интеграция инструмента искусственного интеллекта может быть частью более масштабной стратегии, разработанной для достижения цели, поставленной перед медучреждением. С другой стороны, также может случиться так, что конкретный инструмент искусственного интеллекта, предложенный поставщиком, обладает потенциалом для улучшения качества услуг учреждений в области, которая ранее не рассматривалась. В любом случае, важно определить, решает ли инструмент реальную, конкретную проблему, имеющуюся у медучреждения; инструменты - это решения, а решение несуществующей проблемы не имеет ценности. Обратите внимание, что у разных учреждений разные проблемы; инструмент, ценный для одной группы, может не иметь ценности для другой.

Также нельзя забывать и тот факт что ИИ оказывает влияние не только на работу рентгенологов. Любой новый процесс оказывает влияние и на пациентов. Примером эффективного варианта использования может быть искусственный интеллект в качестве вспомогательного инструмента в условиях масштабного радиологического скрининга (например, маммографии). В этом случае преимущества для пациентов могут включать более раннее выявление рака молочной железы, что приводит к эффективности лечения. Преимущества для радиологов могут включать повышение производительности, наличие второго мнения или возможность увеличения времени, доступного для общения с пациентом.

Помимо повышения качества обслуживания, положительно отражающегося на учреждении, они потенциально могут помочь снизить затраты, в то время как для общества в целом можно было бы предусмотреть положительное влияние на общие расходы на здравоохранение и здоровье населения.

До внедрения ИИ медицинским учреждениям рекомендуется оценить какими могут быть рабочие характеристики алгоритма в среде, в которой он будет использоваться. Частота ошибок при использовании может существенно отличаться от той, которая была зарегистрирована регулятором при клиноценке. Особенно сильно это может проявляться когда характеристики или распределение входных данных (например, производители оборудования, протоколы исследований, демографические данные пациентов, распространенность заболевания, сопутствующие патологии) отличаются от данных тестирования. В идеале, каждое медучреждение до внедрения искусственного интеллекта, должно проводить статистически строгую оценку эффективности на основе своих собственных локальных данных .

После анализа возможных выгод, целей, проведения анализа затрат и оценки потенциальных рисков можно планировать интеграцию ИИ-решения. В зависимости от существующей ИТ-инфраструктуры, политик и доступных каналов связи медучреждение может рассматривать различные технические интеграции — либо как локальные установки с выделенными вычислительными ресурсами в контуре организации, либо как облачную модель "программное обеспечение как услуга" (SaaS).

Большинство ИИ-сервисов отправляют результаты искусственного интеллекта в систему архивирования изображений и связи (PACS). Этот вид интеграции не только позволяет визуализировать находки искусственного интеллекта для врачей, но и маршрутизировать исследования согласно определенным правилам. Например, автоматически описывать исследования без находок(норму), выдавать оповещения рентгенологам, когда ИИ сомневается в прогнозе и так далее.

Медучреждением рекомендуется после обновления версий систем разработчиком проводить повторную валидацию для определения оптимального порога отсечения предсказаний и прочих факторов для принятия решений в диагностическом процессе.

Помимо технических характеристик и интеграции инструментов искусственного интеллекта в рабочий процесс в радиологии, не следует недооценивать важность человеческого фактора, который трудно точно измерить.

Искусственный интеллект, несомненно, добился впечатляющего прогресса и в ряде случаев может достигать диагностических характеристик, сопоставимых с таковыми у рентгенологов.. Это особенно было продемонстрировано в контексте скрининга рака молочной железы. Однако, хорошо известно, что обратная сторона автоматизации — чрезмерное доверие на автоматизированные системы, такие как инструменты поддержки принятия решений на базе искусственного интеллекта, что в долгосрочной перспективе может влиять на квалификацию персонала. Недавно исследование, посвященное маммографии, показало, что даже самые опытные врачи демонстрировали эту предвзятость в экспериментальных условиях и имели значительно худшую производительность, когда предполагаемая система искусственного интеллекта предлагала неправильную категорию BI-RADS.И напротив, также может наблюдаться противоположный эффект, описанный как алгоритмическое неприятие, когда информация отвергается в процессе принятия решений исключительно на основании того, что она сгенерирована искусственным интеллектом. Недавнее исследование показало, что радиологи и другие врачи оценили ту же информацию о рентгенограмме грудной клетки как менее достоверную, когда казалось, что она поступает от системы искусственного интеллекта, чем когда казалось, что она поступает от другого рентгенолога. Эти проблемы еще более усложняются тем фактом, что на взаимодействие человека и искусственного интеллекта может влиять дизайн пользовательского интерфейса или же структура текстового рентгенологического заключения. Например, хотя многие радиологи предпочитали разметку изображений для обнаружения легочных узлов, было обнаружено, что такая конфигурация пользовательского интерфейса не улучшает производительность считывателя, в то время как минималистичная настройка с выводом пользовательского интерфейса только в текстовом формате улучшала ). Такие результаты подчеркивают необходимость дальнейшего обучения по этим темам врачей для повышения осведомленности и заинтересованных сторон, а также обеспечения безопасного и успешного внедрения искусственного интеллекта в клиническую практику.

Клиническая оценка - ключевой этап до внедрения ИИ после верификации ваших целей и формирования ожиданий. На этапе клинической оценки вам нужно проверить насколько устойчиво выбранное или выбранные ИИ решения работают на ваших локальных данных. Эта же процедура необходима и разработчику чтобы адаптироваться к вашей специфике. Основными оцениваемыми метриками на данном этапе служит AUC, чувствительность, специфичность, точность. Но нельзя забывать и про матрицу предсказаний ИИ и рассмотреть виды прогнозов системе. Лучше всего чтобы будущие пользователи системы (врачи) видели как “вау - случаи”, когда ИИ находит сложные патологии, которые вероятно были бы пропущены при первом чтении, так и ложно-положительные и ложноотрицательные результаты работы СППВР. Это в свою очередь необходимо для понимания несовершенности технологии и текущих ограничений. При демонстрации обеих сторон вы менее вероятно столкнетесь с эффектами, перечисленными в пункте “взаимодействие человека и искусственного интеллекта”.

В конечном счете, ваше решение о внедрении технологии зависит от баланса между положительной прогностической ценностью, ценой технологии и количеством ”ВАУ" случаев. Радиологи с большей готовностью соглашаются с ложноположительными результатами, если модель также выявляет патологию, которая впечатляет рентгенолога или может повысить ценность для пациента или другой заинтересованной стороны.

Клиническая оценка также важна и при обновлении версий систем разработчиком, чтобы избежать предвзятости или же непонимания со стороны конечных пользователей.

Идеальное решение для мониторинга должно собирать данные о производительности ИИ и рентгенологов в режиме реального времени, агрегировать и анализировать результаты, сравнивая их с ожидаемыми показателями на местном, региональном или национальном контрольном уровне, когда это возможно. Однако этот подход требует наличия достоверных данных и четко определенных критериев оценки, Часто такой алгоритм возможен у некоторых разработчиков ИИ-систем.

Однако такие системы мониторинга существуют не у всех и вовсе не существует систем мониторинга всех ИИ-систем в совокупности.

Периодический мониторинг

Повторная оценка эффективности модели искусственного интеллекта с использованием обновленных локальных наборов данных через определенные промежутки времени, но не реже одного раза в год, может быть подходящим механизмом мониторинга для моделей, где сбор данных о производительности модели в режиме реального времени ограничен (происходит чаще всего)

Мониторинг причин смещения данных

ИИ разработчики как правило производят онлайн мониторинг входящего потока данных и могут выявить моменты и причины возможных смещений данных. Однако не пренебрегайте своевременно уведомлять вашего ИИ вендора об обновлении парка оборудования, его настроек или же прочих причин, которые могут влиять на предсказания искусственного интеллекта.

Искусственный интеллект в радиологии уже никуда не денется. У него есть потенциал значительно повысить ценность ухода за пациентами и расширить горизонты того, что может цифровизация диагностика. Радиомика, например, является расширяющейся областью извлечения и анализа данных, которая не могла бы существовать без искусственного интеллекта.

Поскольку эта захватывающая новая технология увеличивает свое проникновение и влияние в здравоохранении, жизненно важно, чтобы она делала это безопасным образом и была направлена исключительно на благо. Разработка, продвижение и клиническое внедрение инструментов искусственного интеллекта должны быть согласованы с выгодой для тех, на ком эти инструменты будут использоваться. При разработке и внедрении инструментов искусственного интеллекта неизбежно должны учитываться коммерческие интересы, но эти интересы не должны преобладать для блага развития отрасли технологий и системы здравоохранения.