Когда Annie от Anima Health превратила тонзиллит в диабет
Когда Annie от Anima Health превратила тонзиллит в диабет Есть что-то особенно жуткое в медицинских ошибках ИИ. Не потому что они хуже человеческих — люди тоже ошибаются. А потому что машина может ошибиться так... творчески.
В Лондоне здоровый 25-летний парень получил приглашение на диабетическое обследование. Диабета у него никогда не было. Система Annie от компании Anima Health умудрилась превратить его обычный тонзиллит в диабет + подозрение на ишемическую болезнь сердца. И даже добавила от себя несуществующий адрес больницы.
ИИ-инструмент Annie зарегистрирован как медицинское устройство класса I (низкий риск), но превратил простой тонзиллит в серьезные диагнозы, включив в медицинскую карту ложные сведения о диабете и подозрении на заболевания сердца.
Что меня поражает — это не техническая сторона. Это человеческая. Поздним вечером, получив письмо о диабете, парень на секунду испугался — а вдруг у него действительно что-то нашли, о чем он не знал. Эта секунда страха от ложного диагноза...
NHS называет это "разовой человеческой ошибкой". Но сотрудник системы здравоохранения честно признался: "Такие человеческие ошибки практически неизбежны, если у вас есть ИИ-система, производящая совершенно неточные резюме. Многие пожилые или менее грамотные пациенты могут даже не понять, что есть проблема".
В этом вся соль: ИИ-инструменты этой категории требуют проверки врача перед внесением данных в медицинскую карту, но в данном случае практика не смогла должным образом устранить фактические ошибки.
Компания Anima Health не ответила на вопросы Fortune, но заявила, что их система только "предлагает коды и резюме человеку-рецензенту для повышения безопасности и эффективности". Каждый документ требует человеческой проверки. Проблема не в том, что ИИ ошибся.
Проблема в том, что человек не заметил, как тонзиллит стал диабетом. И где-то в этой цепочке "эффективности" потерялась безопасность пациента. Сейчас NHS пересматривает классификацию ИИ-инструментов — многие могут перейти из класса I в более строго регулируемый класс 2a. Если результат инструмента используется для принятия решений о лечении, он может потребовать переклассификации как медицинское устройство класса 2a с более строгим регулятивным контролем. Это история о том, как автоматизация, призванная помочь, может навредить. И о том, что человеческий контроль — это не формальность, а последний рубеж безопасности.
ИИ — это действительно лучший помощник для профессионала с развитым критическим мышлением. Тот самый врач, который внимательно проверил бы сводку Annie и сразу бы заметил, что тонзиллит не превращается в диабет, получил бы мощный инструмент для работы. ИИ ускоряет, систематизирует, подсказывает — но решения принимает человек. И чем лучше этот человек умеет думать, сомневаться и проверять, тем полезнее становится его цифровой помощник.
P.S. Представляю, как парень рассказывает друзьям: "ИИ решил, что у меня диабет". А они смеются, не понимая, что завтра это может случиться с любым из нас.
Всем здоровья, добра и критического мышления!