Опасный алгоритм: Почему внедрение ИИ в медицине опережает систему безопасности пациентов, на примере США

В 2021 году подразделение Johnson & Johnson компания Acclarent интегрировала искусственный интеллект в навигационную систему TruDi для операций при хроническом синусите. Результат оказался пугающим: если до обновления системы FDA (Управление по санитарному надзору за качеством пищевых продуктов и медикаментов в США) получило 7 сообщений о неисправностях и 1 травме, то после внедрения ИИ — уже 100 инцидентов и минимум 10 травм (повреждения основания черепа, инсульты, утечка спинномозговой жидкости).
Это лишь один из симптомов системной проблемы. По состоянию на 2025 год FDA одобрило 1357 устройств с ИИ, но их отзывы происходят вдвое чаще классических. Причина проблемы в США— устаревшая процедура уведомления 510(k) FDA, где новые алгоритмы сравнивают со старыми устройствами, игнорируя способность ИИ меняться в процессе работы.
FDA пытается изменить ситуацию, внедряя концепцию Predetermined Change Control Plan (PCCP) — разрешение на плановые обновления без повторных проверок, и смещая фокус на контроль всего жизненного цикла (TPLC).
Причем, с похожими проблемами столкнулась не только Acclarent:

- Кардиомониторы Medtronic с технологией AccuRhythm AI пропускали опасные аритмии или, наоборот, выдавали ложные срабатывания.

- Система Sonio Detect от Samsung Medison, предназначенная для анализа пренатальных УЗИ, ошибочно маркировала части тела плода («wrong body parts»).

Несмотря на это, 95% врачей посчитали помощь ИИ полезной, а 90% — заявляют о полном доверии нейросетям, что демонстрирует феномен «автоматизации самоуспокоенности» , но может привести к опасным последствиям.

Из всего перечисленного можно сделать неутешительный вывод: гонка технологий обгоняет безопасность. Без жесткого постмаркетингового надзора и прозрачности алгоритмов, технологический прорыв рискует обернуться чередой трагедий, судебных исков и потерей доверия к медицине.