Военное ведомство США хочет передать принятие медицинского решения от человека алгоритму. Вопросы этики без ответа
Издание WP возвращается к изучению вопросов применения ИИ в различных секторах. Колумнист Pranshu Verma, который пишет об инновациях, изучает программу Moment военного агентства DARPA. Программа направлена на разработку алгоритма, который заменит человека в принятии сложного медицинского решения- triage, когда необходимо оценить степень тяжести пациентов и определить, кому первому оказать медицинскую помощь. Pranshu Verma выяснил, что не только DARPA , но и НАТО работает над разработкой такого алгоритма.
Эксперты по этическим аспектам ИИ предлагают максимально вдумчиво принимать решения о таких разработках, так как речь идет о жизни и здоровье человека. И поразмыслить над такими вопросами, как: какой конкретно уровень ответственности военные готовы отдать алгоритму? В критических ситуации, как люди будут принимать решение: слушать алгоритм или руководствоваться здравым смыслом? Если пострадают гражданские, то будет ли алгоритм их приоритезировать? На каких данных будут учить алгоритм и кто будет ответственным за предубеждения алгоритма. И непростой вопрос: если человек умрет после решения алгоритма, кто понесет ответственность и что говорить близким погибшего?
Развитие программ о назначении очередности оказания медицинской помощи (triage)* поднимает важный вопрос: Если речь идет о жизни человека, есть ли место для ИИ и в какой мере?
*triage - распределение пострадавших и больных на группы, исходя из срочности и однородности необходимых мероприятий (лечебных, профилактических, эвакуационных) в конкретной обстановке. Цель triage (сортировки): обеспечить своевременное оказание медицинской помощи максимальному числу пострадавших в оптимальном объёме.
Разрушения аэропорта Кабула и сопутствующие смерти в прошлом году после взрыва смертника были чудовищными: 183 человека убито, включая 13 граждан США.
Такие события с массовой гибелью людей особенно ужасают тех, кто непосредственно работает с людьми. Сотни людей нуждаются в помощи, в госпиталях не хватает коек. Решение о том, кому первому оказать помощь, а кто может подождать, должно быть принято очень быстро. Часто сложно сделать правильное и очевидное решение, и люди недовольны.
Moment: Алгоритмы будут принимать решения без субъективности и предубеждения человека и спасут много жизней
Управление перспективных исследовательских проектов Министерства обороны США (Defense Advanced Research Projects Agency (DARPA)) ищет способы разрешить такие непростые ситуации путем передачи решения искусственному интеллекту. Новая программа Минбороны США Moment разрабатывает технологию, которая будет делать быстрые решения triage в стрессовых ситуациях, используя алгоритмы и данные. DARPA заявляет, что таким образом будут исключены предубеждения и ошибки человеческой субъективности, что спасет множество жизней.
Программа Moment находится пока в самом начале развития. Другие страны обсуждают обновление своих устаревших системы принятия решения в медицине triage. Военное ведомство США рассчитывает с помощью этой программы снизить количество человеческих ошибок в ситуации военных действий.
Однако все большее количество экспертов и специалистов по этике бьют тревогу. Исследователи задаются вопросом, точно ли разумно применение ИИ в ситуациях, когда речь идет о жизни человека.
Sally A. Applin, доктор наук, антрополог, изучающий этику ИИ в HRAF Advanced Research Centres Кентербери, и Йельском университете, оценивает программу Moment не однозначно: «Технология ИИ хорошо считает. Но я думаю, что будет создан очень нехороший прецендент, когда решение о жизни человека передают машине».
DARPA – влиятельная организация в области технологий. Программа AI Next
Агентство DARPA было основано в 1956 году президентом США Dwight D. Eisenhower. Сегодня оно - одна из самых влиятельных организаций в области технологий. DARPA реализовало много инновационных проектов, включая создание интернета, GPS, метеорологические спутники и вакцина от короновируса – Moderna.
Однако относительно исследований технологи ИИ у агентства не так все гладко и успешно. В 1960х DARPA продвинулось в исследованиях обработки естественного языка (natural language processing) и даже научило компьютеры игре в шахматы. В течение 1970х и 80х прогресс остановился, в основном из-за ограничений вычислительной мощности машин.
В 2000х были значительно улучшены видеокарты. Благодаря этому сильно удешевились вычислительные мощности и начался рост облачных вычислений. Агентство посчитало, что стоит возобновить исследования ИИ для применения в военной индустрии. В 2018 году агентство выделило $2 млрд на программу AI Next. Цель этой программы – в внедрении технологий ИИ в 60 проектов оборонного сектора. Такие затраты свидетельствуют о важности технологии ИИ в будущих проектов, посвященных разработке истребителей.
DARPA при открытии программы AI Next: «Мы видим будущее в машинах, которые гораздо больше, чем просто инструменты».
Программа Moment
Программа Moment создает и проводит оценку алгоритмов, которые будут помогать принимать решение военным в двух ситуациях triage: 1) небольшие увечья людей во время специальных операций с применением огнестрельного оружия; 2) массовая гибель людей, как в аэропорту Кабула. Позже, могут быть разработаны алгоритмы для принятия решений при катастрофах, например землетрясение.
Программа будет длиться почти 3,5 года. DARPA привлекает частные компании для участия в программе Moment. Агентство не раскрыло, какие конкретно компании привлечены, и сколько денег планируется им выделить.
Matt Turek, программный менеджер DARPA, отвечает за управление Moment: Алгоритмы будут моделировать решения «людей-экспертов, пользующихся доверием». Алгоритмы будут иметь доступ к информации, чтобы сделать обдуманное решение в ситуациях, когда опытные эксперты затрудняются его сделать.
Например, технологии ИИ помогут идентифицировать, какие ресурсы есть в наличии в конкретном госпитале - например, лекарства, запас крови, достаточное количество медицинского персонала – чтобы принять правильное медицинское решение.
Matt Turek: «Столько информации не может держать в голове один человек. Алгоритм поможет найти решение там, где человек его не видит».
НАТО также разрабатывает цифрового ассистента для медицинских решений
Sohrab Dalal, полковник и глава медицинского подразделения Верховного командования объединенных сил НАТО: процесс распределения пациентов по степени тяжести для оказания медицинской помощи (triage) сейчас выглядит так: врач подходит к каждому солдату и решает, насколько срочно он нуждается в медицинской помощи. Этот процесс не менялся 200 лет и нуждается в обновлении.
Полковник работает с Johns Hopkins University над проектом создания цифрового ассистента для процесса triage, который будет использоваться членами НАТО.
Sohrab: «Использование технологии ИИ обеспечит более качественное лечение пациентов и сохранит их жизни».
Этические вопросы применения ИИ в медицинских решениях на войне
Несмотря на радужные обещания DARPA и НАТО, некоторые исследователи этических аспектов ИИ задают вопросы о регламентах программы Moment: Какой набор данных будет использоваться для обучения алгоритма? На основании каких данных алгоритм будет учиться приоритезировать одних пациентов перед другими? В критических ситуациях будут ли солдаты делать то, что им говорит алгоритм или руководствоваться здравым смыслом? И если советы алгоритма приведут к смерти, то кто будет в этом виноват?
Peter Asaro, философ, исследователь ИИ в New School (частный исследовательский университет в Нью-йорке), считает, что офицерам необходимо сначала определить, какую степень ответственности они готовы отдать алгоритму в ситуациях triage. Лидерам предстоит выяснить, какой порядок действий должен быть в этических ситуациях. Например, произошел взрыв. Много гражданских ранено. Гражданские – в меньшем приоритете, даже если они получили более серьезные ранения, или как?
«Это вопрос ценностей. Вы должны что-то сказать машине, как она будет приоритезировать. Машина сама не поймет этих приоритетов».
Ошибка предубеждения алгоритма никуда не исчезла. Ее значение возрастает, когда речь идет о жизни и здоровье человека
Sally Applin,: необходимо проверить, насколько технологии ИИ в программе DAPRA преодолеют стандартные ошибки (предубеждения выборки) ИИ, которые очень часто встречаются во многих случаях. Например, алгоритм приоритезировал белых пациентов перед афроамериканцами в системе здравоохранения США.
Sally: «Мы знаем о проблеме предубеждения ИИ. Мы также знаем, что разработчики ИИ не способны предусмотреть все ситуации, где может возникнуть ошибка. Мы также в курсе, что технология ИИ не обладает социальной ответственностью и не понимает культурного контекста. Машина просто не способна об этом думать».
Этический вопрос: что будут говорить родственникам погибших, если смерть произошла по решению алгоритма
В тех случаях, когда в результате рекомендаций алгоритма погибнут люди, возникнет много проблем для военных и их родственников. Sally: «Кто-то потребует возмездия за смерть близкого человека. Кто-то просто хочет знать, что тот, кто виноват, сожалеет о случившемся. В случае с алгоритмом ничего этого нет».