ИИ за штурвалом самолёта: это просто страшно или по-настоящему опасно?

Недавно услышала мысль, которая меня удивила: искусственному интеллекту нельзя доверять такие важные процессы, как управление самолётом. Мол, одно дело — алгоритм, который человек проверил строчку за строчкой, и совсем другое — чёрный ящик, в голову которому не заглянешь.

Дальше — три катастрофы, в которых виновата была не нейросеть; беспилотники, которые уже возят людей; и разбор, почему мы боимся вообще не того, чего стоило бы.

Услышав недоверие к ИИ, я, конечно, сразу начала спорить: а беспилотные машины? Они уже возят людей по городу и в серьёзные аварии, если верить отчётам, попадают куда реже людей-водителей.

А беспилотный автомобиль — это ровно тот самый чёрный ящик: он не едет по выверенному алгоритму, а видит мир глазами нейросети, обученной на миллионах примеров, — никто не писал её строчка за строчкой. То есть непрозрачный ИИ уже возит людей — тот самый, которому «нельзя доверять».

И всё равно я не смогла переубедить человека, не доверяющего ИИ. И я думаю, что даже если вся статистика за ИИ, а внутри всё равно ёкает, — значит, спор не про безопасность. Он про человеческую психологию: чего мы хотим на самом деле — контроля или его иллюзии? Когда мы садимся в самолёт, мысли живого пилота мы читаем не лучше, чем мысли нейросети. Разница одна — рядом человек, и нам спокойнее. Не безопаснее, нет. Просто спокойнее. И если человек так плохо понимает программу, что не отличит, права она или нет, — точно ли последнее слово должно оставаться за ним?

1 июля 2002-го над немецким Юберлингеном столкнулись два самолёта — 71 погибший, больше половины дети. Автоматика велела экипажу набирать высоту, живой диспетчер в ту же секунду — снижаться. Пилоты поверили человеку. И пошли вниз, прямо на встречный борт.

Вообще в самолётах почти нет никакого ИИ — там скучная, до последней реакции расписанная автоматика. И всё равно: два страшнейших крушения последних лет устроил не ИИ, а самая базовая автоматика. В 2018 и 2019 разбились два новых Боинга 737 MAX — 346 человек погибло. Виновата была крошечная программа, которая по одному датчику опускала нос самолёта вниз. Не нейросеть, а простой кусок кода, «проверенный людьми». Просто по-настоящему важные программы настолько сложные, что те, кто их использует и на ком в итоге лежит ответственность, просто не могут понять, если что-то идёт не так.

Зато там, где ИИ работает в открытую, он уже отвечает за жизни — и справляется на отлично. В больницах ИИ замечает надвигающийся сепсис или инсульт на снимке раньше врача. Ставит диагноз по снимку глаза без доктора. Находит на маммограмме опухоль, которую пропустил бы усталый взгляд. А нейросеть, разгадавшая форму почти всех известных белков — то, над чем бились десятилетиями, — уже создаёт новые лекарства. За это даже дали Нобелевку.

А корень всего — страх. Страх неизвестного и страх выпустить руль из рук. Мы ведь боимся самолёта сильнее, чем машины, хотя на дорогах гибнет несравнимо больше людей. Просто в машине руль у нас в руках — и страх отступает, хотя риск на самом деле выше. Вот она, та самая иллюзия контроля.

А ведь именно там, где человек теряет контроль или не успевает, машина выручает. Автомобиль тормозит за ту долю секунды, которой у нас нет, — и аварий с наездом сзади становится вдвое меньше. ИИ на линии скорой распознаёт остановку сердца по голосу и дыханию в трубке — ловит те звонки, что пропустил бы живой оператор, да ещё в разы быстрее. Там, где мы замираем, теряемся или просто не слышим, — ИИ уже действует.

Доверие ведь никогда не держалось на том, что мы всё понимаем. (Я, кстати, доверила ИИ-ассистенту собственные дела и здоровье — как я его собирала, рассказывала здесь). Только на том, кто честно заслужил его делом. Поэтому считаю, что должно быть больше позитивных новостей про пользу ИИ! Ведь страх обычно появляется от незнания и непонимания.

Так уже было сто раз. Когда в дома проводили электричество, люди не решались щёлкнуть выключателем: вдруг убьёт током, вдруг вспыхнет пожар, вдруг эта невидимая сила в стенах опасна сама по себе. А первый телефон казался почти колдовством — голос живого человека звучит из коробки, а самого его не видно и не потрогать. Сегодня мы включаем свет не глядя и болтаем по телефону часами. Пройдёт время — и страшный непонятный ИИ станет такой же привычкой, а нынешний страх будут вспоминать с улыбкой)

А теперь честно: вы сели бы в самолёт без пилота, если бы статистика была вдвое лучше сегодняшней? И где для вас проходит граница — машина, самолёт, операционная? Мне очень интересно, где именно вы говорите «нет».

Фото: Waymo — TaurusEmerald, кабина лайнера — Niklitov, Boeing 737 MAX — pkaren (Wikimedia Commons, CC BY-SA). Мемориал в Юберлингене — Thomas Berendes (public domain).