Чем понятнее искусственный интеллект, тем хуже он работает

Почему — объясняет ведущий инженер Google Кэсси Козырьков.

Сегодня объяснимый ИИ привлекает как никогда много внимания. Однако он не может обеспечить желаемый уровень защиты.

А пока нами совсем не овладела шумиха, давайте поразмыслим над выражением, которое мне часто приходится слышать: «Чтобы доверять ИИ, мы должны уметь объяснить, как он принимает решения».

Некоторые задачи настолько сложны, что автоматизировать их выполнение, дав подробные, явные инструкции, невозможно.

Смысл ИИ в другом: объяснив системе что-то с помощью примеров, вы избавляете себя от головной боли — самостоятельного выведения инструкций. Это становится работой алгоритма.

Теперь, когда можно автоматизировать области, где прежде создать модель (список правил или инструкцию) самостоятельно было сложно, мы надеемся, что сможем понять, как эта модель работает? «Рецепт» с миллионом скучных ингредиентов компьютер запомнит с лёгкостью, а человека он поставит в тупик.

Итак, если мы попросту не способны развязать этот запутанный узел и выяснить, как та или иная система приходит к определённому решению, почему же мы должны ей доверять?

Представьте, что перед вами две ракеты. Первая никогда не летала, но у вас есть точные расчёты, объясняющие, как она работает. Как летает вторая — загадка, но она прошла внушительные проверки, и на её счету множество успешных миссий вроде той, в которую отправитесь вы. Какую ракету вы выберете?

Вопрос больше философский, поэтому ответить за вас я не могу. Могу поручиться лишь за свой выбор — может, во мне здесь говорит статистик — в качестве основы доверия я бы предпочла тестирование.

Желая, чтобы ученик запомнил какую-то формулу, мы должны стремиться к тому, чтобы он вышел за рамки учебника, а не «чересчур точно описывал» формулу (в ИИ это называется «переобучение»). Как же убедиться, что ученик подготовлен?

Для начала: не нужно браться за скальпель и выискивать, как он проводит расчёты, в черепе. То же самое — интерпретировать модель. Вы понятия не имеете, как мозг применяет ту или иную формулу (поскольку ни учёные, ни вы не можете описать электрохимические процессы, в нём протекающие). Но ничего: в любом случае это не самая надёжная опора.

Ваш тест должен быть построен таким образом, чтобы уловить «переобучение» (лучше всего со следа сбивают новые данные) и быть связанным со средой, в которой, повторю, ученику придётся показывать знания. Эксперты по прикладному ИИ относятся к статистическим проверкам со всей серьёзностью. Вам тоже следует.

Утверждаю ли я, что интерпретируемость, прозрачность и объяснимость не важны? Вовсе нет. Их место в аналитике.

Нередко в спорах об интерпретируемости я замечаю: во-первых, участники не слышат друг друга, а во-вторых — смешивают разные области прикладной науки о данных. Их интересуют два разных класса приложений.

Если, например, приложению предстоит самому искать проблемы для решения (другими словами, это продвинутая система аналитики, дополненная ИИ), тогда, конечно, вам нужна интерпретируемость. Как тут задействовать чёрный ящик? С большими трудностями.

Совсем иное требование — безопасная и надёжная автоматизированная система, принимающая решения, где главную роль играет результативность. Если ваш проект требует и того и другого, можно совместить два этих параметра за определённую сумму, но в таком случае результаты будут хуже по каждому из них. Не стоит платить за то, что вам не нужно.

Работа исследователей — создавать универсальные инструменты, за которыми пока нет никакого делового проекта (или проектной цели), поэтому, как и продавцы всяких безделушек, они с радостью расскажут о пользе своих разработок любому, кто готов выслушать. Далеко не всем нужна, допустим, навороченная тёрка — всё зависит от поставленных целей. То же касается интерпретируемости и объяснимого ИИ.

Если вас завораживает именно принцип работы чего-либо, в вас говорит исследовательский инстинкт. Он-то и помогает воспитать хорошего ученика, сформировать очередной мозг, построить новый космический корабль или новую микроволновку.

В прикладной науке о данных любовь к механизму, устройству — замечательная черта характера. Видеть принципы работы машины — значит обнажать потенциальные проблемы и не упускать намечающиеся возможности. Если вы обрабатываете данные просто так, пока не нащупав цели, отправьте все чёрные ящики на свалку вместе со вчерашним мусором.

К сожалению, это же качество собьёт вас с пути, если ориентиром служит производительность.

Многие требуют точного описания устройства системы. ИИ у таких людей вызывает чуть ли не рефлекторную реакцию: «Если я не знаю, как думает компьютер, я не могу доверить ему принятие решений».

Если вы отказываетесь доверять решение чему-то, чьё устройство вы не понимаете, что ж, тогда вам стоит уволить всех людей, ведь никто не знает, как принимает решения человеческий мозг (с сотней миллионов нейронов!).

Если вы требуете объяснения (интерпретации) того, как человек пришёл к тому или иному решению на уровне модели, вам должно хватить ответа в терминах нейробиологии. Но хоть один из ваших друзей объясняет, почему он заказал кофе вместо чая, используя научные термины? Нет.

Человек поступает иначе: изучает данные и выбор, а затем пытается как-то их связать. Вот, собственно, и объяснимый ИИ. Учёные, занимающиеся поведенческой экономикой, получают удовольствие, закладывая в голову ничего не подозревающей жертвы, например участника эксперимента, какую-либо идею. Затем с радостью выслушивают историю о том, «почему» было принято то или иное решение (хотя на деле его принял исследователь).

Каждый раз, когда появляется удобный и простой нарратив, описывающий и входные и выходные данные, появляется и универсальное объяснение принципов работы любой модели: просто взгляните на вход и выход и расскажите милую историю. Вся суть аналитики.

Дополнительная аналитика — идея неплохая, когда она вам по карману. Самые проницательные решения в объяснимом ИИ направлены на анализ входных и выходных данных. Разумеется, продать это попытаются как новинку, но ничего, кроме старой доброй формулы «взгляни на данные и убедись, что они понятны», здесь не будет.

Я не беру в расчёт точность. Единственное, что меня не устраивает: такие разработки представляют как основу доверия. Да, объяснимый ИИ годится для многих задач, но то, как с ним обращаются, обсуждая проблемы доверия, — пренебрежение этим самым доверием.

Объяснимость даёт лишь приблизительный набросок, «почему» решение было принято, но ни слова не говорит о том, «как». Он может подсказать, в каком направлении двигаться, но доверие, выстроенное лишь на интерпретируемости, — всё равно что доверие, основанное на нескольких частях большого пазла.

Вернёмся всё же к такому ИИ, где модель объяснима и где нас не особо волнуют процессы в данных. Иными словами, мы стремимся охватить умом эквивалент миллиардов клеток в нашем мозге, чтобы объяснить, как на самом деле ваш друг выбрал кофе.

В идеальном мире вы бы предпочли безупречную производительность и полную интерпретируемость, но в повседневной жизни приходится выбирать. Знаете, как называется задача, где можно получить и то и другое? Простая, доступная и, возможно, уже решённая без помощи ИИ.

Теперь давайте поговорим о задачах, недоступных пониманию. Тех, с которыми мозг справляется, не объясняя, как. Или тех, где сигнал — тонкая иголка, затерявшаяся в огромном стоге комбинаций признаков. Тех, которые заставляют обратиться к ИИ в первую очередь. Тут приходится выбирать между:

Помните, объяснение может подойти под любую модель, и заняться им можно при наличии сил и времени, выведя в почти что отдельный проект. Подлинная интерпретируемость, однако, снизит результативность, если задача требует сложных алгоритмов.

Всё дело в том, что порой задача настолько сложна, что верное решение будет представлять собой такую путаницу, за которой не разобрать устройство системы. В лучшем случае вы сможете чересчур упроститьеё, задействовав аналитику.

Чтобы добиться ощутимого успеха в решении подобных задач, нужно выбросить всё из головы. Чувства были бы не слишком эффективны, если бы регулировались доступно. Понять устройство мозга плодовой мушки гораздо проще, чем устройство мозга человека, но готова поспорить: вам не захочется меняться местами по собственной воле. Вам больше по душе человеческая производительность.

Да, располагать хорошей производительностью при понятной организации очень здорово, и определённые задачи довольно просты, чтобы их можно было решить с учётом всех ваших пожеланий. Но если нельзя получить всё и сразу, не лучше ли обратиться прямиком к тому, что показало себя в деле? Я имею в виду результативность, подтверждённую тщательными испытаниями.

Многие по-прежнему видят в понятной механике лучшую основу доверия. Например, они выберут никогда не летавший корабль, но его устройство понятно.

И хотя здоровая самоуверенность не вредит, стоит подчеркнуть: ясность — шаг в сторону от результативности. Предпочитающие ей доступность, возможно, слишком сильно полагаются на способность быстро перескочить со сложного механизма к ожидаемым действиям. Будем надеяться, они достаточно умны, чтобы не сесть в лужу.

Вкратце: простые решения не работают, когда задача требует сложных. Поэтому ИИ приходит на помощь, принося с собой замысловатые инструменты. Желание превратить сложное в простое не делает его таковым. Если правила диктуют, что по природе сложная вещь должна быть простой, перед вами тактичный намёк: не получится вообще ничего. Иногда это к лучшему.

Почему решения ИИ-алгоритмов порой сложнее, нежели код, который вы написали своими руками? Компьютер способен запомнить (записать на диск) миллиарды образцов, что человеку не по силам, машина не закрывает глаза на мелочи, как это делаем мы. Ей не скучно писать миллионы строк инструкций.

В компьютерной памяти нет ничего нового, но сегодня вычислительные мощи позволяют нам существенно масштабировать её. Прошло несколько тысячелетий простых команд, укладывающихся в памяти человека. Пора перевернуть страницу.

Сегодня нам по силам автоматизировать выполнение самых разных задач сложнейшими алгоритмами — некоторые сложны настолько, что объяснить их за чашкой чая никак не выйдет. И лучше бы к этому привыкнуть.

#искусственныйинтеллект