Чем понятнее искусственный интеллект, тем хуже он работает Статьи редакции
Почему — объясняет ведущий инженер Google Кэсси Козырьков.
Сегодня объяснимый ИИ привлекает как никогда много внимания. Однако он не может обеспечить желаемый уровень защиты.
А пока нами совсем не овладела шумиха, давайте поразмыслим над выражением, которое мне часто приходится слышать: «Чтобы доверять ИИ, мы должны уметь объяснить, как он принимает решения».
Всё дело в сложности
Некоторые задачи настолько сложны, что автоматизировать их выполнение, дав подробные, явные инструкции, невозможно.
Смысл ИИ в другом: объяснив системе что-то с помощью примеров, вы избавляете себя от головной боли — самостоятельного выведения инструкций. Это становится работой алгоритма.
Как мы можем довериться чему-то, что не понимаем
Теперь, когда можно автоматизировать области, где прежде создать модель (список правил или инструкцию) самостоятельно было сложно, мы надеемся, что сможем понять, как эта модель работает? «Рецепт» с миллионом скучных ингредиентов компьютер запомнит с лёгкостью, а человека он поставит в тупик.
Итак, если мы попросту не способны развязать этот запутанный узел и выяснить, как та или иная система приходит к определённому решению, почему же мы должны ей доверять?
Представьте, что перед вами две ракеты. Первая никогда не летала, но у вас есть точные расчёты, объясняющие, как она работает. Как летает вторая — загадка, но она прошла внушительные проверки, и на её счету множество успешных миссий вроде той, в которую отправитесь вы. Какую ракету вы выберете?
Вопрос больше философский, поэтому ответить за вас я не могу. Могу поручиться лишь за свой выбор — может, во мне здесь говорит статистик — в качестве основы доверия я бы предпочла тестирование.
Тестирование — лучшая основа доверия
Желая, чтобы ученик запомнил какую-то формулу, мы должны стремиться к тому, чтобы он вышел за рамки учебника, а не «чересчур точно описывал» формулу (в ИИ это называется «переобучение»). Как же убедиться, что ученик подготовлен?
Для начала: не нужно браться за скальпель и выискивать, как он проводит расчёты, в черепе. То же самое — интерпретировать модель. Вы понятия не имеете, как мозг применяет ту или иную формулу (поскольку ни учёные, ни вы не можете описать электрохимические процессы, в нём протекающие). Но ничего: в любом случае это не самая надёжная опора.
Ваш тест должен быть построен таким образом, чтобы уловить «переобучение» (лучше всего со следа сбивают новые данные) и быть связанным со средой, в которой, повторю, ученику придётся показывать знания. Эксперты по прикладному ИИ относятся к статистическим проверкам со всей серьёзностью. Вам тоже следует.
Объяснимый ИИ
Утверждаю ли я, что интерпретируемость, прозрачность и объяснимость не важны? Вовсе нет. Их место в аналитике.
Нередко в спорах об интерпретируемости я замечаю: во-первых, участники не слышат друг друга, а во-вторых — смешивают разные области прикладной науки о данных. Их интересуют два разных класса приложений.
Если, например, приложению предстоит самому искать проблемы для решения (другими словами, это продвинутая система аналитики, дополненная ИИ), тогда, конечно, вам нужна интерпретируемость. Как тут задействовать чёрный ящик? С большими трудностями.
Совсем иное требование — безопасная и надёжная автоматизированная система, принимающая решения, где главную роль играет результативность. Если ваш проект требует и того и другого, можно совместить два этих параметра за определённую сумму, но в таком случае результаты будут хуже по каждому из них. Не стоит платить за то, что вам не нужно.
Работа исследователей — создавать универсальные инструменты, за которыми пока нет никакого делового проекта (или проектной цели), поэтому, как и продавцы всяких безделушек, они с радостью расскажут о пользе своих разработок любому, кто готов выслушать. Далеко не всем нужна, допустим, навороченная тёрка — всё зависит от поставленных целей. То же касается интерпретируемости и объяснимого ИИ.
Увлечённость устройством
Если вас завораживает именно принцип работы чего-либо, в вас говорит исследовательский инстинкт. Он-то и помогает воспитать хорошего ученика, сформировать очередной мозг, построить новый космический корабль или новую микроволновку.
В прикладной науке о данных любовь к механизму, устройству — замечательная черта характера. Видеть принципы работы машины — значит обнажать потенциальные проблемы и не упускать намечающиеся возможности. Если вы обрабатываете данные просто так, пока не нащупав цели, отправьте все чёрные ящики на свалку вместе со вчерашним мусором.
К сожалению, это же качество собьёт вас с пути, если ориентиром служит производительность.
Расхожее заблуждение
Многие требуют точного описания устройства системы. ИИ у таких людей вызывает чуть ли не рефлекторную реакцию: «Если я не знаю, как думает компьютер, я не могу доверить ему принятие решений».
Если вы отказываетесь доверять решение чему-то, чьё устройство вы не понимаете, что ж, тогда вам стоит уволить всех людей, ведь никто не знает, как принимает решения человеческий мозг (с сотней миллионов нейронов!).
Искусственный интеллект и сверхчеловеческие стандарты
Если вы требуете объяснения (интерпретации) того, как человек пришёл к тому или иному решению на уровне модели, вам должно хватить ответа в терминах нейробиологии. Но хоть один из ваших друзей объясняет, почему он заказал кофе вместо чая, используя научные термины? Нет.
Человек поступает иначе: изучает данные и выбор, а затем пытается как-то их связать. Вот, собственно, и объяснимый ИИ. Учёные, занимающиеся поведенческой экономикой, получают удовольствие, закладывая в голову ничего не подозревающей жертвы, например участника эксперимента, какую-либо идею. Затем с радостью выслушивают историю о том, «почему» было принято то или иное решение (хотя на деле его принял исследователь).
Каждый раз, когда появляется удобный и простой нарратив, описывающий и входные и выходные данные, появляется и универсальное объяснение принципов работы любой модели: просто взгляните на вход и выход и расскажите милую историю. Вся суть аналитики.
Дополнительная аналитика — идея неплохая, когда она вам по карману. Самые проницательные решения в объяснимом ИИ направлены на анализ входных и выходных данных. Разумеется, продать это попытаются как новинку, но ничего, кроме старой доброй формулы «взгляни на данные и убедись, что они понятны», здесь не будет.
Я не беру в расчёт точность. Единственное, что меня не устраивает: такие разработки представляют как основу доверия. Да, объяснимый ИИ годится для многих задач, но то, как с ним обращаются, обсуждая проблемы доверия, — пренебрежение этим самым доверием.
Объяснимость даёт лишь приблизительный набросок, «почему» решение было принято, но ни слова не говорит о том, «как». Он может подсказать, в каком направлении двигаться, но доверие, выстроенное лишь на интерпретируемости, — всё равно что доверие, основанное на нескольких частях большого пазла.
Вернёмся всё же к такому ИИ, где модель объяснима и где нас не особо волнуют процессы в данных. Иными словами, мы стремимся охватить умом эквивалент миллиардов клеток в нашем мозге, чтобы объяснить, как на самом деле ваш друг выбрал кофе.
Интерпретируемость и результативность
В идеальном мире вы бы предпочли безупречную производительность и полную интерпретируемость, но в повседневной жизни приходится выбирать. Знаете, как называется задача, где можно получить и то и другое? Простая, доступная и, возможно, уже решённая без помощи ИИ.
Теперь давайте поговорим о задачах, недоступных пониманию. Тех, с которыми мозг справляется, не объясняя, как. Или тех, где сигнал — тонкая иголка, затерявшаяся в огромном стоге комбинаций признаков. Тех, которые заставляют обратиться к ИИ в первую очередь. Тут приходится выбирать между:
- интерпретируемостью: вы понимаете устройство системы, но она работает плохо;
- производительностью: вы не понимаете устройство системы, но она работает хорошо.
Помните, объяснение может подойти под любую модель, и заняться им можно при наличии сил и времени, выведя в почти что отдельный проект. Подлинная интерпретируемость, однако, снизит результативность, если задача требует сложных алгоритмов.
Всё дело в том, что порой задача настолько сложна, что верное решение будет представлять собой такую путаницу, за которой не разобрать устройство системы. В лучшем случае вы сможете чересчур упроститьеё, задействовав аналитику.
Чтобы добиться ощутимого успеха в решении подобных задач, нужно выбросить всё из головы. Чувства были бы не слишком эффективны, если бы регулировались доступно. Понять устройство мозга плодовой мушки гораздо проще, чем устройство мозга человека, но готова поспорить: вам не захочется меняться местами по собственной воле. Вам больше по душе человеческая производительность.
Да, располагать хорошей производительностью при понятной организации очень здорово, и определённые задачи довольно просты, чтобы их можно было решить с учётом всех ваших пожеланий. Но если нельзя получить всё и сразу, не лучше ли обратиться прямиком к тому, что показало себя в деле? Я имею в виду результативность, подтверждённую тщательными испытаниями.
Подводные камни самооценки
Многие по-прежнему видят в понятной механике лучшую основу доверия. Например, они выберут никогда не летавший корабль, но его устройство понятно.
И хотя здоровая самоуверенность не вредит, стоит подчеркнуть: ясность — шаг в сторону от результативности. Предпочитающие ей доступность, возможно, слишком сильно полагаются на способность быстро перескочить со сложного механизма к ожидаемым действиям. Будем надеяться, они достаточно умны, чтобы не сесть в лужу.
Не всё в жизни просто
Вкратце: простые решения не работают, когда задача требует сложных. Поэтому ИИ приходит на помощь, принося с собой замысловатые инструменты. Желание превратить сложное в простое не делает его таковым. Если правила диктуют, что по природе сложная вещь должна быть простой, перед вами тактичный намёк: не получится вообще ничего. Иногда это к лучшему.
Почему решения ИИ-алгоритмов порой сложнее, нежели код, который вы написали своими руками? Компьютер способен запомнить (записать на диск) миллиарды образцов, что человеку не по силам, машина не закрывает глаза на мелочи, как это делаем мы. Ей не скучно писать миллионы строк инструкций.
В компьютерной памяти нет ничего нового, но сегодня вычислительные мощи позволяют нам существенно масштабировать её. Прошло несколько тысячелетий простых команд, укладывающихся в памяти человека. Пора перевернуть страницу.
Сегодня нам по силам автоматизировать выполнение самых разных задач сложнейшими алгоритмами — некоторые сложны настолько, что объяснить их за чашкой чая никак не выйдет. И лучше бы к этому привыкнуть.
Меня одного удивляет имя - Кэсси Козырьков. Может, Козырькова? Или Козыркофф?
Или это транс?
Cassie Kozyrkov на линкедине можете посмотреть
И, кстати, правильно ЛинкдИн
ЛинкедИн - это колхоз
Андрей, я прошу прощения за свою тупость. Простите меня пожалуйста.
вы забыли сказать что больше так не будете
И вообще правильно писать линкедЫн
Тогда правильно Кэсси Козырков
Девушка у которой родители из какой-то славянской семьи, но она уже родилась в США.
Самый обсуждаемый коммент в классной статье про ИИ - фамилия автора 🤦♂️🤦♂️🤦♂️
а ты российские и деревенские правила склонения фамилий не применяй и не будет удивления
Почему-то я не должен их применять, когда речь идет о русском языке?
Или ты у нас сторонник говорить "Я пойду покушаю в Макдондалдс" вместо того, чтобы сказать по-нормальному "Я пойду покушаю в Макдональдсе"?
речь не идет о русском языке, её фамилия Kozyrkov, фамилию она или её муж, или родители получили в соответствии с местными правилами склонения фамилий. если это было в сша, то фамилии не склоняются
Тогда и не нужно пихать мягкий знак, а то звучит нелепо. Козырков. Или Козирков. Как слышим, так и пишем.
не представляешь насколько это безразлично всем кроме тебя
я пойду покушаю в каэфси или в каэфсисе?
КэйЭфСи. Оба неправильно написали
Это аббревиатура, а потому не склоняется.
встретимся в ЗАГС или по нормальному в ЗАГСе?
Вы наверное и свой ник произносите как Цитизен Дай)
я его стараюсь не произносить в культурном обществе
Ваши комментарии бесценны
аббревиатуры не склоняются, если главное слово - женского рода: дорога, например, на МКАД. ЗАГС - главное слово - запись. Не склоняется значит.
киэфси́ все говорят
В русском языке женские имена и фамилии, заканчивающиеся на согласную, не склоняются: у "Жаклин Йоввович отобрали булку". Почему вас смущает, что транслитерацию "Kozyrkov" не склоняют?
А что не так с фразой "Я пойду покушаю в Макдондалдс"? Пойду (куда?) - в Макдоналдс.
Покушаю
Вы филолог? :)
бесят эти холопы, да?
В каком месте транс? Красивая девушка.
Так там места-то не видно, в каком может быть транс
Дальше читал на быстрой прокрутке. Теперь понятно, почему Бостон Динамикс был продан Гуглом.
Поясни для тупых, а то я так и не понял почему он был продан. Ну, просто я бы тоже выбрал 2 ракету. Или тут связь не в этом? Крч, я тупой, поясни свой комментарий, пожалуйста.
Гугл считает, что их позиция единственно верная, но в тоже время бостон динамикс делает первую ракету. И у них неплохо получается.
Я бы не полетел ни на какой из этих ракет. Загонка читателя в подобные рамки - очень наглая манипуляция. Этот юзкейс далек от реальности. Читатель должен лететь на ракете, которая известно как работает и хорошо оттестирована.
И, кстати, нейронки запрещены к внедрению в авиации (не говоря уже о ракетах), именно из-за отсутствия понимания как она работает.
Вот заметно что вы читали на быстрой прокрутке :)
я сначала думал что это перевод калечный, но почитал первоисточник - и понял что это стиль кэсси калечный.
в статье она так столько говорит о риске "oversimplify", и говорит это таким ужасно сложным для восприятия языком, хотя аналогии тривиальны.
один из самых жестких примеров графоманства, которые я видел.
У неё проф. деформация от ИИ. Никто не знает почему она пишет эти слова, но проверку на синтаксис она прошла.
Комментарий удален модератором
Людям просто нужно другой название - человеку не в теме тяжело понять.
Искусственный интеллект это не копия человеческого мозга - тут нет задачи скопировать его сознание, эмоции. Задачи ИИ вполне конкретные - грубо говоря решать задачи и делать выводы на базе самообучения.
Ну это определение больше похоже, на машинное обучение, а не на ИИ.
ИИ все же подразумевает некую разумность имхо.
МО это одно из направлений ИИ и вроде как одно из самых перспективных сейчас.
Но даже если это не брать в расчёт, в статье конечно же имеются ввиду вполне практические вещи а не то, что любят представлять люди (терминаторы, матрица и все такое 🤗).
Комментарий удален модератором
Комментарий удален модератором
«Если вы отказываетесь доверять решение чему-то, чьё устройство вы не понимаете, что ж, тогда вам стоит уволить всех людей, ведь никто не знает, как принимает решения человеческий мозг (с сотней миллионов нейронов!)»
Постойте, гражданочка. Во-первых, мозговая мифология редукционизма психики до мозговых процессов это один из мифов метафизики материализма (физикализма) в основе современного догматического саентизма материалистов, далекого от подлинной науки. Вы можете, конечно, верить в любые мифы, которые вам нравятся, но обосновывать ими свою легкомысленность в отношении рисков развития ИИ, по меньшей мере, глупо. И тем более глупо ставить компьютерный алгоритм на один уровень с чудом нашей экзистенции. Во-вторых, учитывая все связанные с ИИ проблемы (вот хороший свежий отчет по теме: https://ainowinstitute.org/AI_Now_2018_Report.pdf), не лучше ли сначала понять как работает то, от чего уже совсем скоро будут зависеть судьбы и даже жизни миллионов (а учитывая возможное военное применение ИИ — миллиарды) людей? Как бы с вашим и подобным вашему легкомыслием мы ни дожили до ситуации, когда этическая дилемма “baby Hitler” уступит место дилемме “baby AI developers”
Вас я не понял больше, чем эту статью. Пойду перечитаю, в статье слишком много одинаковых слов, пестрят заголовки. Мне попробовали объяснить необъяснимое необъяснимыми словами, я не допер
Комментарий удален модератором
https://twitter.com/quaesita
вы почему такие тупые?
Был мальчик, была у него фамилия - Козырьков...
Мальчик встретил девочку Кэсси.
Они это, того, короче поженились.
И теперь у Кэсси фамилия Козырьков.
Как по мне ваша логика тривиальна, Поясню на примере: мальчик Миша Иванов встречает девочку Машу они это того..😅 - Маша становится Иванова. Саша Царев встречает Вику - Вика становится Царева. Мне в начале была тоже странной фамилия Корырьков. А потом я вдруг осознал это ведь штаты , а там у них все фамилии фактически не склоняются.