Чем понятнее искусственный интеллект, тем хуже он работает Статьи редакции

Почему — объясняет ведущий инженер Google Кэсси Козырьков.

Кэсси Козырьков futurezone.de

Сегодня объяснимый ИИ привлекает как никогда много внимания. Однако он не может обеспечить желаемый уровень защиты.

А пока нами совсем не овладела шумиха, давайте поразмыслим над выражением, которое мне часто приходится слышать: «Чтобы доверять ИИ, мы должны уметь объяснить, как он принимает решения».

Всё дело в сложности

Некоторые задачи настолько сложны, что автоматизировать их выполнение, дав подробные, явные инструкции, невозможно.

ИИ нацелен на автоматизацию невыразимого, но не думайте, что невыразимое легко усвоить.

Смысл ИИ в другом: объяснив системе что-то с помощью примеров, вы избавляете себя от головной боли — самостоятельного выведения инструкций. Это становится работой алгоритма.

Как мы можем довериться чему-то, что не понимаем

Теперь, когда можно автоматизировать области, где прежде создать модель (список правил или инструкцию) самостоятельно было сложно, мы надеемся, что сможем понять, как эта модель работает? «Рецепт» с миллионом скучных ингредиентов компьютер запомнит с лёгкостью, а человека он поставит в тупик.

Итак, если мы попросту не способны развязать этот запутанный узел и выяснить, как та или иная система приходит к определённому решению, почему же мы должны ей доверять?

Представьте, что перед вами две ракеты. Первая никогда не летала, но у вас есть точные расчёты, объясняющие, как она работает. Как летает вторая — загадка, но она прошла внушительные проверки, и на её счету множество успешных миссий вроде той, в которую отправитесь вы. Какую ракету вы выберете?

Вопрос больше философский, поэтому ответить за вас я не могу. Могу поручиться лишь за свой выбор — может, во мне здесь говорит статистик — в качестве основы доверия я бы предпочла тестирование.

Обстоятельные испытания, уверенность в том, что система работает, как предполагается, — именно это вас и оберегает.

Тестирование — лучшая основа доверия

Желая, чтобы ученик запомнил какую-то формулу, мы должны стремиться к тому, чтобы он вышел за рамки учебника, а не «чересчур точно описывал» формулу (в ИИ это называется «переобучение»). Как же убедиться, что ученик подготовлен?

Для начала: не нужно браться за скальпель и выискивать, как он проводит расчёты, в черепе. То же самое — интерпретировать модель. Вы понятия не имеете, как мозг применяет ту или иную формулу (поскольку ни учёные, ни вы не можете описать электрохимические процессы, в нём протекающие). Но ничего: в любом случае это не самая надёжная опора.

Придумайте такую проверку, которая укрепит знания подопечного и будет соответствовать условиям, где ему придётся действовать.

Продумайте экзамен со всех сторон, и если ваш ученик — человек или машина — успешно его сдал, будьте уверены: он готов. Похожим образом проходит тестирование ИИ-систем.

Ваш тест должен быть построен таким образом, чтобы уловить «переобучение» (лучше всего со следа сбивают новые данные) и быть связанным со средой, в которой, повторю, ученику придётся показывать знания. Эксперты по прикладному ИИ относятся к статистическим проверкам со всей серьёзностью. Вам тоже следует.

Объяснимый ИИ

Утверждаю ли я, что интерпретируемость, прозрачность и объяснимость не важны? Вовсе нет. Их место в аналитике.

Нередко в спорах об интерпретируемости я замечаю: во-первых, участники не слышат друг друга, а во-вторых — смешивают разные области прикладной науки о данных. Их интересуют два разных класса приложений.

Если, например, приложению предстоит самому искать проблемы для решения (другими словами, это продвинутая система аналитики, дополненная ИИ), тогда, конечно, вам нужна интерпретируемость. Как тут задействовать чёрный ящик? С большими трудностями.

Совсем иное требование — безопасная и надёжная автоматизированная система, принимающая решения, где главную роль играет результативность. Если ваш проект требует и того и другого, можно совместить два этих параметра за определённую сумму, но в таком случае результаты будут хуже по каждому из них. Не стоит платить за то, что вам не нужно.

Всё сводится к применению алгоритмов. Спорить не о чем, если обсуждать вопрос с точки зрения целей проекта.

Работа исследователей — создавать универсальные инструменты, за которыми пока нет никакого делового проекта (или проектной цели), поэтому, как и продавцы всяких безделушек, они с радостью расскажут о пользе своих разработок любому, кто готов выслушать. Далеко не всем нужна, допустим, навороченная тёрка — всё зависит от поставленных целей. То же касается интерпретируемости и объяснимого ИИ.

Увлечённость устройством

Если вас завораживает именно принцип работы чего-либо, в вас говорит исследовательский инстинкт. Он-то и помогает воспитать хорошего ученика, сформировать очередной мозг, построить новый космический корабль или новую микроволновку.

Неразбериха происходит из-за незнания, в какой области ИИ вы действуете. Аргументы, релевантные для исследователей (строят лучшие корабли), едва ли подходят тем, кто применяет ИИ на практике (решает проблемы с существующими кораблями).

В прикладной науке о данных любовь к механизму, устройству — замечательная черта характера. Видеть принципы работы машины — значит обнажать потенциальные проблемы и не упускать намечающиеся возможности. Если вы обрабатываете данные просто так, пока не нащупав цели, отправьте все чёрные ящики на свалку вместе со вчерашним мусором.

К сожалению, это же качество собьёт вас с пути, если ориентиром служит производительность.

Canard Digérateur, «Переваривающая утка»

Расхожее заблуждение

Многие требуют точного описания устройства системы. ИИ у таких людей вызывает чуть ли не рефлекторную реакцию: «Если я не знаю, как думает компьютер, я не могу доверить ему принятие решений».

Если вы отказываетесь доверять решение чему-то, чьё устройство вы не понимаете, что ж, тогда вам стоит уволить всех людей, ведь никто не знает, как принимает решения человеческий мозг (с сотней миллионов нейронов!).

Искусственный интеллект и сверхчеловеческие стандарты

Если вы требуете объяснения (интерпретации) того, как человек пришёл к тому или иному решению на уровне модели, вам должно хватить ответа в терминах нейробиологии. Но хоть один из ваших друзей объясняет, почему он заказал кофе вместо чая, используя научные термины? Нет.

Человек поступает иначе: изучает данные и выбор, а затем пытается как-то их связать. Вот, собственно, и объяснимый ИИ. Учёные, занимающиеся поведенческой экономикой, получают удовольствие, закладывая в голову ничего не подозревающей жертвы, например участника эксперимента, какую-либо идею. Затем с радостью выслушивают историю о том, «почему» было принято то или иное решение (хотя на деле его принял исследователь).

Каждый раз, когда появляется удобный и простой нарратив, описывающий и входные и выходные данные, появляется и универсальное объяснение принципов работы любой модели: просто взгляните на вход и выход и расскажите милую историю. Вся суть аналитики.

Когда объяснение проще результата, оно неверно. Такая интерпретация скорее напоминает игрушку, которую мама даёт ребенку на ночь, чтобы ему не было страшно.

Дополнительная аналитика — идея неплохая, когда она вам по карману. Самые проницательные решения в объяснимом ИИ направлены на анализ входных и выходных данных. Разумеется, продать это попытаются как новинку, но ничего, кроме старой доброй формулы «взгляни на данные и убедись, что они понятны», здесь не будет.

Я не беру в расчёт точность. Единственное, что меня не устраивает: такие разработки представляют как основу доверия. Да, объяснимый ИИ годится для многих задач, но то, как с ним обращаются, обсуждая проблемы доверия, — пренебрежение этим самым доверием.

Объяснимость даёт лишь приблизительный набросок, «почему» решение было принято, но ни слова не говорит о том, «как». Он может подсказать, в каком направлении двигаться, но доверие, выстроенное лишь на интерпретируемости, — всё равно что доверие, основанное на нескольких частях большого пазла.

Аналитика без испытаний — билет в один конец к ложному чувству безопасности.

Вернёмся всё же к такому ИИ, где модель объяснима и где нас не особо волнуют процессы в данных. Иными словами, мы стремимся охватить умом эквивалент миллиардов клеток в нашем мозге, чтобы объяснить, как на самом деле ваш друг выбрал кофе.

Интерпретируемость и результативность

В идеальном мире вы бы предпочли безупречную производительность и полную интерпретируемость, но в повседневной жизни приходится выбирать. Знаете, как называется задача, где можно получить и то и другое? Простая, доступная и, возможно, уже решённая без помощи ИИ.

Теперь давайте поговорим о задачах, недоступных пониманию. Тех, с которыми мозг справляется, не объясняя, как. Или тех, где сигнал — тонкая иголка, затерявшаяся в огромном стоге комбинаций признаков. Тех, которые заставляют обратиться к ИИ в первую очередь. Тут приходится выбирать между:

  • интерпретируемостью: вы понимаете устройство системы, но она работает плохо;
  • производительностью: вы не понимаете устройство системы, но она работает хорошо.

Помните, объяснение может подойти под любую модель, и заняться им можно при наличии сил и времени, выведя в почти что отдельный проект. Подлинная интерпретируемость, однако, снизит результативность, если задача требует сложных алгоритмов.

Когда в приоритете результативность — не ограничивайте себя решениями, объяснимыми простым человеческим разумом. Вы же хотите автоматизировать невыразимое, помните?

Всё дело в том, что порой задача настолько сложна, что верное решение будет представлять собой такую путаницу, за которой не разобрать устройство системы. В лучшем случае вы сможете чересчур упроститьеё, задействовав аналитику.

Чтобы добиться ощутимого успеха в решении подобных задач, нужно выбросить всё из головы. Чувства были бы не слишком эффективны, если бы регулировались доступно. Понять устройство мозга плодовой мушки гораздо проще, чем устройство мозга человека, но готова поспорить: вам не захочется меняться местами по собственной воле. Вам больше по душе человеческая производительность.

Вместо этого доверяйтесь системам, которые, как вы можете убедиться, работают.

Да, располагать хорошей производительностью при понятной организации очень здорово, и определённые задачи довольно просты, чтобы их можно было решить с учётом всех ваших пожеланий. Но если нельзя получить всё и сразу, не лучше ли обратиться прямиком к тому, что показало себя в деле? Я имею в виду результативность, подтверждённую тщательными испытаниями.

Подводные камни самооценки

Многие по-прежнему видят в понятной механике лучшую основу доверия. Например, они выберут никогда не летавший корабль, но его устройство понятно.

И хотя здоровая самоуверенность не вредит, стоит подчеркнуть: ясность — шаг в сторону от результативности. Предпочитающие ей доступность, возможно, слишком сильно полагаются на способность быстро перескочить со сложного механизма к ожидаемым действиям. Будем надеяться, они достаточно умны, чтобы не сесть в лужу.

Не всё в жизни просто

Вкратце: простые решения не работают, когда задача требует сложных. Поэтому ИИ приходит на помощь, принося с собой замысловатые инструменты. Желание превратить сложное в простое не делает его таковым. Если правила диктуют, что по природе сложная вещь должна быть простой, перед вами тактичный намёк: не получится вообще ничего. Иногда это к лучшему.

Почему решения ИИ-алгоритмов порой сложнее, нежели код, который вы написали своими руками? Компьютер способен запомнить (записать на диск) миллиарды образцов, что человеку не по силам, машина не закрывает глаза на мелочи, как это делаем мы. Ей не скучно писать миллионы строк инструкций.

В компьютерной памяти нет ничего нового, но сегодня вычислительные мощи позволяют нам существенно масштабировать её. Прошло несколько тысячелетий простых команд, укладывающихся в памяти человека. Пора перевернуть страницу.

Сегодня нам по силам автоматизировать выполнение самых разных задач сложнейшими алгоритмами — некоторые сложны настолько, что объяснить их за чашкой чая никак не выйдет. И лучше бы к этому привыкнуть.

0
43 комментария
Написать комментарий...
Андрей Викторович

Меня одного удивляет имя - Кэсси Козырьков. Может, Козырькова? Или Козыркофф?
Или это транс?

Ответить
Развернуть ветку
Citizen Di

Cassie Kozyrkov на линкедине можете посмотреть

Ответить
Развернуть ветку
Андрей Викторович

И, кстати, правильно ЛинкдИн

ЛинкедИн - это колхоз

Ответить
Развернуть ветку
Citizen Di

Андрей, я прошу прощения за свою тупость. Простите меня пожалуйста.

Ответить
Развернуть ветку
Богдан Бойко

вы забыли сказать что больше так не будете

Ответить
Развернуть ветку
Владислав Козуля

И вообще правильно писать линкедЫн

Ответить
Развернуть ветку
Андрей Викторович

Тогда правильно Кэсси Козырков

Ответить
Развернуть ветку
Anton Neznamov

Девушка у которой родители из какой-то славянской семьи, но она уже родилась в США.

Ответить
Развернуть ветку
Евгений Алленов

Самый обсуждаемый коммент в классной статье про ИИ - фамилия автора 🤦‍♂️🤦‍♂️🤦‍♂️

Ответить
Развернуть ветку
Konstantin Ivanov

а ты российские и деревенские правила склонения фамилий не применяй и не будет удивления

Ответить
Развернуть ветку
Андрей Викторович

Почему-то я не должен их применять, когда речь идет о русском языке?
Или ты у нас сторонник говорить "Я пойду покушаю в Макдондалдс" вместо того, чтобы сказать по-нормальному "Я пойду покушаю в Макдональдсе"?

Ответить
Развернуть ветку
Konstantin Ivanov

речь не идет о русском языке, её фамилия Kozyrkov, фамилию она или её муж, или родители получили в соответствии с местными правилами склонения фамилий. если это было в сша, то фамилии не склоняются

Ответить
Развернуть ветку
Андрей Викторович

Тогда и не нужно пихать мягкий знак, а то звучит нелепо. Козырков. Или Козирков. Как слышим, так и пишем.

Ответить
Развернуть ветку
Konstantin Ivanov

не представляешь насколько это безразлично всем кроме тебя

Ответить
Развернуть ветку
Citizen Di

я пойду покушаю в каэфси или в каэфсисе?

Ответить
Развернуть ветку
Андрей Викторович

КэйЭфСи. Оба неправильно написали

Это аббревиатура, а потому не склоняется.

Ответить
Развернуть ветку
Citizen Di

встретимся в ЗАГС или по нормальному в ЗАГСе?

Ответить
Развернуть ветку
Андрей Викторович

Вы наверное и свой ник произносите как Цитизен Дай)

Ответить
Развернуть ветку
Citizen Di

я его стараюсь не произносить в культурном обществе

Ответить
Развернуть ветку
Anton Vorobiev

Ваши комментарии бесценны

Ответить
Развернуть ветку
Anton Vorobiev

аббревиатуры не склоняются, если главное слово - женского рода: дорога, например, на МКАД. ЗАГС - главное слово - запись. Не склоняется значит.

Ответить
Развернуть ветку
Станислав Курочкин

киэфси́ все говорят

Ответить
Развернуть ветку
Artem Dzyuba

В русском языке женские имена и фамилии, заканчивающиеся на согласную, не склоняются: у "Жаклин Йоввович отобрали булку". Почему вас смущает, что транслитерацию "Kozyrkov" не склоняют?

Ответить
Развернуть ветку
Станислав Курочкин

А что не так с фразой "Я пойду покушаю в Макдондалдс"? Пойду (куда?) - в Макдоналдс.

Ответить
Развернуть ветку
Konstantin Smirnov

Покушаю

Ответить
Развернуть ветку
Станислав Курочкин

Вы филолог? :)

Ответить
Развернуть ветку
Citizen Di

бесят эти холопы, да?

Ответить
Развернуть ветку
Станислав Курочкин

В каком месте транс? Красивая девушка.

Ответить
Развернуть ветку
Сергей Копылов

Так там места-то не видно, в каком может быть транс

Ответить
Развернуть ветку
Alexey Pomogaev
Представьте, что перед вами две ракеты. Первая никогда не летала, но у вас есть точные расчёты, объясняющие, как она работает. Как летает вторая — загадка, но она прошла внушительные проверки, и на её счету множество успешных миссий вроде той, в которую отправитесь вы. Какую ракету вы выберете?

Дальше читал на быстрой прокрутке. Теперь понятно, почему Бостон Динамикс был продан Гуглом.

Ответить
Развернуть ветку
Dr. Acula

Поясни для тупых, а то я так и не понял почему он был продан. Ну, просто я бы тоже выбрал 2 ракету. Или тут связь не в этом? Крч, я тупой, поясни свой комментарий, пожалуйста.

Ответить
Развернуть ветку
Alexey Pomogaev

Гугл считает, что их позиция единственно верная, но в тоже время бостон динамикс делает первую ракету. И у них неплохо получается.

Я бы не полетел ни на какой из этих ракет. Загонка читателя в подобные рамки - очень наглая манипуляция. Этот юзкейс далек от реальности. Читатель должен лететь на ракете, которая известно как работает и хорошо оттестирована.

И, кстати, нейронки запрещены к внедрению в авиации (не говоря уже о ракетах), именно из-за отсутствия понимания как она работает.

Ответить
Развернуть ветку
Евгений Алленов

Вот заметно что вы читали на быстрой прокрутке :)

Ответить
Развернуть ветку
Anton Ilabanau

я сначала думал что это перевод калечный, но почитал первоисточник - и понял что это стиль кэсси калечный.
в статье она так столько говорит о риске "oversimplify", и говорит это таким ужасно сложным для восприятия языком, хотя аналогии тривиальны.
один из самых жестких примеров графоманства, которые я видел.

Ответить
Развернуть ветку
electric.exo

У неё проф. деформация от ИИ. Никто не знает почему она пишет эти слова, но проверку на синтаксис она прошла.

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Евгений Алленов

Людям просто нужно другой название - человеку не в теме тяжело понять.

Искусственный интеллект это не копия человеческого мозга - тут нет задачи скопировать его сознание, эмоции. Задачи ИИ вполне конкретные - грубо говоря решать задачи и делать выводы на базе самообучения.

Ответить
Развернуть ветку
Ware Wow

Ну это определение больше похоже, на машинное обучение, а не на ИИ.
ИИ все же подразумевает некую разумность имхо.

Ответить
Развернуть ветку
Евгений Алленов

МО это одно из направлений ИИ и вроде как одно из самых перспективных сейчас.

Но даже если это не брать в расчёт, в статье конечно же имеются ввиду вполне практические вещи а не то, что любят представлять люди (терминаторы, матрица и все такое 🤗).

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Misha Rogov

«Если вы отказываетесь доверять решение чему-то, чьё устройство вы не понимаете, что ж, тогда вам стоит уволить всех людей, ведь никто не знает, как принимает решения человеческий мозг (с сотней миллионов нейронов!)»

Постойте, гражданочка. Во-первых, мозговая мифология редукционизма психики до мозговых процессов это один из мифов метафизики материализма (физикализма) в основе современного догматического саентизма материалистов, далекого от подлинной науки. Вы можете, конечно, верить в любые мифы, которые вам нравятся, но обосновывать ими свою легкомысленность в отношении рисков развития ИИ, по меньшей мере, глупо. И тем более глупо ставить компьютерный алгоритм на один уровень с чудом нашей экзистенции. Во-вторых, учитывая все связанные с ИИ проблемы (вот хороший свежий отчет по теме: https://ainowinstitute.org/AI_Now_2018_Report.pdf), не лучше ли сначала понять как работает то, от чего уже совсем скоро будут зависеть судьбы и даже жизни миллионов (а учитывая возможное военное применение ИИ — миллиарды) людей? Как бы с вашим и подобным вашему легкомыслием мы ни дожили до ситуации, когда этическая дилемма “baby Hitler” уступит место дилемме “baby AI developers”

Ответить
Развернуть ветку
Олег Маликин

Вас я не понял больше, чем эту статью. Пойду перечитаю, в статье слишком много одинаковых слов, пестрят заголовки. Мне попробовали объяснить необъяснимое необъяснимыми словами, я не допер

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Valentin G
Ответить
Развернуть ветку
Serg Guslyarov

вы почему такие тупые?
Был мальчик, была у него фамилия - Козырьков...
Мальчик встретил девочку Кэсси.
Они это, того, короче поженились.
И теперь у Кэсси фамилия Козырьков.

Ответить
Развернуть ветку
Дмитрий Денисенко

Как по мне ваша логика тривиальна, Поясню на примере: мальчик Миша Иванов встречает девочку Машу они это того..😅 - Маша становится Иванова. Саша Царев встречает Вику - Вика становится Царева. Мне в начале была тоже странной фамилия Корырьков. А потом я вдруг осознал это ведь штаты , а там у них все фамилии фактически не склоняются.

Ответить
Развернуть ветку
40 комментариев
Раскрывать всегда