Накопленный интеллектуальный долг– скрытые издержки стремления внедрять алгоритмы в нашу жизнь

Jonathan Zittrain, американский профессор интернет-права и профессор международного права Джорджа Бемиса в Гарвардской юридической школе, еще в 2019 году опубликовал эссе о скрытых издержках, которые несет с собой массовое применение алгоритмов. Jonathan использует понятие интеллектуального долга – этот долг возникает, когда, например, фармацевтика изобрела новое лекарство, которое хорошо работает, но не может объяснить его механизм работы. Долг будет погашен, когда найдется объяснение, почему лекарство работает. Если долг «висит», то накапливаются побочные действия лекарства, требуется проводить все больше тестов. По мере распространения такого лекарства выявляются его неожиданные свойства. Применение моделей машинного обучения приводит к открытиям, которые алгоритм объяснить не может. Чем больше таких «необъяснимых» открытий, тем выше интеллектуальный долг. Он накапливается, объяснений нет, и может привести к непредсказуемым результатам. Не всегда позитивным.

Jonathan видит риск снижения интереса к фундаментальным наукам и исследованиями. Наука отвечает на вопрос «почему», алгоритмы не могут ответить на этот вопрос. Они выявляют всего лишь паттерны в море данных. Очень заманчиво отдать решение задач алгоритму, получить результат и не тратиться на выяснение теоретических основ, почему же это лекарство работает. Профессор рисует возможную картину будущего: мир превращается в базу данных без причин и следствия, а мы зависим от наших цифровых консьержей, которые говорят, что нам делать и как.

Как многие препараты средство против сонливости модафинил* (modafinil), который продается в США под торговым названием Provigil, поставляется в коробочке с брошюрой. Большая часть брошюры - это инструкция по применению и описание побочных действий, а также молекулярная структура препарата. Читать скучно. Один из разделов брошюры называется «механизм действия». Он содержит фразу, которая сама по себе может вызвать сонливость: «механизм действия – подавление сонливости - неизвестен».

* Модафинил — аналептическое средство, стимулятор ЦНС. В медицине используется для лечения сонливости при нарколепсии, симптомов СДВГ и пр. Не менее популярно применение медикамента в немедицинских целях. В России модафинил запрещен - он входит в перечень наркотических и психотропных средств с 2012 года. Причина запрета — недостаточная изученность влияния аналептика на организм человека, в частности, ЦНС.

Модафинил иногда используется не по назначению -не для подавления потребности во сне. Он используется без назначения врача для борьбы с общей усталостью, не связанной с недостатком сна, например, для лечения синдрома дефицита внимания и гиперактивности (СДВГ) и как дополнение к антидепрессантам (в частности, лицами со значительной остаточной усталостью).

Provigil – не единственный препарат с загадочным механизмом действия. Многие препараты в США получают разрешение регулятора, выписываются пациентам, при этом никто не знает, как они работают. Такая энигма связана напрямую с процессом изобретения формулы препарата: она получается путем проб и ошибок. Каждый год новые вещества проходят тестирование в специально выращенных клетках или на животных. Те, что проходят этот этап тестирования, передаются на этап тестирования на людях. В некоторых случаях одно успешное лекарство стимулирует исследователей к новым экспериментам. В конечном счете появляется объяснение, как работает лекарство. Иногда этого объяснения не выявляется.

Аспирин был изобретен в 1897 году, но до 1995 года ученые не могли объяснить, как работает лекарство. Такая же история типична для медицины. Например, стимуляция нейронов с помощью введённых в мозг электродов очень хорошо работает при расстройстве Паркинсона. Некоторые ученые думают, что этот метод можно применить и при других ситуациях, например, для улучшения когнитивных способностей. Но как работает, никто не знает.

Такой подход к открытиям: сначала гипотеза, получение результата, а объяснение позже,- накапливает так называемый «интеллектуальный долг» (intellectual debt). Вполне возможно совершить какое-то открытие, не выяснив механизмы, как оно работает. Открытие сразу применяют, пытаясь найти объяснение по ходу дела. Бывает, что интеллектуальный долг удается быстро погасить. Но в некоторых случаях мы ждем десятилетия, понимая, что мы не знаем, как работает находка.

В прошлом интеллектуальный долг ограничивался несколькими областями, где работал метод проб и ошибок, как в медицине. Но ситуация меняется, так как возникают новые технологии искусственного интеллекта, особенно машинное обучение, и они увеличивают интеллектуальный долг. Машинное обучение выявляет паттерны в океане данных. Используя эти паттерны, они выдвигают порой неожидаемые гипотезы в ответ на неявные вопросы. Получив доступ к изображениям кошек, нейронная сеть научится опознавать их. Получив доступ к медицинским записям пациентов, нейросеть предсказывает вероятность смерти пациента. Алгоритмы машинного обучения не выявляют каузальные закономерности. Они показывают корреляцию в больших статистических массивах данных. Нейросеть никогда не объяснит, почему, по ее расчетам, вот эти пациенты с большей вероятностью умрут. Сеть не «думает» в привычном нам смысле, она выдает ответы на вопросы. Внедряя машинное обучение в нашу жизнь, мы коллективно накапливаем все больший интеллектуальный долг.

Фармацевтика показывает нам, что иногда интеллектуальный долг может быть жизненно необходим. Миллионы жизней были спасены благодаря применению лекарств, хотя мы до конца не понимаем их действие. Мало кто откажется принимать аспирин из-за того, что не понимает, как оно действует. Но накопленный интеллектуальный долг имеет свои минусы. По мере распространения лекарства с неизвестным механизмом действия, количество тестов этого лекарства на побочные действия возрастает в геометрической прогрессии. На практике, новые лекарства появляются, применяются врачами, потом исчезают по мере возникновения коллективных исков от пациентов. В каждом индивидуальном случае накопленный интеллектуальный долг, связанный с новым лекарством, может быть вполне нормальной ситуацией. Но интеллектуальный долг не существует в вакууме. Ответы без теоретической базы, которая подтверждается в разных предметных областях, могут усложнить друг друга самым непредсказуемым образом.

Интеллектуальный долг, накапливаемый в результате открытий, получаемых с помощью машинного обучения, создает риски гораздо более серьезные чем те, что создает метод проб и ошибок. Алгоритмы не могут дать объяснений их выводам, а, следовательно, невозможно найти ошибку в их «рассуждениях», так как у человека нет независимой оценки суждений алгоритма. Ошибки алгоритма встречаются даже при больших массивах данных, на которых тренируется алгоритм. Ошибки могут быть искусственно созданы тем, кто передает алгоритму массив данных для обучения.

Представим процесс распознования образов. Десять лет назад компьютеры не могли легко идентифицировать объекты, изображенные на фото. Сегодня поисковые системы основаны на моделях машинного обучения. Система поиска по изображению от Google работает на основе нейросети называемой Inception. В 2017 году исследовательская группа M.I.T.’s LabSix сумела изменить пиксель на изображении кошки. Человеческий глаз такое изменение не замечает, а вот Inception была уверенна на 99,99%, что «видит» изображение гуакамоле. Inception не может объяснить, как она идентифицирует кошку. Поэтому довольно сложно предсказать, когда и при каких обстоятельствах алгоритм ошибется, если ему показать поврежденные данные. Алгоритмы обладают неизвестными пробелами в точности своих суждений, которые могут стать целью злоумышленника.

Такие пробелы могут множиться по мере использования алгоритмов. Технологии ИИ, применяемые в здравоохранении, были натренированы распознавать злокачественные и доброкачественные новообразования кожи. Команда исследователей из Медицинской школы Гарварда и M.I.T. показала, как можно обмануть алгоритм и заставить его сделать некорректный вывод. Как в примере с кошкой и гуакамоле. Идея использовать алгоритм может быть настолько привлекательной, что мы можем отказаться от человеческого суждения. Алгоритмы же обещают заменить решения человека. Но эти системы остаются уязвимы перед хакерами – а у нас не будет простого способа проверить, что алгоритм ошибся.

Можем ли мы обеспечить баланс для интеллектуального долга, а именно систему, которая будет мониторить, как и в каких областях используются открытия без соответствующего теоретического обоснования? Но такая система просто будет отражать количество и качество алгоритмических решений, и что они несут разный риск. Если алгоритм придумал новый рецепт пиццы, то не стоит задумываться о теоретических основах и просто наслаждаться вкусной пиццей. Но если алгоритм делает медицинские прогнозы и рекомендации, то мы должны полностью осознавать, что стоит за решениями алгоритма.

Сбалансированный подход к алгоритмам потребует пересмотра законодательства в части интеллектуальных прав и торговых марок. В городах строители обязаны открыто публиковать свои планы реновации. Похожим образом можно было бы передавать алгоритмы, используемые компаниями, на хранение в библиотеки и университеты для изучения. Исследователи смогут найти логику алгоритма, тем самым погашая интеллектуальный долг, который появится из-за ошибок алгоритма.

Все более широкое применение моделей машинного обучения и то, что кто угодно может создать нейросеть, сделают процесс мониторинга алгоритмов очень непростым. Но эти системы не должны оставаться в изоляции: технологии ИИ поглощают данные и «выплевывают» результат, который может быть использован другими алгоритмами. Как два лекарства с неизвестными механизмами взаимодействуют друг с другом с непредсказуемым результатом, так и два алгоритма могут привести к непредсказуемым последствиям.

Даже простое взаимодействие может привести к проблеме. В 2011 году биолог Michael Eisen узнал от своего студента, что ничем не примечательная книга “The Making of a Fly: The Genetics of Animal Design” продается на Амазоне за $1,7 млн плюс доставка за $3,99. Это была сама дешевая цена. Второй более дешевый экземпляр стоил $2,1 млн. Оба продавца имели множество позитивных отзывов пользователей. Michael ходил на страницу Амазона несколько дней подряд, и цена увеличивалась постоянно. Цена продавца А всегда составляла 99.83% от цены продавца Б. Каждый день продавец Б менял цену – итого 127 059% от цены продавца А. Michael предположил, что у продавца А есть копия книги, и он всегда пытается сделать цену ниже, чем самая низкая цена. У продавца Б копии книги нет, поэтому он ставит более высокую цену. Если кто-то закажет книгу у Б, то он купит ее у А.

Стратегия каждого продавца была рациональной. На самом деле два алгоритма взаимодействовали между собой, результатом стало иррациональное действие. Взаимодействие тысяч алгоритмов обещает закончиться еще более непредсказуемо. Финансовый рынок, где широко применяются технологии машинного обучения, демонстрирует примеры этой проблемы. В 2010 году за какие-то 36 минут алгоритмы совершили полный крах на бирже, уничтожив триллион долларов индексов. Прошлой осенью Marko Kolanovic, аналитик J. P. Morgan, заявил, что такой крах легко возникнет еще раз, так как торговля на рынках все больше отдается на откуп алгоритмам. Интеллектуальный долг может накапливаться в узких местах, когда системы натыкаются друг на друга, даже если они формально не взаимосвязаны между собой. Если нет способов сбалансировать этот интеллектуальный долг, то невозможно в принципе определить, качество этого интеллектуального долга и как его погасить.

Увеличение такого интеллектуального долга может увести общество от фундаментальной науки к прикладной. Например, ускорители частиц – это большие фундаментальные проекты, поддерживаемые консорциумом богатых государств и управляемые академическими институтами, а вот машинное обучение может вполне быть взято на вооружение и коммерческими индустриями, и исследовательскими институтами. По факту, такие данные могут делать полезные прогнозы, которые больше полезны Google и Facebook, а не департаментам статистики и науки. Бизнес будет удовлетворен таким знанием без объяснения его теоретической основы, но интеллектуальный долг то будет расти. И результаты работы алгоритмов будут во владении корпораций, у которых мало желания погашать интеллектуальный долг, который произвели алгоритмы.

Легко предположить, что доступность результатов обработки данных алгоритмами приведет к снижению интереса к фундаментальным исследованиям, которые пытаются объяснить находки систем машинного обучения. В прошлом декабре исследователь Mohammed AlQuraishi, специализирующийся на сворачивании белка, написал статью о последних достижениях в этой отрасли: модели машинного обучения способны предсказать сворачивание белков более точно, чем человек. Он пожаловался на отсутствие теоретических концепций для объяснения данных и прогноза. «Сейчас гораздо меньше проявляют интереса и внимания к фундаментальным концепциям, которые содержат аналитические инсайты». Поскольку алгоритмы быстрее совершают открытия, то теоретики и ученые по фундаментальным наукам могут начать восприниматься как излишнее, ненужное звено, безнадежно отстающие по времени. Фундаментальные знания в определенной области могут цениться ниже, чем умение создавать модели машинного обучения, которые быстро выдают ответы без объяснения.

Просто знания без объяснения, почему именно так происходит, превращаются в мир без видимых причин и следствий, и мы становимся заложниками наших цифровых консьержей, которые говорят нам, что делать и как. Можно вообразить, например, что комиссию по приему абитуриентов в вузе, которая делает довольно трудоемкую работу – отбирает кандидатов, заменят на алгоритм. Алгоритм вполне может оптимизировать процесс отбора и принимать не тех абитуриентов, которые покажут академические успехи, а тех, кто гармонично уживется друг с другом. Единственный способ разобраться в решениях моделей машинного обучения – это начать анализировать, как алгоритм настраивает наши профили в социальных сетях, чтобы они подходили друг другу идеально.
Возможно технологии ИИ будут хорошо работать – а это, в свою очередь, станет новой проблемой. Сейчас алгоритмы, в основном, критикуют за то, что идет не так. Но если они будут работать идеально, то ведь тоже возникнет вопрос: почему?

Ссылка на статью: https://www.newyorker.com/tech/annals-of-technology/the-hidden-costs-of-automated-thinking