Кейт Кроуфорд из Microsoft: "ИИ не является ни искусственным, ни интеллектуальным"
Исследователь искусственного интеллекта о том, как природные ресурсы и человеческий труд влияют на машинное обучение и регрессивные стереотипы, заложенные в его алгоритмы.
Кейт Кроуфорд профессор-исследователь в области коммуникации, науки и технологий в Университете Южной Калифорнии и старший научный сотрудник Microsoft Research, изучает социальные и политические последствия искусственного интеллекта
В её новой книге "Атлас искусственного интеллекта" рассматривается, что нужно для создания искусственного интеллекта и что поставлено на карту, поскольку он меняет наш мир.
Вы написали книгу с критикой ИИ, но вы работаете в компании, которая входит в число лидеров по его внедрению. Как вы разрешили эту кажущуюся невозможной ситуацию?
Я работаю в исследовательском отделе Microsoft, это отдельная организация, не связанная с разработкой продуктов. Необычно то, что за свою 30-летнюю историю компания наняла социологов, чтобы они критически посмотрели на то, как создаются технологии. Находясь внутри, мы часто можем увидеть недостатки ещё до того, как системы будут широко развёрнуты. Моя книга не подвергалась какой-либо проверке перед публикацией – исследования Microsoft этого не требуют – и руководители моих лабораторий рекомендуют задавать сложные вопросы, даже если ответы включают критическую оценку текущих технологических практик.
Какова цель книги?
Нам обычно преподносят абстрактное и нематериальное видение ИИ. Я хотела показать, как создается ИИ в более широком смысле – вложенные в него природные ресурсы, трудовые процессы и классификационные логики [вероятно идёт речь про анализ данных в нейронных сетях, распределение данных по параметрам (классификация), с использованием определённых логик – аналитических моделей, называемых классификаторами. – прим. ред.].
Чтобы увидеть это в действии, я побывала в разных местах, включая шахты, чтобы увидеть, как добывается необходимое из земной коры, и в центр выполнения заказов Amazon, чтобы увидеть физическое и психологическое воздействие на работников алгоритмической системы управления. Я надеюсь, что, показав, как работают системы искусственного интеллекта – обнажая структуру производства и материальные реалии, – мы получим более точный отчёт о воздействиях, и это привлечет к разговору больше людей. Эти системы внедряются во множестве секторов без серьёзного регулирования, согласия или демократических дебатов.
Что люди должны знать о том, как создаются ИИ продукты?
Мы не привыкли думать об этих системах с точки зрения экологических издержек. Но если сказать: "Эй, Алекса, закажи мне несколько рулонов туалетной бумаги", возникнет эта производственная цепочка, которая проходит по всей планете… Нам предстоит пройти долгий путь, прежде чем это станет "зелёной" технологией. Кроме того, системы могут показаться автоматизированными, но, когда мы отодвигаем занавес, мы видим большое количество низкооплачиваемого труда, начиная от коллективной работы по категоризации данных и заканчивая бесконечным трудом по перетасовки коробок Amazon. ИИ не является ни искусственным, ни интеллектуальным. Он сделан из природных ресурсов, и именно люди выполняют задачи, чтобы системы казались автономными.
Проблемы предвзятости хорошо задокументированы в технологиях искусственного интеллекта. Может ли больше данных решить эту проблему?
Предвзятость – слишком узкий термин для обозначения проблем, о которых мы говорим. Снова и снова мы видим, что эти системы производят ошибки – женщинам предлагается меньше кредитов алгоритмами кредитоспособности, лица темнокожих неправильно распознаются – и в ответ мы получаем: "Нам просто нужно больше данных". Но я попыталась взглянуть на эти более глубокие логики классификации, и начинаю видеть формы дискриминации не только в том случае, когда системы применяются, но и в том, как они построены и обучены видеть мир. Наборы данных для обучения, используемые для программного обеспечения машинного обучения, которое небрежно делите людей на один из двух полов; которые относят людей к одной из пяти расовых категорий в соответствии с цветом их кожи и пытаются на основании того, как люди выглядят, определить моральные или этические качества. Идея о том, что вы можете делать эти определения на основе внешнего вида, имеет тёмное прошлое, и, к сожалению, политика классификации прочно укоренилась в основе ИИ.
Вы особо отмечаете ImageNet, большой общедоступный набор обучающих данных для распознавания объектов…
ImageNet, состоящий из около 14 миллионов изображений в более чем 20 000 категорий, является одним из самых значительных наборов обучающих данных в истории машинного обучения. Он используется для проверки эффективности алгоритмов распознавания объектов. Проект был запущен в 2009 году группой исследователей из Стэнфорда, которые собрали огромное количество изображений из Интернета и используя краудсайдеров пометили их в соответствии с существительными из WordNet, лексической базы данных, созданной в 1980-х годах.
Начиная с 2017 года, я работала над проектом с художником Тревором Пагленом, чтобы посмотреть, как происходит классификация людей. Мы нашли ужасающие классификационные термины, которые были женоненавистническими, расистскими, эйблистическими и в высшей степени осуждающими.
Фотографии людей сравнивались с такими словами, как клептоман, алкоголик, плохой человек, гей (в оригинале использовано сленговое слово, применяющееся для обличения "скрытого гомосексуалиста"), девушка по вызову, шлюха, наркоман и многое другое, о чём я не могу здесь рассказать. В ImageNet теперь удалены многие из явно проблемных категорий людей, что, безусловно, является улучшением, однако проблема сохраняется, поскольку эти обучающие наборы по-прежнему циркулируют на торрент-сайтах [где файлы распространяются между пользователями].
И мы могли изучать ImageNet только потому, что он общедоступен. Технологические компании хранят огромные наборы данных по обучению, которые полностью засекречены. Они присвоили себе изображения, которые мы загрузили на сервисы обмена фотографиями и платформы социальных сетей, и превратили их в частные системы.
Вы отвергаете использование ИИ для распознавания эмоций, но работаете в компании, которая продает ИИ технологию распознавания эмоций. Следует ли использовать ИИ в этой сфере?
Идея о том, что по лицу можно увидеть то, что чувствует человек, глубоко ошибочна. Я не думаю, что это возможно. Я утверждала, что это одна из наиболее необходимых сфер регулирования. Большинство систем распознавания эмоций сегодня основано на представлении в психологии, разработанном в 1970-х годах, в первую очередь Полом Экманом, которое гласит, что существует шесть универсальных эмоций, которые мы все проявляем на наших лицах, которые можно прочитать с помощью правильных методов. Но с самого начала это вызвало несогласие [со стороны научного сообщества], и более поздние работы показывают, что нет надёжной корреляции между выражения лица и то, что мы на самом деле чувствуем. И всё же у нас есть технологические компании, которые говорят, что эмоции можно определить, просто изучив видео с [выражением] лиц людей. Мы даже можем увидеть, встроенную в программное обеспечение автомобилей подобную технологию.
Что вы имеете в виду, когда говорите, что нам нужно меньше сосредотачиваться на этике ИИ и больше на власти?
Этика необходима, но недостаточна. Более полезны такие вопросы, как: кому выгодна и кому вредит эта система искусственного интеллекта? И передает ли это власть в руки уже могущественных людей?
То, что мы видим снова и снова, от распознавания лиц до отслеживания и наблюдения на рабочих местах, – это то, что эти системы расширяют возможности и без того влиятельных институтов – корпорации, вооруженные силы, полиция.
Что нужно, чтобы улучшить ситуацию?
Гораздо более эффективные нормативно-правовое регулирование и большая тщательность, и ответственность в отношении построения наборов данных для обучения. Нам также нужны разные мнения в этих дебатах – в том числе люди, которые наблюдают и постоянно соприкасаются с недостатками этих систем. И нам нужна обновленная политика отказа, которая бросает вызов повествованию о том, что только потому, что технология может быть создана, она должна быть внедрена.
Есть ли поводы для оптимизма?
Происходят события, которые вселяют в меня надежду. В апреле этого года ЕС подготовил первый проект сводных правил для ИИ. Австралия также только что выпустила новые правила регулирования ИИ. Есть дыры, которые нужно залатать, но теперь мы начинаем понимать, что эти инструменты нуждаются в гораздо более мощных барьерах. И не меньший оптимизм, чем прогресс в области регулирования, вселяет в меня работа активистов, выступающих за перемены.
Исследователь этики ИИ Тимнит Гебру была вынуждена уйти из Google в конце прошлого года после того, как руководители раскритиковали её исследование. Что ждет критику в этой отрасли в будущем?
Отношение Google к Тимнит вызвало шок как в промышленных, так и в академических кругах. Хорошая новость в том, что люди не перестали обсуждать проблему; вместо этого Тимнит и другие влиятельные лица продолжали высказываться и настаивать на более справедливом подходе к проектированию и развертыванию технических систем. Одним из ключевых элементов является обеспечение того, чтобы исследователи, работающие в отрасли, могли публиковать материалы без вмешательства корпораций, и способствовать такой же академической свободе, которую стремятся предоставить университеты.
редактура и адаптация Дмитрий Бобров