Как дизайн может защитить нас от ИИ?

Перевод статьи с сайта UX Collective

Ссылка на оригинал

Искусственный интеллект (ИИ) и его внутренняя работа настолько сложны, что мы мало что понимаем во внутренней работе алгоритмов. Искусственный интеллект остается загадкой, хотя и функционирует как «черный ящик». Для дизайнеров важно осознавать эти ограничения, и мы всегда должны предусматривать для пользователей возможность оспаривания в системах, управляемых ИИ.

В 2019 году известные ИТ-специалисты выступили против Apple, когда получили в 10 раз более высокие кредитные баллы, чем их партнеры (ред. - речь идет об Apple Card — кредитной карте, выпущенной Apple). В серии сообщений в Twitter Дэвид Хайнемайер Ханссон выступил против Apple, заявив, что программа была сексистской.

Хэнсон, который является создателем Ruby on Rails, подал те же финансовые документы, что и его жена, но, очевидно, алгоритм посчитал, что он заслужил кредитный лимит в 20 раз выше, чем у его жены.

Твит вызвал серию ответов, в том числе от соучредителя Apple Стива Возняка. Возняк объяснил, что то же самое произошло с ним и его партнером, и «исправить эту ошибку было очень тяжелым испытанием для человеческих возможностей».

Алгоритм, лежащий в основе Apple card, выпущенной Goldman Sachs, стал предметом официального расследования, проводимого Департаментом финансовых услуг Нью-Йорка.

Что выделяет эту историю, так это неспособность пользователей оспаривать решения, принимаемые искусственным интеллектом. Система, разработанная Apple и Goldman Sachs, не предлагала пользователям никакого выхода.

Оспариваемый искусственный интеллект, пожалуй, самый игнорируемый аспект пользовательского опыта, основанного на ИИ.

Неспособность пользователя повлиять на решения, принимаемые ИИ, может иметь далеко идущие последствия. Эта цитата Дэвида Коллингриджа объясняет это, пожалуй, лучше всего:

Эти проблемы присущи искусственному интеллекту: машинное обучение использует алгоритмы для обучения и изменения с течением времени, но оно также имеет тенденцию улавливать искажения в своих наборах данных. Когда эти предубеждения затем отражаются в решениях, принимаемых ИИ, они могут иметь далеко идущие последствия, такие как дискриминация и изоляция.

Исследовательская группа «Оспариваемый ИИ» в Делфтском техническом университете уделяет особое внимание дизайну оспариваемого ИИ. Их цель:

Мы можем защитить пользователей от вредных решений, принимаемых системами, основанными на ИИ, с помощью дизайна, обеспечив возможность оспаривания решений этих систем. Эти системы всегда должны быть отзывчивыми на человеческое вмешательство на протяжении всего своего жизненного цикла.

Объяснимость — развивающаяся область в машинном обучении, исследователи активно ищут способы сделать модели менее похожими на черный ящик. Но найти эти решения не так-то просто. В то же время дизайн мог бы помочь нам в этом.

Такие проблемы, как справедливость, прозрачность и подотчетность, не могут быть решены с помощью технических инноваций. Они скорее должны быть спроектированы путем создания точек вмешательства человека. Вот тут-то и появляется дизайн.

Если мы проектируем системы таким образом, чтобы решения ИИ не были окончательными, мы можем найти компромисс и улучшить оспариваемость этих систем. При разработке системы, управляемой ИИ, подумайте о способах интеграции поиска компромисса между пользователем и ИИ. Найдите консенсус как между пользователем, так и между системой.

Внедрение оспариваемого ИИ по сути является продолжением UX-исследования. Постоянный конфликт, который решается, создает поток пользовательских данных, которые могут постоянно улучшать саму систему. Реализация компромисса — это не слабость, а скорее сила.

Важно использовать эти пользовательские данные и проектировать вместе с пользователями, чтобы создать систему в рамках черного ящика ИИ, которая всегда приносит пользу пользователю. Этот непрерывный цикл генерации данных и проектирования более совершенных систем в долгосрочной перспективе создаст лучший продукт.

Проектирование в системах точек вмешательства для оспаривания не должно быть сложным — это просто необходимо. Реализовать моменты, когда пользователь может возразить против решений, принимаемых системами, может быть так же просто, как заставить человека проверить выходные данные.

Во-первых, важно объяснять результаты. Должно быть ясно, как алгоритм выдает результат. Это может быть не всегда понятно, особенно из-за свойства «черного ящика» некоторых алгоритмов. Затем важно объяснять, как используются данные и чего может ожидать пользователь.

Важно указывать неправильные или менее достоверные ответы, меняя свой визуальный дизайн или макет. Не бойтесь сообщить пользователю, что у вас есть ответ.

ИИ может подойти для некоторых ситуаций и функционировать как расширение возможностей пользователей. Если пользователь использует ИИ, пусть он контролирует ситуацию. Пользователи всегда должны иметь возможность вмешаться в работу любой системы на основе ИИ или игнорировать ее.

Я уже писал о том, как проектировать системы, основанные на ИИ. Когда вы имеете дело с алгоритмами на базе искусственного интеллекта, полезно следовать этим общепринятым практикам.

Для широкомасштабного наблюдения в Амстердаме используется армия сканирующих автомобилей. Сканирующие автомобили являются частью муниципальной программы по мониторингу чрезмерного использования парковочных мест по всему городу.

Сканирующие автомобили используют камеру, установленную на крыше автомобиля и с помощью системы распознавания объектов выявляют нарушения и выдают платы за парковку. Автомобили автоматизируют процесс идентификации номерных знаков и проверки данных с помощью специального сканирующего оборудования и службы идентификации, основанной на ИИ.

В настоящее время сервис используется для более чем 150 000 уличных парковочных мест в Амстердаме. Поскольку видеонаблюдение полностью автоматизировано, город начал получать возмущенные звонки по поводу этой системы наблюдения.

Потеря автономии для граждан и проблемы, связанные с автоматизацией этих процессов, привели к новым разработкам вокруг сервиса. Вот почему муниципалитет решил создать более оспариваемую систему искусственного интеллекта. Вместе с экспертами в этой области муниципалитет открыл пользователям возможность оспаривать сервис, управляемый искусственным интеллектом. Лучше всего это объяснено на веб-сайте AMS Institute (ред. - Исследовательский институт в Амстердаме):

Последствия постановки такого вопроса, как: «Что, если бы вы могли ответить?» , открывают огромные возможности для дизайна, ориентированного на пользователя. Страшный монстр наблюдения с тех пор был переработан в более «оспариваемый» аналог, расширяя возможности граждан в этом процессе.

Я считаю, что дизайн сканирующего автомобиля — прекрасный пример того, насколько оспариваемыми являются системы искусственного интеллекта. Теперь у города есть данные об использовании парковочных мест, и они могут соответствующим образом перепроектировать свой город. Сама система тоже улучшилась. Ее не страшно использовать, и ею нельзя злоупотреблять, пока существует возможность оспаривания. В выигрыше обе стороны. Как пользователи, так и владельцы продукта теперь могут пользоваться преимуществами системы, обеспечивая при этом автономию и свободу для всех.

#искусственныйинтеллект #ai #дизайн #uxdesign #uxresearch