Правила Google по проектированию продуктов с элементами искусственного интеллекта

Материал Co.Design о проекте по гуманизации ИИ-технологий и руководстве по «человекоцентричному машинному обучению».

Как понять, создаем ли мы ИИ-технологию, которая учитывает человеческое поведение? Как интегрировать машинное обучение в продукт или услугу, чтобы оно не закрепило навсегда существующие системные ошибки, не упростило важные нюансы или не завалило всех вокруг ложными новостями? Как разработать алгоритмы, которые не станут абсолютным злом?

Google Brain, исследовательское подразделение Google в сфере технологий искусственного интеллекта, собирается разобраться в этих вопросах. 10 июля 2017 года компания объявила о старте новой программы «Исследование: люди плюс ИИ» (PAIR, "the People + AI Research"). Цель: понять, как люди взаимодействуют с технологиями машинного обучения. В рамках этой программы компания разработала несколько практик, основанных на опыте команды Google.

Это часть подхода, который принят в UX-сообществе Google, где его называют «человекоцентричным машинным обучением». Это означает, что алгоритмы должны решать проблемы с учетом человеческих потребностей и поведения.

Джош Лавджой и Джесс Холбрук, дизайнеры из группы Research and Machine Intelligence в Google, подробно описали правила, которые действуют в компании при проектировании технологий машинного обучения. Вот их краткое изложение.

Лавджой и Холбрук пишут, что не стоит спешить с внедрением элементов машинного обучения в продукт или сервис. Помните, что именно дизайнер должен определить проблему и найти лучший способ ее решения. Прежде всего проведите исследования, это неотъемлемая часть дизайн-процесса.

Для решения некоторых проблем машинное обучение может и не потребоваться, а другие вопросы идеально для него подойдут. Алгоритм не знает, хорошо ли он может решить задачу. Не нужно внедрять машинное обучение во все процессы — на его создание может уйти больше средств, чем на самостоятельное решение проблемы.

Лавджой и Холбрук указывают на функцию в электронной почте Gmail, которая напоминает пользователю вложить файл, если в тексте письма есть слова «вложение» или «вложен». В этом не задействовано машинное обучение, хотя ИИ-технология могла бы найти больше недостающих вложений. Создавать специальный алгоритм было бы сложнее и дольше.

Чтобы определить, подходит ли задача для ИИ-технологий, дизайнеры Google советуют задать себе несколько вопросов. Поймите, чего пользователи ждут от продукта с элементами искусственного интеллекта.

• Как мог бы выполнить это задание человек?
• Если бы он должен был выполнить это задание, какие исправления вы посоветовали бы ему в следующий раз? Делайте это на всех четырех фазах матрицы ошибок.
• Что посоветовал бы ему пользователь?

После этого подумайте, какое решение будет наиболее эффективно для пользователей и какое больше всего подходит для машинного обучения. Выбирайте то, которое удовлетворяет каждому из этих требований.

Некоторые дизайнеры предлагают прототипировать продукт в системе машинного обучения с использованием информации об участниках (с их разрешения). Другие советуют вовсе не использовать ИИ-технологии. Такое тестирование называется методом «Волшебника Изумрудного города».

Участники думают, что взаимодействуют с ИИ-системой, но она контролируется человеком. «Этот метод тестирования часто использовали 20 лет назад, — пишут Лавджой и Холбрук. — Машинное обучение вновь сделало его популярным. Так взаимодействовать с пользователями важно при управлении дизайн-процессом. Участники искренне вовлекаются в то, что воспринимают как ИИ-технологию, и естественным образом могут сформировать модель системы, согласовав с ней своё поведение».

Важно понимать, как именно формируются мыслительные модели пользователей, это поможет в разработке взаимодействий. Можно также использовать данные участников для того, чтобы вызвать неверный ответ. Как пользователь отвечает, когда машина ошибается? Как это меняет их будущее взаимодействие?

Когда машина по ошибке присваивает данным неправильную категорию, это может показаться незначительным. Но если среди этих данных содержится информация о реальном человеке, тогда ошибка алгоритма может привести к серьезным последствиям.

Представьте: ИИ-технология определяет пользователя как бота или реального человека. Случайная блокировка человека будет иметь большее значение, чем бота. Предусмотрите в продукте возможность ложно-положительных результатов.

Лавджой и Холбрук рекомендуют использовать для этого матрицу ошибок, которая отмечает на сетке правильные, неправильные, ложно-положительные и ложно-отрицательные ответы.

Нужно решить, что важнее: точность (когда правильных ответов больше, чем неправильных) или объём информации (когда все правильные ответы включены в алгоритм, но может быть больше неверных результатов). В некоторых случаях важнее установить приоритет. При этом вы должны понимать, что важнее вашему пользователю.

Дизайнеры «Google Фото» решили, что важнее предоставлять фотографии всех игровых площадок по запросу «игровая площадка», даже если попадается несколько фотографий, которые не подходят к запросу. Однако если рассматривать алгоритм определения бота или человека, возможно, важнее окажется точность.

Как вы поймёте, как хорошо работает система, если не знаете, ошибается ли она? Лавджой и Холбрук пишут, что иногда модели машинного обучения могут быть непредсказуемыми. Пользователь может представлять функцию не так, как её проектировщик.

Убедитесь, что вы продумали долгосрочные методы обратной связи и встроили в платформу функции сбора количественной информации. Общайтесь с пользователями и увидите, как меняются их ожидания от продукта. Дизайнеры не всегда понимают, как работают их продукты или услуги с ИИ-технологиями. Google придумала простое решение: получите эти данные.

Хотя Google представила набор правил ИИ-разработки, запуск проекта PAIR доказывает, что даже первые исследователи машинного обучения не вполне понимают, как создать дизайн с элементами искусственного интеллекта, где внимание сосредоточено на человеке. Для Google этот проект — амбициозный шаг, но он напоминает о проблемах, свойственных этой технологии: данные с систематической погрешностью, ошибочные предположения, пренебрежение приватностью.

#Интерфейсы