Ценности ИИ диктует ЗАПОД

Продолжим разговор о калибровке ИИ в соответствии с человеческими ценностями: что это значит вообще и какой ИИ можно считать «правильным» или «соответствующим человеческим ценностям»? О каких ценностях идёт речь, если они разные в разных странах и в разные эпохи? Да и вообще в одной стране, в один день, в одном доме и на одном этаже могут спокойно жить два человека с очень разными ценностями. По кому калибруем ИИ? Мы хотим внедрить в ИИ какие-то «общечеловеческие» ценности или привести его в соответствие с ценностями конкретного пользователя? Если мы говорим про «общечеловеческие ценности», то что это значит?

Большая часть того, что мы знаем о ценностях, исходит из так называемых WEIRD-стран. WEIRD – это аббревиатура от Western, Educated, Industrialized, Rich, Democratic («Западные, Образованные, Индустриализированные, Богатые и Демократические»). В некотором роде это весьма логично, ведь если вы не гражданин такой страны, то

a. вашего мнения не спросили, а если и спросили, то потом всё равно нарисовали какое надо;

b. у вас нет денег на ИИ, не говоря уж об исследованиях ценностей.

Мне очень хотелось пойти по пути Г.А.В.Н.Э. и переложить аббревиатуру на русский язык. После короткого мозгового штурма получился «ЗАПОД» – «Западные, Академически образованные, Промышленные, Обеспеченные, Демократические». Отсюда название. И дальше я тоже буду использовать эту аббревиатуру.

Важное уточнение: я не призываю полностью отказаться от данных, которые поставляет ЗАПОД. На безрыбье и рак рыба, что есть, то и используем. Но давайте попробуем подойти к этому раку критически.

В статье «No Classification without Representation: Assessing Geodiversity Issues in Open Data Sets for the Developing World» («Никакой классификации без репрезентации: оцениваем проблемы недостатка данных о развивающихся странах в открытых наборах данных») авторы оценили географическое разнообразие публичных наборов изображений (ImageNet и Open Images – самые популярные наборы данных для компьютерного зрения). Они выяснили, что в Open Images 49,3% изображений приходятся на США, Великобританию и Францию вместе взятых (из них 32,1% приходится на США). В ImageNet 53% изображений поступили из США и Великобритании (45,4% из США).

Точную геолокацию изображения определить сложно, поэтому реальные числа могут немного отличаться. Но пропорция, скорее всего, примерно такая и есть. Чтобы проверить свои догадки, авторы собрали более разнообразный набор изображений и прогнали по ним классификаторы, обученные на ImageNet и Open Images.

Посмотрите на последний график в ряду («greengrocer by location»). Он показывает, с какой уверенностью классификатор определяет фотографию как «продавца овощей». Кривые разного цвета показывают результаты по разным странам. Почти все они лежат в одном диапазоне по оси X, то есть, значения примерно одинаковые.

А вот на первом графике («bridegroom by location») некоторые кривые более «плоские» и смещены влево, например, тёмно-синяя кривая для Пакистана. Этот график показывает уверенность, с которой классификатор определяет фотографию как изображение жениха и невесты. Что случилось с Пакистаном? В обучающем наборе данных было недостаточно фотографий женихов и невест из этой страны, поэтому классификатор на них чаще ошибается.

Ещё одна работа на близкую тему – «Does Object Recognition Work for Everyone?» («Для всех ли работает распознавание объектов на изображении?»). Если предыдущая статья фокусируется на распознавании людей, то здесь авторы проверяют, насколько корректно классифицируются предметы быта.

Они использовали набор изображений Dollar Street, который содержит фотографии домов и их внутреннего устройства по всему миру. Все фотографии размечены вручную: по ним есть данные о стране, в которой они были сняты, и об уровне достатка семьи, в гостях у которой побывал фотограф.

На сайте проекта Dollar Street можно посмотреть примеры фотографий. На карте выше жёлтые области – те, из которых получено меньше изображений, сине-фиолетовые – те, из которых больше.

На этих данных протестировали шесть систем распознавания объектов:

· Microsoft Azure;

· Clarifai;

· Google Cloud Vision;

· Amazon Rekognition;

· IBM Watson;

· ResNet-101.

Средняя точность результатов показана на карте ниже. Красный цвет – очень низкая точность, тёмно-зелёный – очень высокая.

Исследование проводилось в 2019 году; можно предположить, что что-то уже изменилось. Но эти результаты, на мой взгляд, всё ещё имеют значение, и их имеет смысл обсуждать. В частности, авторы перечисляют несколько больших проблем обучающих наборов данных для распознавания изображений:

· большинство снимков получено из США и стран Западной Европы, хотя большинство населения Земли живёт не там, то есть, пропорция нарушена;

· домохозяйства с низкими доходами недопредставлены по сравнению с более обеспеченными;

· описания к изображениям представлены в основном на английском языке, и из-за культурных нюансов или особенностей перевода могут быть неточными.

В примере, который они приводят, ИИ классифицирует кусковое мыло как продукт питания, а жидкое мыло классифицирует корректно. Он также ошибается, когда специи разложены по «нетипичным» для его набора данных баночкам.

Последняя работа, которую я бы хотела включить в этот раздел – «Discipline and Label: A WEIRD Genealogy and Social Theory of Data Annotation» от 2024 года («Дисциплина и разметка: ЗАПОДное происхождение и социальная теория описания данных»). Это более широкий и более свежий обзор. Авторы отмечают, что данные часто собираются в ЗАПОДных странах, а описываются сотрудниками из не-ЗАПОДных стран – и это влияет на весь процесс обучения ИИ и на результаты.

И в то время как исследователи и разработчики ИИ получают свою долю славы, критически важный труд тех, кто размечает данные, остаётся анонимным и не столь уважаемым.

Моя мысль здесь такая: калибровка ИИ под человеческие ценности часто воспринимается как завершающий шаг в процессе разработки. Мы собираем данные, обучаем модель и только потом говорим: «Хорошо, теперь давайте откалибруем её, чтобы не натворить бед». По-моему, поздновато.

Авторы статьи поднимают ещё больше важных вопросов, поэтому очень рекомендую в неё заглянуть. А я пока перейду к следующей части.

Этот разговор органично начинает процитированная выше статья «Discipline and Label…», но добавлю ещё пару ссылок для разнообразия.

В работе «How WEIRD is CHI?» («Насколько критерий CHI ЗАПОДный?»; в данном случает речь идёт о метрике удовлетворения пользователей продуктом – Customer Happiness Index) авторы приводят множество исследований, показывающих, что исследования в области взаимодействия человека и компьютера в основном ориентированы на жителей стран ЗАПОДа. Соответственно, выводы таких исследований отражают преимущественно предпочтения ЗАПОДных аудиторий, а их потом экстраполируют на остальной мир. К тому же значительная доля экспериментов проводится на студентах вузов (их проще поймать и заставить заполнять анкеты), что делает выборку ещё менее представительной.

В статье «WEIRD FAccTs: How Western, Educated, Industrialized, Rich, and Democratic is FAccT?» («Насколько представления о справедливости, прозрачности и ответственности продиктованы ЗАПОДом») авторы показывают, откуда поступают публикации по исследованиям справедливости, прозрачности и подотчётности ИИ.

В данном случае синий цвет означает малое число публикаций, тёмно-красный – большое число.

В статье проанализировано 128 работ за 2018–2022 годы. 63% статей, ожидаемо, поступили из США.

Так когда мы говорим о человекоцентричности ИИ, мы имеем ввиду человекоцентричность или человеко-из-США-центричность?

Завершим раздел статьёй «Surveys Considered Harmful? Reflecting on the Use of Surveys in AI Research, Development, and Governance» («Опросы считаются небезопасными? Рассуждение об использовании опросов для исследования, разработки и контроля ИИ»). Речь вот о чём: чтобы понять, что люди думают и какие у них ценности, исследователи используют опросы, но эти опросы не отражают всю полноту реальной картины.

Авторы провели систематический обзор 44 публикаций за 2022–2024 годы и обнаружили, что:

· некоторые статьи вообще не сообщают, откуда набирали участников опросов;

· участников часто набирают онлайн, что объяснимо, но это исключает людей без интернета или без доступа к платформам для таких исследований;

· демографические данные фиксируются непоследовательно: не все работы записывают уровень образования, этничность, доход, занятость своих участников и т. п.;

· большинство статей написано авторами из стран ЗАПОДа;

· в ряде исследований вообще нет участников из стран не-ЗАПОДа.

Уже сам факт существования таких критических работ – это прогресс. Хочется верить, что исследования будущего примут их во внимание.

Пока я искала материалы для поста, наткнулась на книгу Кэти О’Нил (Cathy O’Neil) «Weapons of Math Destruction». Добыть её было непросто, но нет такой силы в этом мире, которая способна сокрыть от меня книгу. Как прочитаю, напишу тоже про неё. Если там будет что-то интересное.

Я здесь вообще никого не осуждаю, не призываю отказаться от данных или что-то в этом роде. Этот пост – всего лишь ещё одно напоминание о том, как важно критично анализировать информацию, искать источники и всё проверять.

Если вам такое по вкусу, заглядывайте в мой телеграм, там весело. И критично.