Когда расизм нашли в строках кода или неэтичный алгоритм
Китайскую компанию Dahua окончательно поймали в использовании в своём софте алгоритмов, которые дискриминируют человека на основе расы. Речь про обнаружение с помощью "умных камер" в реальном времени уйгуров (притесняемого меньшинства в Китае) и мгновенного оповещения полиции.
В их открытых документах и репозитории на гитхабе нашли строки кода:
EM_NATION_TYPE_UYGUR = 1.
и полную сортировку по расе
EM_RACE_UNKNOWN = 0, EM_RACE_NODISTI = 1, EM_RACE_YELLOW = 2; EM_RACE_BLACK = 3 and EM_RACE_WHITE = 4.
Роль "уйгур" в системе стоит рядом с категориями "драгдилер", "террорист" и подобными для полицейской системы "Умный город".
После того, как этот скандал раскачали, многие руководители компаний (а только в Калифорнии известно про 70 контрактов) стали публично отказываться от работы с Dahua. По-моему это первый пример, когда тема расизма _внутри_ продукта использована для того, чтобы ударить по коммерческой крупной компании.
При этом нет доказательств, что в конкретном софте или камерах, купленных американскими компаниями, реализован именно этот код. Dahua тоже хороши - прячут голову в песок, твердят "вы всё врете" и зачищают свои же документы и презентации. Но получается недостаточно ловко.
Автор - основатель Segmento, занимаюсь новой магистратурой ВШЭ про продукт
В софте для распознания лиц нашли константы для разделения объектов по подгруппам. Невероятно!
Как без этого работать? Всех людей относить к одной расе, полу, национальной группе? Это позволяет быстрее и точнее проводить поиск, отсеивая все ненужное.
Вы сначала прочитайте, что они с уйгурами делают после такого "распознавания".
Какое отношение имеет разработка ПО к его использованию в дискриминационных целях? Если у меня задача - идентифицировать какую-то группу по набору определённых признаков, то я вынужден буду дать ей определение. Если человек выглядит как уйгур, то какое я свойство я должен ему дать? - Группа X-001? Все равно у меня в комментариях или документации будет написано, что это уйгур. А дальше, основываясь на этом признаке, я сужаю круг поиска людей по имеющимся данным и ищу только среди уйгуров.
В статье же пытаются продвинуть такую мысль, что названия констант были умышленно использованы разработчиками по причине их жуткого расизма.