{"id":14277,"url":"\/distributions\/14277\/click?bit=1&hash=17ce698c744183890278e5e72fb5473eaa8dd0a28fac1d357bd91d8537b18c22","title":"\u041e\u0446\u0438\u0444\u0440\u043e\u0432\u0430\u0442\u044c \u043b\u0438\u0442\u0440\u044b \u0431\u0435\u043d\u0437\u0438\u043d\u0430 \u0438\u043b\u0438 \u0437\u043e\u043b\u043e\u0442\u044b\u0435 \u0443\u043a\u0440\u0430\u0448\u0435\u043d\u0438\u044f","buttonText":"\u041a\u0430\u043a?","imageUuid":"771ad34a-9f50-5b0b-bc84-204d36a20025"}

Когда расизм нашли в строках кода или неэтичный алгоритм

Китайскую компанию Dahua окончательно поймали в использовании в своём софте алгоритмов, которые дискриминируют человека на основе расы. Речь про обнаружение с помощью "умных камер" в реальном времени уйгуров (притесняемого меньшинства в Китае) и мгновенного оповещения полиции.

В их открытых документах и репозитории на гитхабе нашли строки кода:

EM_NATION_TYPE_UYGUR = 1.

и полную сортировку по расе

EM_RACE_UNKNOWN = 0, EM_RACE_NODISTI = 1, EM_RACE_YELLOW = 2; EM_RACE_BLACK = 3 and EM_RACE_WHITE = 4.

Роль "уйгур" в системе стоит рядом с категориями "драгдилер", "террорист" и подобными для полицейской системы "Умный город".

После того, как этот скандал раскачали, многие руководители компаний (а только в Калифорнии известно про 70 контрактов) стали публично отказываться от работы с Dahua. По-моему это первый пример, когда тема расизма _внутри_ продукта использована для того, чтобы ударить по коммерческой крупной компании.

При этом нет доказательств, что в конкретном софте или камерах, купленных американскими компаниями, реализован именно этот код. Dahua тоже хороши - прячут голову в песок, твердят "вы всё врете" и зачищают свои же документы и презентации. Но получается недостаточно ловко.

Автор - основатель Segmento, занимаюсь новой магистратурой ВШЭ про продукт

0
81 комментарий
Написать комментарий...
Александр Кадетов

В софте для распознания лиц нашли константы для разделения объектов по подгруппам. Невероятно!
Как без этого работать? Всех людей относить к одной расе, полу, национальной группе? Это позволяет быстрее и точнее проводить поиск, отсеивая все ненужное.

Ответить
Развернуть ветку
AeternaMens

Вы сначала прочитайте, что они с уйгурами делают после такого "распознавания". 

Ответить
Развернуть ветку
Александр Кадетов

Какое отношение имеет разработка ПО к его использованию в дискриминационных целях?
Если у меня задача - идентифицировать какую-то группу по набору определённых признаков, то я вынужден буду дать ей определение.
Если человек выглядит как уйгур, то какое я свойство я должен ему дать? - Группа X-001? Все равно у меня в комментариях или документации будет написано, что это уйгур. А дальше, основываясь на этом признаке, я сужаю круг поиска людей по имеющимся данным и ищу только среди уйгуров.
В статье же пытаются продвинуть такую мысль, что названия констант были умышленно использованы разработчиками по причине их жуткого расизма.

Ответить
Развернуть ветку
78 комментариев
Раскрывать всегда