{"id":14270,"url":"\/distributions\/14270\/click?bit=1&hash=a51bb85a950ab21cdf691932d23b81e76bd428323f3fda8d1e62b0843a9e5699","title":"\u041b\u044b\u0436\u0438, \u043c\u0443\u0437\u044b\u043a\u0430 \u0438 \u0410\u043b\u044c\u0444\u0430-\u0411\u0430\u043d\u043a \u2014 \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u0433\u043e\u0440\u0435","buttonText":"\u041d\u0430 \u043a\u0430\u043a\u043e\u0439?","imageUuid":"f84aced9-2f9d-5a50-9157-8e37d6ce1060"}

Когда расизм нашли в строках кода или неэтичный алгоритм

Китайскую компанию Dahua окончательно поймали в использовании в своём софте алгоритмов, которые дискриминируют человека на основе расы. Речь про обнаружение с помощью "умных камер" в реальном времени уйгуров (притесняемого меньшинства в Китае) и мгновенного оповещения полиции.

В их открытых документах и репозитории на гитхабе нашли строки кода:

EM_NATION_TYPE_UYGUR = 1.

и полную сортировку по расе

EM_RACE_UNKNOWN = 0, EM_RACE_NODISTI = 1, EM_RACE_YELLOW = 2; EM_RACE_BLACK = 3 and EM_RACE_WHITE = 4.

Роль "уйгур" в системе стоит рядом с категориями "драгдилер", "террорист" и подобными для полицейской системы "Умный город".

После того, как этот скандал раскачали, многие руководители компаний (а только в Калифорнии известно про 70 контрактов) стали публично отказываться от работы с Dahua. По-моему это первый пример, когда тема расизма _внутри_ продукта использована для того, чтобы ударить по коммерческой крупной компании.

При этом нет доказательств, что в конкретном софте или камерах, купленных американскими компаниями, реализован именно этот код. Dahua тоже хороши - прячут голову в песок, твердят "вы всё врете" и зачищают свои же документы и презентации. Но получается недостаточно ловко.

Автор - основатель Segmento, занимаюсь новой магистратурой ВШЭ про продукт

0
81 комментарий
Написать комментарий...
Александр Кадетов

В софте для распознания лиц нашли константы для разделения объектов по подгруппам. Невероятно!
Как без этого работать? Всех людей относить к одной расе, полу, национальной группе? Это позволяет быстрее и точнее проводить поиск, отсеивая все ненужное.

Ответить
Развернуть ветку
AeternaMens

Вы сначала прочитайте, что они с уйгурами делают после такого "распознавания". 

Ответить
Развернуть ветку
Александр Кадетов

Какое отношение имеет разработка ПО к его использованию в дискриминационных целях?
Если у меня задача - идентифицировать какую-то группу по набору определённых признаков, то я вынужден буду дать ей определение.
Если человек выглядит как уйгур, то какое я свойство я должен ему дать? - Группа X-001? Все равно у меня в комментариях или документации будет написано, что это уйгур. А дальше, основываясь на этом признаке, я сужаю круг поиска людей по имеющимся данным и ищу только среди уйгуров.
В статье же пытаются продвинуть такую мысль, что названия констант были умышленно использованы разработчиками по причине их жуткого расизма.

Ответить
Развернуть ветку
78 комментариев
Раскрывать всегда