Алгоритмы, узаканивающие гонения

Пару дней назад вышла новость, что в Сан-Франциско полицейским дали право на использование роботов с летальным оружием. В очередной раз, люди придумали новый способ убивать друг друга.

Может кто-то и верит в рациональное использование этих технологических примочек, но расследование ряда изданий, показывает, что эти рассуждения очень наивны и далеки от реальности.

В период с 18-го по 21-й год каждый 33 житель США подвергся полицейским проверкам по решению компьютерной программы PredPol (искусственный интеллект, система прогнозирования на основе данных и т. д. называть это можно разными названиями но суть остается той же) . Более 6 000 000 прогнозов по потенциальным преступлениям было отправлено в правохранительные органы за тот же период.

PredPol компания, основанная как совместный проект Департамента полиции Лос-Анджелеса и профессора Калифорнийского университета в Лос-Анджелесе Джеффа Брэнтингэма.

PredPol разбивает населенный пункт на сектора размером 500x500 футов (152м на 152м) , затем, по уже имеющейся статистической информации по преступлениям, составляются и обновляются прогнозы в течение дня — своего рода прогноз погоды в отношении преступности.

Проблема заключается в данных, которыми питаются алгоритмы прогнозирования. Во-первых, алгоритмы прогнозирования легко искажаются по уровню арестов. В Америке, вероятность ареста чернокожего в два раза выше чем арест белого человека.

По данным Министерства юстиции США, вероятность ареста более чем в два раза выше, чем если вы чернокожий, чем если бы вы были белым. Чернокожих в пять раз чаще останавливают без причины, чем белых.

Попав один раз в эту статистику, человек навсегда может стать для бессердечного алгоритма проблемой, на решение которой будет периодически в его район посылаться полиция города. И по статистике, кого чаще проверяют, того чаще и обвиняют, несмотря на статистически равную вероятность совершения злодеяния среди всех социальных и демографических групп. Это своего рода самоисполняющееся пророчество.

Данные об арестах программируют шаблоны расистского поведения полицейских. В результате, они с большей вероятностью предскажут высокий потенциал преступности в районах проживания меньшинств или среди меньшинств. Даже когда данные об арестах и преступности совпадают, существует множество социально-экономических причин, по которым некоторые группы населения и некоторые районы имеют более высокий исторический уровень преступности, чем другие. Подача этих данных в инструменты прогнозирования позволяет прошлому формировать будущее.

По этому поводу хорошо выразилась Дороти Робертс, писательница, профессор Университета Джорджа Вайса сказав: «Расизм всегда был связан с прогнозированием, о том, чтобы определенные расовые группы выглядели так, как будто они предрасположены делать плохие вещи, оправдывая контроль над ними».

Все дошло до того, что в 2020 году более 1400 математиков из США написали гневное письмо с призывом к своим коллегам прекратить сотрудничество с полицией из-за множества задокументированных инцидентов того, как правоохранительные органы США обращаются с людьми разных рас и этнических групп.

Злоупотребления, коррумпированность и сговор среди правоохранителей давно известная вещь. Причем американцы активно снимают художественные фильмы по этим делам. Последнее что я смотрел, биографический фильм «Черная месса» с Джонни Деппом, которая хорошо показывает как детская связь сотрудника ФБР с гангстерами и его желание хорошо жить сохранила на долгие годы ирландскую мафию в Бостоне. Это реальная история, и таких очень много. И эти, изначально скомпроментированные данные лягут в основу статистических прогнозов по преступлениям.

Сторонники компьютерного прогнозирования аргументируют свое решение как ни странно той же борьбой с предрасположенностью в принятии решений. Они считают что что алгоритмы могут быть более справедливыми, чем лица, принимающие решения, или по крайней мере, сделают несправедливость явной. Приводятся примеры предвзятости судей в принятии решений, в частности, выявилось, что в одном из штатов, судьи в среднем тратят до 30 секунд на рассмотрение дела о досудебном освобождении. И искусственный интеллект может сделать подобные решения более взвешенными.

Спустя несколько лет использования программы PredPol, под давлением общественности и научного сообщества, программы по построению прогнозных моделей преступности в американских штатах начали сворачивать.

Чикагская полиция оценила риски и пришла в выводу, что данные являются ненадежными и потенциально могут привести необоснованно суровым последствиям. Они отказались от программы.

Первый последователь PredPol — полиция Лос-Анджелеса также свернула свою деятельность по данному направлению. Причиной стало то, что они даже не смогли оценить ее эффективность.

Некоторые города, такие как Санта-Круз ввели запрет на действия в отношении граждан на основании прогнозирования преступлений.

Смитсоновский журнал в 2018 году заявил, что ни одно независимое опубликованное исследование никогда не подтверждало заявления PredPol о точности своего программного обеспечения.

Лично у меня, как человека связанного с менеджментом и IT конечно возникает вопрос: сумев построить такую систему, неужели служители закона не проводили тестовые работы по качеству и эффективности выдаваемых прогнозов? Не пытались на основе тестов сделать более точные модели?

Что погубило проект? Бюрократия? Предвзятость? Или целенаправленная программа по контролю меньшинств? Ответ у каждого свой. Но лично мне все меньше хочется такого будущего, где алгоритм на основе неверных данных будет бессердечно преследовать меня по холодному расчету.

PredPol Crime Predictions Target Poor, Blacks, Latinos

Data-informed predictive policing was heralded as less biased. Is it?

Predictive policing algorithms are racist. They need to be dismantled. | MIT Technology Review