Алгоритмы, узаканивающие гонения
Пару дней назад вышла новость, что в Сан-Франциско полицейским дали право на использование роботов с летальным оружием. В очередной раз, люди придумали новый способ убивать друг друга.
Может кто-то и верит в рациональное использование этих технологических примочек, но расследование ряда изданий, показывает, что эти рассуждения очень наивны и далеки от реальности.
В период с 18-го по 21-й год каждый 33 житель США подвергся полицейским проверкам по решению компьютерной программы PredPol (искусственный интеллект, система прогнозирования на основе данных и т. д. называть это можно разными названиями но суть остается той же) . Более 6 000 000 прогнозов по потенциальным преступлениям было отправлено в правохранительные органы за тот же период.
PredPol компания, основанная как совместный проект Департамента полиции Лос-Анджелеса и профессора Калифорнийского университета в Лос-Анджелесе Джеффа Брэнтингэма.
PredPol разбивает населенный пункт на сектора размером 500x500 футов (152м на 152м) , затем, по уже имеющейся статистической информации по преступлениям, составляются и обновляются прогнозы в течение дня — своего рода прогноз погоды в отношении преступности.
Проблема заключается в данных, которыми питаются алгоритмы прогнозирования. Во-первых, алгоритмы прогнозирования легко искажаются по уровню арестов. В Америке, вероятность ареста чернокожего в два раза выше чем арест белого человека.
По данным Министерства юстиции США, вероятность ареста более чем в два раза выше, чем если вы чернокожий, чем если бы вы были белым. Чернокожих в пять раз чаще останавливают без причины, чем белых.
Попав один раз в эту статистику, человек навсегда может стать для бессердечного алгоритма проблемой, на решение которой будет периодически в его район посылаться полиция города. И по статистике, кого чаще проверяют, того чаще и обвиняют, несмотря на статистически равную вероятность совершения злодеяния среди всех социальных и демографических групп. Это своего рода самоисполняющееся пророчество.
Данные об арестах программируют шаблоны расистского поведения полицейских. В результате, они с большей вероятностью предскажут высокий потенциал преступности в районах проживания меньшинств или среди меньшинств. Даже когда данные об арестах и преступности совпадают, существует множество социально-экономических причин, по которым некоторые группы населения и некоторые районы имеют более высокий исторический уровень преступности, чем другие. Подача этих данных в инструменты прогнозирования позволяет прошлому формировать будущее.
«Расизм всегда был связан с прогнозированием, о том, чтобы определенные расовые группы выглядели так, как будто они предрасположены делать плохие вещи, оправдывая контроль над ними»
По этому поводу хорошо выразилась Дороти Робертс, писательница, профессор Университета Джорджа Вайса сказав: «Расизм всегда был связан с прогнозированием, о том, чтобы определенные расовые группы выглядели так, как будто они предрасположены делать плохие вещи, оправдывая контроль над ними».
Все дошло до того, что в 2020 году более 1400 математиков из США написали гневное письмо с призывом к своим коллегам прекратить сотрудничество с полицией из-за множества задокументированных инцидентов того, как правоохранительные органы США обращаются с людьми разных рас и этнических групп.
Злоупотребления, коррумпированность и сговор среди правоохранителей давно известная вещь. Причем американцы активно снимают художественные фильмы по этим делам. Последнее что я смотрел, биографический фильм «Черная месса» с Джонни Деппом, которая хорошо показывает как детская связь сотрудника ФБР с гангстерами и его желание хорошо жить сохранила на долгие годы ирландскую мафию в Бостоне. Это реальная история, и таких очень много. И эти, изначально скомпроментированные данные лягут в основу статистических прогнозов по преступлениям.
Сторонники компьютерного прогнозирования аргументируют свое решение как ни странно той же борьбой с предрасположенностью в принятии решений. Они считают что что алгоритмы могут быть более справедливыми, чем лица, принимающие решения, или по крайней мере, сделают несправедливость явной. Приводятся примеры предвзятости судей в принятии решений, в частности, выявилось, что в одном из штатов, судьи в среднем тратят до 30 секунд на рассмотрение дела о досудебном освобождении. И искусственный интеллект может сделать подобные решения более взвешенными.
Что в итоге?
Спустя несколько лет использования программы PredPol, под давлением общественности и научного сообщества, программы по построению прогнозных моделей преступности в американских штатах начали сворачивать.
Чикагская полиция оценила риски и пришла в выводу, что данные являются ненадежными и потенциально могут привести необоснованно суровым последствиям. Они отказались от программы.
Первый последователь PredPol — полиция Лос-Анджелеса также свернула свою деятельность по данному направлению. Причиной стало то, что они даже не смогли оценить ее эффективность.
Некоторые города, такие как Санта-Круз ввели запрет на действия в отношении граждан на основании прогнозирования преступлений.
Смитсоновский журнал в 2018 году заявил, что ни одно независимое опубликованное исследование никогда не подтверждало заявления PredPol о точности своего программного обеспечения.
Лично у меня, как человека связанного с менеджментом и IT конечно возникает вопрос: сумев построить такую систему, неужели служители закона не проводили тестовые работы по качеству и эффективности выдаваемых прогнозов? Не пытались на основе тестов сделать более точные модели?
Что погубило проект? Бюрократия? Предвзятость? Или целенаправленная программа по контролю меньшинств? Ответ у каждого свой. Но лично мне все меньше хочется такого будущего, где алгоритм на основе неверных данных будет бессердечно преследовать меня по холодному расчету.
В этой истории больше всего интересна реакция американской полиции. Они начали работать с программой, но, при выявлении отрицательных результатов и высоких рисков свернули сотрудничество с разработчиками. И это нормально. Потому что полиция там, во-первых работает и, в целом, отвечает за работу, во- вторых, подконтрольна гражданскому обществу.
Защита от таких алгоритмов есть в цивилизованных странах.
В других - произвол выглядит неизбежным и неустранимым, пока ни СМИ, ни суды, ни общество не может влиять даже на очевидных преступников, злоупотребляющих властью.
Тем более, когда они, как во всех диктатурах, прикрывают свои реальные преступные намерения "контролем", "безопасностью" при отсутствии над ними самими реального контроля, при их явной общественной опасности.
Так что это вопрос не технический и не проблема с данными, это качество провоохранительной системы, уровень прав и свобод в стране.
Такс свернули PredPol. Роботы с летальным оружием приживутся наверняка. Решение же о использовании всё равно принимает оператор.
Ну а там глядишь ИИ начнет помогать... а потом и сам начнет за оператора решать :)
Согласен что проблема не техническая
Алгоритм не сильно то справился с переводом этой статьи, предсказание преступлений видимо такое же.
Точно знаешь?)
Вспоминается шедевральный прецедент из палаты мер и весов, когда нейросеточка "диагностировала" рак по рентгеновским снимкам, "обучившись" по рамкам этих снимков. То есть, по метаданным. То есть, по статистике в каких-то клиниках было больше онкобольных, и искуственный идиот начал принимать решение на основании принадлежности снимка к этим клиникам, а не по фактическому изображению. Потушенный свет, слитая вода, фотофиниш.
Проблему можно и расширить. По-моему очень близкая тема - блокировки юзеров на сервисах типа Ютюба. Логика блокировки плохо понятна, а вернуть статус замучаешься. Я, например, уже месяц пытаюсь понять, почему меня забанили на одном из серверов Discrod и как разбаниться. Администрация Discord пишет, что надо общаться с администрацией сервера, а как с ним общаться, если он меня забанил без объяснения причин и контактов админов нет )