Les algorithmes étaient censés réduire les préjugés dans la justice pénale, mais le font-ils ?

Les algorithmes étaient censés refaire le système judiciaire américain. Présentés comme des calculs impartiaux et informatisés sur le risque, la criminalité et la récidive, leur déploiement dans tous les domaines, de la police à la libération sous caution et de la condamnation à la libération conditionnelle, visait à adoucir des décisions souvent inégales prises par des humains faillibles et biaisés.

Mais, jusqu’à présent, cela n’a pas été le cas.

« En théorie, si l’algorithme prédictif est moins biaisé que le décideur, cela devrait conduire à moins d’incarcération de Noirs et d’Autochtones et d’autres personnes politiquement marginalisées. Mais les algorithmes peuvent être discriminatoires », déclare Ngozi Okidegbe, de la carrière interdisciplinaire Moorman-Simon de l’Université de Boston. Développement Professeur associé de droit et professeur adjoint d’informatique et de sciences des données.

Elle est la première à l’Université à détenir une double nomination à cheval sur les données et le droit, et sa bourse plonge dans cette intersection, examinant comment l’utilisation des technologies prédictives dans le système de justice pénale affecte les communautés racialement marginalisées.

Dans l’état actuel des choses, ces groupes sont incarcérés à près de quatre fois le taux de leurs pairs blancs. Selon le Bureau des statistiques judiciaires, une branche du ministère américain de la Justice, il y avait 1 186 adultes noirs incarcérés dans des établissements d’État ou fédéraux pour 100 000 adultes en 2021 (l’année la plus récente pour laquelle des données sont disponibles), et 1 004 Indiens d’Amérique et autochtones de l’Alaska incarcérés pour 100 000 adultes. Comparez-les aux taux auxquels les Blancs ont été incarcérés la même année : 222 pour 100 000.

Dans des articles récents, Okidegbe a étudié le rôle des algorithmes dans ces inégalités et les conséquences entrelacées de la technologie et de la loi, notamment en recherchant les données derrière les décisions de libération sous caution.

« La nomination conjointe de Ngozi à la faculté de droit de la BU et à la faculté d’informatique et des sciences des données ne pourrait pas être plus opportune, car elle témoigne de l’importance d’examiner et de scruter les systèmes et technologies d’IA sociotechniques et humains d’aujourd’hui,  » déclare Azer Bestavros, prévôt associé pour l’informatique et les sciences des données. « Cet examen nous permet non seulement de réimaginer la conception et le déploiement de ces systèmes, mais également de reconsidérer les cadres éthiques, juridiques et de politique publique dans lesquels ces systèmes fonctionneront. »

Algorithmes amplifiant le biais

Dans leur forme la plus élémentaire, les algorithmes sont des raccourcis de résolution de problèmes. Les ingénieurs peuvent entraîner des ordinateurs à digérer une grande quantité de données, puis produire une solution simple à un problème complexe. Spotify, par exemple, utilise des algorithmes pour suggérer des chansons que l’entreprise pense que ses auditeurs pourraient apprécier, en fonction de ce qu’ils ont écouté précédemment. Plus un modèle informatique doit contenir de données, plus ses résultats doivent être nuancés et précis.

Mais un nombre croissant de recherche académique—y compris par Okidegbe—et les reportages montrent que les algorithmes construits sur des données incomplètes ou biaisées peuvent reproduire ou même amplifier ce biais quand ils crachent des résultats. Ce n’est pas un gros problème si, par exemple, l’obsession Peppa Pig de votre tout-petit s’infiltre dans vos listes de lecture Spotify suggérées, mais cela peut avoir des effets dévastateurs dans d’autres contextes.

Considérez un juge, dit Okidegbe, qui reçoit un message généré par algorithme score de risque de récidive dans le cadre d’un rapport sur un criminel condamné. Ce score indique au juge la probabilité que cette personne commette un autre crime dans un avenir proche – plus le score est élevé, plus la personne est susceptible d’être un récidiviste. Le juge tient compte de ce score et assigne plus de temps de prison à quelqu’un avec un score de récidive élevé. Affaire classée.

UN rapport tentaculaire par l’organisation de presse à but non lucratif ProPublica a constaté que parce que ces scores semblent impartiaux, ils peuvent avoir beaucoup de poids auprès des juges qui les utilisent. En réalité, ces scores ne sont ni impartiaux ni hermétiques. ProPublica a constaté qu’un système particulier utilisé par les tribunaux à travers le pays se trompait environ deux fois plus souvent pour les Noirs que pour les Blancs : il qualifiait à tort deux fois plus de Noirs qui n’ont pas récidivé comme étant à haut risque de le faire.

Dans un article récent pour le Revue de droit du ConnecticutOkidegbe retrace cette incohérence jusqu’à sa source et identifie un « problème d’entrée » à trois volets.

Tout d’abord, écrit-elle, les juridictions ne savent pas si et comment elles utilisent des algorithmes avant le procès, et les adoptent souvent sans consulter les communautés marginalisées, « même si ces communautés sont affectées de manière disproportionnée par leur utilisation ». Deuxièmement, ces mêmes communautés sont généralement exclues du processus de construction de tels algorithmes. Enfin, même dans les juridictions où les membres du public peuvent donner leur avis sur l’utilisation de tels outils, leur contribution change rarement quoi que ce soit.

« Du point de vue de la justice raciale, il y a d’autres méfaits qui résultent de l’utilisation de ces systèmes algorithmiques. Le paradigme même qui régit si et comment nous utilisons ces algorithmes est assez technocratique et pas très diversifié. problème de gars », dit Okidegbe, faisant référence à un chercheur principal de Microsoft et coprésident d’un symposium de la Maison Blanche sur l’IA et la société qui a inventé le terme pour décrire la surreprésentation des hommes blancs dans la création de produits et d’entreprises artificiellement intelligents.

Dès le départ, dit Okidegbe, les systèmes algorithmiques excluent les groupes racialement marginalisés et les autres groupes politiquement opprimés.

« J’ai examiné le pouvoir décisionnel d’utiliser ou non des algorithmes et les données qu’ils sont utilisés pour produire. C’est très excluant les communautés marginalisées qui sont les plus susceptibles d’être affectées par cela, parce que ces communautés ne sont pas centrés, et souvent ils ne sont même pas à la table lorsque ces décisions sont prises », dit-elle. « C’est une façon dont je suggère que le recours aux algorithmes est incompatible avec un projet de justice raciale, en raison de la manière dont ils maintiennent la marginalisation de ces mêmes communautés. »

Pouvoir de changement de vitesse

En plus de produire des résultats biaisés qui nuisent de manière disproportionnée aux communautés marginalisées, les données utilisées pour former les algorithmes peuvent être désordonnées, subjectives et discriminatoires, dit Okidegbe.

« Dans mon travail, j’ai combattu ce que je pense être une idée fausse : que les algorithmes ne sont construits qu’avec des données quantitatives. Ils ne le sont pas, ils sont également construits avec des données qualitatives », dit-elle. Les ingénieurs informaticiens et les concepteurs de données rencontreront les décideurs politiques pour déterminer le problème que leur algorithme devrait résoudre et les ensembles de données à partir desquels ils devraient s’appuyer pour le construire, explique Okidegbe.

Dans le contexte pénal et juridique, cela pourrait signifier travailler avec les juges pour déterminer ce qui les aiderait à prononcer des peines de prison, par exemple. Encore une fois cependant, il est beaucoup moins probable que les ingénieurs de données rencontrent des personnes incarcérées, par exemple, dans le cadre de leur premier processus de collecte d’informations. Au lieu de cela, comme l’écrit Okidegbe dans un article pour une édition récente de la Cornell Law Review, la plupart des grands ensembles de données utilisés dans les algorithmes avant le procès sont construits et formés sur des données provenant de « sources de connaissances carcérales », telles que les dossiers de police et les documents judiciaires.

« Cela met en avant ce récit que ces communautés n’ont aucune connaissance à ajouter à la question plus large », a déclaré Okidegbe.

Tenir vraiment la promesse des algorithmes dans le système de justice pénale – la promesse qu’ils rendent le processus plus uniforme et moins biaisé que les humains ne l’ont autrement – nécessite une refonte radicale de toute la structure, dit Okidegbe. C’est quelque chose qu’elle encourage ses étudiants à considérer lorsqu’ils façonnent l’avenir du droit et de la justice pénale.

« Cela signifie en fait tenir compte des connaissances des communautés marginalisées et politiquement opprimées, et les informer de la manière dont l’algorithme est construit. Cela signifie également une surveillance continue des technologies algorithmiques par ces communautés également. Ce que je prétends nécessite la construction de nouvelles structures institutionnelles, cela nécessite de changer notre état d’esprit sur qui est crédible et qui devrait être au pouvoir en ce qui concerne l’utilisation de ces algorithmes. Et, si c’est trop, alors nous ne pouvons pas, du même souffle, appeler cela un projet de justice raciale . »