Les instruments d’évaluation des risques (RAI) sont largement utilisés pour éclairer la prise de décisions à enjeux élevés dans le système de justice pénale et dans d’autres domaines, tels que les soins de santé et le bien-être de l’enfance. Ces outils supposent généralement une relation entre les prédicteurs et les résultats qui ne varie pas avec le temps. Mais parce que les sociétés changent, cette hypothèse peut ne pas tenir dans tous les contextes, générant ce qu’une nouvelle étude appelle un biais de cohorte – un biais résultant d’influences à l’échelle de la cohorte non subies par les cohortes passées ou futures.
L’étude, réalisée par des chercheurs de l’Université Carnegie Mellon (CMU), de Harvard et de l’Université de Pennsylvanie, apparaît dans PNAS. Les chercheurs ont analysé les antécédents criminels d’individus à Chicago sur une période de 25 ans, de 1995 à 2020. Ils ont constaté que, quels que soient les prédicteurs, un outil d’apprentissage automatique prédisant la probabilité d’arrestation entre 17 et 24 ans pour les cohortes plus âgées nées dans les années 1980 surestimait considérablement la probabilité d’arrestation pour les cohortes plus jeunes nées au milieu des années 1990. Cela suggère que les RAI sont susceptibles d’échouer avec le temps pour les cohortes plus récentes si la dynamique du changement social est ignorée.
« Notre objectif est d’améliorer la science et l’utilisation des RAI dans des contextes à enjeux élevés », déclare Daniel Nagin, professeur de politique publique et de statistiques au Heinz College de la CMU, qui poursuit en soulignant que « le biais de cohorte peut générer des inégalités dans la justice pénale qui est distinct des préjugés raciaux. »
En prédisant le comportement criminel et l’implication du système judiciaire, les RAI prédisent généralement le risque en utilisant une combinaison de caractéristiques qui mesurent les caractéristiques individuelles, les antécédents familiaux et les antécédents criminels.
Des recherches antérieures ont identifié des prédicteurs précoces, psychosociaux et de quartier de l’implication criminelle à l’adolescence et au-delà. Il s’agit notamment de l’instabilité familiale et de la pauvreté, du manque de maîtrise de soi et du fait de grandir dans des quartiers pauvres. Bien que l’association entre bon nombre de ces caractéristiques et l’implication criminelle ultérieure soit bien établie, il n’est pas certain que la force prédictive de ces caractéristiques soit constante au cours des périodes historiques.
Dans cette étude, les chercheurs ont examiné si un RAI formé sur les caractéristiques individuelles d’une cohorte plus âgée prédisait avec précision la probabilité d’implication de la justice pénale d’une cohorte plus jeune. Plus précisément, ils ont étudié les performances de modèles formés pour prédire les arrestations au début de l’âge adulte dans plusieurs cohortes de naissance nées entre 1979 et 1995.
Leurs données provenaient du projet longitudinal sur le développement humain dans les quartiers de Chicago et comprenaient plus de 1 000 personnes de quatre cohortes d’âge. Les chercheurs ont également examiné les casiers judiciaires de l’État de l’Illinois entre 1995 et 2020. Parmi les conclusions de l’étude :
Comme le suggèrent ces résultats, les comportements futurs des individus ne sont pas seulement fonction de leurs traits stables, de leurs circonstances de vie antérieures, de leurs comportements antérieurs et de leur âge, mais aussi des changements sociaux en cours qui affectent tous les membres d’une cohorte de naissance. Bien que le domaine comprenne que les performances d’un algorithme peuvent se dégrader avec le temps, les implications de ce changement continu ne sont généralement pas reconnues dans les RAI ou dans la conceptualisation générale du risque futur.
Dans le contexte de décisions à enjeux élevés, les RAI peuvent nuire s’ils ne sont pas bien calibrés. Alors que le jugement humain est également sujet aux préjugés, un RAI peut porter des millions de jugements supplémentaires, amplifiant son impact.
« La recherche et les politiques en sciences sociales s’appuient de plus en plus sur des RAI prédictifs, y compris ceux qui utilisent des algorithmes d’apprentissage automatique », explique Erika Montana, titulaire d’un doctorat. étudiant en apprentissage automatique et politique publique au Heinz College de la CMU, qui a co-écrit l’étude et a joué le rôle principal dans la conduite des analyses. « Nos résultats montrent que les relations entre les facteurs de risque et les futures arrestations ne sont pas stables dans le temps. Par conséquent, les modèles de prédiction qui s’appuient sur ces facteurs de risque sont sujets à des erreurs systématiques et substantielles. »
Plus d’information:
Erika Montana et al, Biais de cohorte dans les évaluations prédictives des risques d’implication future du système de justice pénale, Actes de l’Académie nationale des sciences (2023). DOI : 10.1073/pnas.2301990120