Instrumente zur Bewertung des Kriminalitätsrisikos für junge Kohorten werden mit der Zeit wahrscheinlich versagen, wenn sie den sozialen Wandel ignorieren

Risikobewertungsinstrumente (RAIs) werden häufig als Grundlage für wichtige Entscheidungen im Strafjustizsystem und in anderen Bereichen wie dem Gesundheitswesen und dem Kindeswohl eingesetzt. Diese Tools gehen typischerweise von einer Beziehung zwischen Prädiktoren und Ergebnissen aus, die sich mit der Zeit nicht ändert. Da sich Gesellschaften jedoch verändern, trifft diese Annahme möglicherweise nicht in allen Situationen zu, was zu dem führt, was eine neue Studie als Kohortenverzerrung bezeichnet – eine Verzerrung, die aus kohortenweiten Einflüssen resultiert, die vergangene oder zukünftige Kohorten nicht erfahren haben.

Die Studie von Forschern der Carnegie Mellon University (CMU), Harvard und der University of Pennsylvania erscheint in PNAS. Die Forscher analysierten die Kriminalgeschichte von Personen in Chicago über einen Zeitraum von 25 Jahren, von 1995 bis 2020. Sie fanden heraus, dass ein maschinelles Lerntool, das die Wahrscheinlichkeit einer Verhaftung im Alter zwischen 17 und 24 Jahren für ältere Kohorten, die in den 1980er Jahren geboren wurden, unabhängig von den Prädiktoren vorhersagte, die Wahrscheinlichkeit einer Verhaftung für jüngere Kohorten, die Mitte der 1990er Jahre geboren wurden, erheblich überschätzte. Dies deutet darauf hin, dass RAIs bei neueren Kohorten mit der Zeit wahrscheinlich scheitern, wenn die Dynamik des sozialen Wandels ignoriert wird.

„Unser Ziel ist es, die Wissenschaft und den Einsatz von RAIs in brisanten Kontexten zu verbessern“, sagt Daniel Nagin, Professor für öffentliche Ordnung und Statistik am Heinz College der CMU, der weiter darauf hinweist: „Kohortenvoreingenommenheit kann zu Ungleichheit in der Strafjustiz führen.“ das unterscheidet sich von rassistischer Voreingenommenheit.“

Bei der Vorhersage von kriminellem Verhalten und der Beteiligung des Justizsystems nutzen RAIs typischerweise eine Risikovorhersage mithilfe einer Kombination von Merkmalen, die individuelle Merkmale, familiären Hintergrund und frühere Straftaten messen.

Frühere Forschungen haben frühzeitige, psychosoziale und nachbarschaftliche Prädiktoren für kriminelle Beteiligung im Jugendalter und darüber hinaus identifiziert. Dazu gehören familiäre Instabilität und Armut, geringe Selbstkontrolle und das Aufwachsen in armen Vierteln. Während der Zusammenhang zwischen vielen dieser Merkmale und späterer krimineller Beteiligung gut belegt ist, ist ungewiss, ob die Vorhersagekraft dieser Merkmale über historische Zeiträume hinweg konstant ist.

In dieser Studie untersuchten Forscher, ob ein RAI, der auf individuellen Merkmalen einer älteren Kohorte trainiert wurde, die Wahrscheinlichkeit einer strafrechtlichen Beteiligung einer jüngeren Kohorte genau vorhersagte. Insbesondere untersuchten sie die Leistung von Modellen, die darauf trainiert wurden, Festnahmen im frühen Erwachsenenalter in Mehrlingskohorten, die zwischen 1979 und 1995 geboren wurden, vorherzusagen.

Ihre Daten stammten aus dem Längsschnittprojekt „Project on Human Development in Chicago Neighborhoods“ und umfassten mehr als 1.000 Personen aus vier Alterskohorten. Forscher untersuchten auch Strafregister aus dem Bundesstaat Illinois zwischen 1995 und 2020. Zu den Ergebnissen der Studie gehören:

Wie diese Ergebnisse zeigen, hängt das zukünftige Verhalten von Individuen nicht nur von ihren stabilen Merkmalen, früheren Lebensumständen, früheren Verhaltensweisen und ihrem Alter ab, sondern auch von laufenden sozialen Veränderungen, die alle Mitglieder einer Geburtskohorte betreffen. Zwar ist sich die Fachwelt darüber im Klaren, dass sich die Leistung eines Algorithmus mit der Zeit verschlechtern kann, die Auswirkungen dieser laufenden Änderung werden jedoch in RAIs oder in der allgemeinen Konzeptualisierung zukünftiger Risiken normalerweise nicht berücksichtigt.

Im Zusammenhang mit Entscheidungen, die viel auf dem Spiel stehen, können RAIs Schaden anrichten, wenn sie nicht gut kalibriert sind. Auch wenn menschliches Urteilsvermögen anfällig für Voreingenommenheit ist, kann ein RAI Millionen weiterer Urteile fällen und so seine Wirkung verstärken.

„Sozialwissenschaftliche Forschung und Politik verlassen sich zunehmend auf prädiktive RAIs, einschließlich solcher, die Algorithmen für maschinelles Lernen verwenden“, erklärt Erika Montana, eine Doktorandin. Student für maschinelles Lernen und öffentliche Ordnung am Heinz College der CMU, der die Studie mitverfasste und die führende Rolle bei der Durchführung der Analysen übernahm. „Unsere Ergebnisse zeigen, dass die Beziehungen zwischen Risikofaktoren und zukünftigen Festnahmen im Laufe der Zeit nicht stabil sind. Daher sind Vorhersagemodelle, die auf diesen Risikofaktoren basieren, anfällig für systematische und erhebliche Fehler.“