Vorhersagealgorithmen, die häufig von Colleges und Universitäten verwendet werden, um den Erfolg von Studenten zu bestimmen, können rassistisch gegenüber schwarzen und hispanischen Studenten voreingenommen sein, so neue Forschung veröffentlicht heute in AERA geöffnet.
Die von Denisa Gándara (University of Texas at Austin), Hadis Anahideh (University of Illinois Chicago), Matthew Ison (Northern Illinois University) und Lorenzo Picchiarini (University of Illinois Chicago) durchgeführte Studie ergab, dass Vorhersagemodelle auch dazu neigen, den potenziellen Erfolg weißer und asiatischer Studenten zu überschätzen.
„Unsere Ergebnisse zeigen, dass Vorhersagemodelle für schwarze und hispanische Schüler weniger genaue Ergebnisse liefern und systematisch mehr Fehler machen“, sagte die Co-Autorin der Studie, Denisa Gándara, Assistenzprofessorin am College of Education der University of Texas in Austin.
Diese Modelle sagen für schwarze und hispanische Schüler in 19 % bzw. 21 % der Fälle fälschlicherweise das Scheitern voraus, während die Rate der falsch-negativen Ergebnisse für weiße und asiatische Gruppen bei 12 % bzw. 6 % liegt. Gleichzeitig sagen die Modelle für weiße und asiatische Schüler in 65 % bzw. 73 % der Fälle fälschlicherweise den Erfolg voraus, während die Rate der falsch-negativen Ergebnisse für schwarze und hispanische Schüler bei 33 % bzw. 28 % liegt.
„Unsere Ergebnisse zeigen ein beunruhigendes Muster: Modelle, die häufig verwendete Merkmale verwenden, um den Erfolg von College-Studenten vorherzusagen, prognostizieren letztendlich schlechtere Ergebnisse für ethnische Minderheitengruppen und sind oft ungenau“, sagte Co-Autor Hadis Anahideh, Assistenzprofessor für Wirtschaftsingenieurwesen an der University of Illinois Chicago. „Dies unterstreicht die Notwendigkeit, inhärente Verzerrungen in der prädiktiven Analytik in Bildungseinrichtungen anzugehen.“
Bildnachweis: American Educational Research Association
Für die Studie wurden landesweit repräsentative Daten des National Center for Education Statistics des US-Bildungsministeriums über einen Zeitraum von zehn Jahren verwendet, die 15.244 Schüler umfassten.
Die Erkenntnisse aus der Studie weisen auch auf den potenziellen Wert statistischer Verfahren zur Minderung von Verzerrungen hin, auch wenn hier noch Einschränkungen bestehen.
„Bei unseren Untersuchungen haben wir verschiedene Techniken zur Minderung von Voreingenommenheit getestet. Dabei stellten wir fest, dass es keinen einzigen Ansatz gibt, der Unterschiede bei den Vorhersageergebnissen oder der Genauigkeit zwischen verschiedenen Fairnesskonzepten vollständig beseitigt“, sagte Anahideh.
Hochschulen greifen zunehmend auf Algorithmen des maschinellen Lernens und der künstlichen Intelligenz zurück, die den Studienerfolg vorhersagen und so verschiedene Entscheidungen treffen, darunter Zulassungen, Budgetplanung und Studienerfolgsinterventionen. In den letzten Jahren wurden Bedenken geäußert, dass diese Vorhersagemodelle soziale Ungleichheiten verewigen könnten.
„Da Hochschulen und Universitäten immer mehr auf Daten basieren, ist es unerlässlich, dass bei der Entwicklung von Prognosemodellen auf ihre Voreingenommenheit und ihre möglichen Folgen geachtet wird“, sagte Gándara. „Für institutionelle Nutzer ist es von entscheidender Bedeutung, sich der historischen Diskriminierung bewusst zu sein, die sich in den Daten widerspiegelt, und Gruppen, die rassistisch motivierten sozialen Nachteilen ausgesetzt waren, nicht zu benachteiligen.“
Die Autoren der Studie wiesen darauf hin, dass die praktischen Auswirkungen der Ergebnisse erheblich sind, aber davon abhängen, wie die vorhergesagten Ergebnisse verwendet werden. Wenn Modelle zur Entscheidung über die Zulassung zu Hochschulen verwendet werden, kann die Zulassung rassisch-minderjähriger Studenten verweigert werden, wenn die Modelle zeigen, dass frühere Studenten derselben Rassenkategorie weniger Erfolg hatten. Beobachter des Hochschulwesens haben auch davor gewarnt, dass Vorhersagen zu einer Bildungsnachverfolgung führen könnten, die schwarze und hispanische Studenten dazu ermutigen könnte, Kurse oder Hauptfächer zu wählen, die als weniger anspruchsvoll wahrgenommen werden.
Andererseits können voreingenommene Modelle zu einer stärkeren Unterstützung benachteiligter Schüler führen. Indem das Modell fälschlicherweise das Scheitern erfolgreicher Schüler aus ethnischen Minderheiten vorhersagt, kann es dazu führen, dass diesen Schülern mehr Ressourcen zugewiesen werden. Selbst dann, so Gándara, müssen Praktiker darauf achten, keine Defizitnarrative über Schüler aus ethnischen Minderheiten zu produzieren und sie so zu behandeln, als hätten sie eine geringere Erfolgswahrscheinlichkeit.
„Unsere Ergebnisse zeigen, wie wichtig es ist, dass Institutionen ihre Endnutzer über das Potenzial algorithmischer Verzerrungen aufklären“, sagte Gándara. „Sensibilisierung kann Benutzern helfen, Vorhersagen für einzelne Schüler zu kontextualisieren und fundiertere Entscheidungen zu treffen.“
Sie wies darauf hin, dass politische Entscheidungsträger Maßnahmen zur Überwachung und Bewertung der Nutzung prädiktiver Analysen in Betracht ziehen könnten, einschließlich deren Gestaltung, Verzerrung der prognostizierten Ergebnisse und Anwendungsmöglichkeiten.
Mehr Informationen:
Inside the Black Box: Erkennen und Abschwächen algorithmischer Verzerrungen bei der Vorhersage des Studienerfolgs von Collegestudenten in rassistisch diskriminierten Gruppen, AERA geöffnet (2024). DOI: 10.1177/23328584241258741
Zur Verfügung gestellt von der American Educational Research Association