Les algorithmes prédictifs couramment utilisés par les collèges et les universités pour déterminer si les étudiants réussiront peuvent être racialement biaisés à l’encontre des étudiants noirs et hispaniques, selon une nouvelle étude. recherche publié aujourd’hui dans AERA Ouvert.
L’étude, menée par Denisa Gándara (Université du Texas à Austin), Hadis Anahideh (Université de l’Illinois à Chicago), Matthew Ison (Université Northern Illinois) et Lorenzo Picchiarini (Université de l’Illinois à Chicago), a révélé que les modèles prédictifs ont également tendance à surestimer le potentiel de réussite des étudiants blancs et asiatiques.
« Nos résultats montrent que les modèles prédictifs donnent des résultats moins précis pour les étudiants noirs et hispaniques, commettant systématiquement plus d’erreurs », a déclaré Denisa Gándara, co-auteure de l’étude et professeure adjointe au College of Education de l’Université du Texas à Austin.
Ces modèles prédisent de manière erronée l’échec des étudiants noirs et hispaniques dans 19 % et 21 % des cas respectivement, contre des taux de faux négatifs de 12 % et 6 % pour les groupes blancs et asiatiques. Dans le même temps, les modèles prédisent de manière erronée la réussite des étudiants blancs et asiatiques dans 65 % et 73 % des cas respectivement, contre des taux de faux négatifs de 33 % et 28 % pour les étudiants noirs et hispaniques.
« Nos résultats révèlent une tendance inquiétante : les modèles qui intègrent des caractéristiques couramment utilisées pour prédire la réussite des étudiants universitaires finissent par prévoir des résultats plus mauvais pour les groupes racialement minoritaires et sont souvent inexacts », a déclaré Hadis Anahideh, co-auteur et professeur adjoint d’ingénierie industrielle à l’Université de l’Illinois à Chicago. « Cela souligne la nécessité de s’attaquer aux biais inhérents à l’analyse prédictive dans les milieux éducatifs. »
Crédit : American Educational Research Association
L’étude a utilisé des données représentatives à l’échelle nationale couvrant 10 ans provenant du Centre national des statistiques de l’éducation du ministère américain de l’Éducation, incluant 15 244 étudiants.
Les résultats de l’étude soulignent également l’intérêt potentiel de l’utilisation de techniques statistiques pour atténuer les biais, même si certaines limites subsistent.
« Bien que nos recherches aient testé diverses techniques d’atténuation des biais, nous avons constaté qu’aucune approche unique n’élimine complètement les disparités dans les résultats de prédiction ou la précision entre différentes notions d’équité », a déclaré Anahideh.
Les établissements d’enseignement supérieur se tournent de plus en plus vers les algorithmes d’apprentissage automatique et d’intelligence artificielle qui prédisent la réussite des étudiants pour éclairer diverses décisions, notamment celles liées aux admissions, à la budgétisation et aux interventions en faveur de la réussite des étudiants. Ces dernières années, certains craignent que ces modèles prédictifs ne perpétuent les disparités sociales.
« À mesure que les universités et les collèges s’appuient de plus en plus sur les données, il est impératif que les modèles prédictifs soient conçus en tenant compte de leurs biais et de leurs conséquences potentielles », a déclaré Gándara. « Il est essentiel que les utilisateurs institutionnels soient conscients de la discrimination historique reflétée dans les données et qu’ils ne pénalisent pas les groupes qui ont été victimes de désavantages sociaux liés à la race. »
Les auteurs de l’étude ont souligné que les implications pratiques des résultats sont importantes mais dépendent de la manière dont les résultats prédits sont utilisés. Si des modèles sont utilisés pour prendre des décisions d’admission à l’université, l’admission peut être refusée aux étudiants issus de minorités raciales si les modèles montrent que les étudiants précédents des mêmes catégories raciales ont eu moins de succès. Les observateurs de l’enseignement supérieur ont également averti que les prédictions pourraient conduire à un alignement éducatif, encourageant les étudiants noirs et hispaniques à suivre des cours ou des spécialisations perçus comme moins difficiles.
D’un autre côté, les modèles biaisés peuvent conduire à un soutien plus important aux étudiants défavorisés. En prédisant à tort l’échec des étudiants issus de minorités raciales qui réussissent, le modèle peut orienter davantage de ressources vers ces étudiants. Même dans ce cas, a noté Gándara, les praticiens doivent veiller à ne pas produire de récits déficitaires sur les étudiants issus de minorités, en les traitant comme s’ils avaient une probabilité de réussite plus faible.
« Nos résultats soulignent l’importance pour les établissements de former les utilisateurs finaux aux biais algorithmiques potentiels », a déclaré Gándara. « La sensibilisation peut aider les utilisateurs à contextualiser les prédictions pour chaque élève et à prendre des décisions plus éclairées. »
Elle a noté que les décideurs politiques pourraient envisager des politiques visant à surveiller ou à évaluer l’utilisation de l’analyse prédictive, y compris leur conception, les biais dans les résultats prévus et les applications.
Plus d’information:
À l’intérieur de la boîte noire : détection et atténuation des biais algorithmiques dans les groupes racialisés dans la prédiction de la réussite des étudiants universitaires, AERA Ouvert (2024). DOI: 10.1177/23328584241258741
Fourni par l’American Educational Research Association