Für den akademischen Erfolg ist es wichtig, Ihr ABC zu kennen, aber auch ein Nachname, der mit A, B oder C beginnt, kann bei der Note hilfreich sein.
Eine von Forschern der University of Michigan durchgeführte Analyse von mehr als 30 Millionen Notendatensätzen der UM kommt zu dem Ergebnis, dass Schüler mit alphabetisch niedrigeren Namen schlechtere Noten erhalten. Dies ist auf sequentielle Benotungsverzerrungen und die Standardreihenfolge der Einreichungen der Studierenden in Canvas – dem am weitesten verbreiteten Online-Lernmanagementsystem – zurückzuführen, die auf der alphabetischen Rangfolge ihrer Nachnamen basiert.
Darüber hinaus stellen sie fest, dass die alphabetisch benachteiligten Schüler deutlich negativere und weniger höfliche Kommentare erhalten und eine schlechtere Bewertungsqualität aufweisen, gemessen an den Beschwerden der Schüler nach der Note.
„Wir verbringen viel Zeit damit, darüber nachzudenken, wie wir die Bewertung fair und genau gestalten können, aber selbst für mich war es wirklich überraschend“, sagte Jun Li, außerordentlicher Professor für Technologie und Betrieb an der Ross School of Business der UM und Mitautor des Buches Studieren Sie mit den Doktoranden Jiaxin Pei von der School of Information der UM und Helen (Zhihan) Wang von Ross.
„Es kam uns erst in den Sinn, als wir uns die Daten ansahen und erkannten, dass die Reihenfolge einen Unterschied macht.“
Bildnachweis: University of Michigan
Die Forscher sammelten verfügbare historische Daten aller Programme, Studierenden und Aufgaben auf Canvas vom Herbstsemester 2014 bis zum Sommersemester 2022. Sie ergänzten die Canvas-Daten durch Daten der Universitätsregistratoren, die detaillierte Informationen über den Hintergrund, die Demografie und die Lernverläufe der Studenten an der Universität enthalten.
Obwohl die Daten von UM stammen, sagen die Forscher, dass die Ergebnisse über Institutionen und Kurse hinweg verallgemeinert werden können. Sie basieren auf einem häufigen Designproblem von Lernmanagementsystemen – der Standardeinstellung, die Aufgaben der Studierenden alphabetisch nach ihren Namen zu ordnen.
Ihre Forschung deckte ein klares Muster einer Verschlechterung der Benotungsqualität auf, wenn die Bewerter mehr Aufgaben bewerten. Laut Wang erhielten Schüler, deren Nachnamen mit A, B, C, D oder E beginnen, eine um 0,3 Punkte höhere Note von 100 möglichen Punkten als bei einer zufälligen Benotung. Ebenso erhielten Schüler mit später im Alphabet vorkommenden Nachnamen eine um 0,3 Punkte schlechtere Note, wodurch ein Abstand von 0,6 Punkten entstand.
Wang stellt fest, dass sich bei einer kleinen Gruppe von Bewertern (etwa 5 %), die von Z auf A benoten, der Notenunterschied erwartungsgemäß umkehrt: AE-Schüler sind schlechter dran, während WZ-Schüler im Vergleich zu dem, was sie bei zufälliger Benotung erhalten würden, bessere Noten erhalten. Solche Beobachtungen bestätigen ihre Hypothese, dass es die Reihenfolge der Benotung ist, die zu dem anfänglichen Notenunterschied führt.
Ein Unterschied von 0,6 Punkten mag klein erscheinen, aber ein solcher Unterschied wirkte sich tatsächlich auf die Notendurchschnitte der Studenten aus, was sich negativ auf die Chancen auf ihren jeweiligen Karrierewegen auswirkte.
„Unsere Schlussfolgerung ist, dass dies möglicherweise etwas ist, was den Bewertern unbewusst passiert ist und tatsächlich eine echte soziale Auswirkung hat“, sagte Wang.
Pei sagt, die Idee für die Studie sei während einer Diskussion mit Wang entstanden, in der sie über ihre Forschung sprachen: Sie studiert Bildungstechnologie und er studiert künstliche Intelligenz. Er stellte fest, dass eine grundlegende Aufgabe des maschinellen Lernens die Datenkennzeichnung ist, ebenfalls eine sequentielle Aufgabe, die langwierig und mühsam sein kann – aber eine, die zufällig erfolgt.
Es brachte sie dazu, über Bildungssysteme wie Canvas nachzudenken und führte zu einigen Pilotstudien, um herauszufinden, ob es Unterschiede zwischen den Noten basierend auf der für die Benotung aufgewendeten Zeit gab.
„Wir vermuten, dass Müdigkeit einer der Hauptfaktoren für diesen Effekt ist, denn wenn man über einen längeren Zeitraum an etwas arbeitet, wird man müde und verliert dann die Aufmerksamkeit und die kognitiven Fähigkeiten.“ fallen“, sagte Pei.
Die Forscher weisen darauf hin, dass die Möglichkeit besteht, die Aufgaben in zufälliger Reihenfolge zu benoten, was einige Pädagogen auch tun, die alphabetische Reihenfolge jedoch der Standardmodus in Canvas und anderen Online-Lernmanagementsystemen ist. Eine einfache Lösung wäre, die zufällige Reihenfolge zur Standardeinstellung zu machen.
Sie schlagen außerdem vor, dass akademische Einrichtungen mehr Bewerter für größere Klassen einstellen, die Arbeitsbelastung auf mehr Personen verteilen oder sie darin schulen könnten, sich der Voreingenommenheit bei der Benotung bewusst zu sein und diese zu verringern.
Li, Wang und Pei haben ihre Forschungsergebnisse auf Konferenzen vorgestellt und sie wurden positiv aufgenommen – viele sind von ihrer Arbeit beeindruckt, obwohl sie die von vielen gehegten Vermutungen bestätigt. Eine Reaktion fällt Li besonders auf – zweifellos eine Falte des Informationszeitalters mit der Ausrede „Der Hund hat meine Hausaufgaben gefressen“.
„Ein Student schickte uns daraufhin eine E-Mail mit der Bitte, die Arbeit mit ihm zu teilen“, sagte sie. „Er erwähnte, dass sein Nachname mit W begann. Er wird seinen Eltern sagen, dass es nicht an ihm liegt, sondern an seinem Nachnamen.“
Die Studie wird von der Zeitschrift begutachtet Managementwissenschaft und derzeit als Arbeitspapier verfügbar.
Mehr Informationen:
Zhihan (Helen) Wang et al., 30 Millionen Canvas-Bewertungsaufzeichnungen zeigen eine weit verbreitete sequentielle Verzerrung und eine systembedingte anfängliche Ungleichheit der Nachnamen (2023). An SSRN: ssrn.com/abstract=4603146