Sollte KI Ihren College-Aufsatz lesen? Es ist kompliziert

In einer neuen Studie haben Forscher eine Reihe von Tools für künstliche Intelligenz entwickelt, die Aufsätze in Hochschulbewerbungen durchsuchen und Hinweise auf wichtige persönliche Merkmale heraussuchen können. Dazu gehören Eigenschaften wie Führung und Ausdauer.

Das Team hat die Tools auch so konzipiert, dass Bewerber mit einem bestimmten Rassen- oder Geschlechtshintergrund nicht bevorzugt werden – und vermeidet so die „algorithmische Verzerrung“, die vielen KI-Systemen, wie etwa mancher Gesichtserkennungssoftware, zu schaffen macht.

Die Studie wurde von Forschern der CU Boulder und der University of Pennsylvania geleitet und war im Oktober veröffentlicht im Tagebuch Wissenschaftliche Fortschritte.

„Unsere Arbeit zeigt, dass KI keine voreingenommene Blackbox sein muss, wie es in vielen anderen Situationen der Fall war“, sagte Benjamin Lira, Doktorand der Psychologie an der UPenn und Erstautor der Studie. „Man kann tatsächlich über KI verfügen, die die Ziele einer ganzheitlichen Zulassung vorantreibt, die Bewerber als Ganzes betrachtet und nicht nur ihre Noten oder Testergebnisse.“

Diese Tools sollten niemals erfahrene, einfühlsame Zulassungsbeamte ersetzen und werden derzeit an keiner Hochschule eingesetzt, sagte der Co-Autor der Studie, Sidney D’Mello. Aber unter den richtigen Umständen könnte KI den Zulassungsbeamten dabei helfen, vielversprechende zukünftige Studierende zu identifizieren, die zuvor unter Tausenden von Bewerbungen möglicherweise unbemerkt geblieben sind.

„Wir plädieren für Transparenz, bei der die KI Erklärungen liefert und klar kommuniziert, wenn sie sich bei ihren Entscheidungen weniger sicher ist“, sagte D’Mello, Professor am Institute of Cognitive Science und Department of Computer Science der CU Boulder. „Die Menschen können dann selbst entscheiden, wie sehr sie darauf vertrauen sollen.“

Die Untersuchung geht der Frage auf den Grund, was das Geheimnis für die Hochschulzulassung sein könnte: Was suchen Hochschulen und Universitäten, wenn es um persönliche Aufsätze geht? Selbst erfahrene Zulassungsbeamte sind sich in diesem Punkt nicht immer einig – oder sogar untereinander, sagte Lira.

„Menschen haben Grenzen“, sagte er. „Sie werden den ersten Aufsatz des Tages nicht genauso lesen, wie Sie den letzten vor dem Mittagessen gelesen haben.“

In ihrer neuesten Forschung wollten er und seine Kollegen herausfinden, ob sie diesen Prozess mithilfe von KI zuverlässiger machen könnten. Dazu griff das Team auf einen Berg an Daten zurück – mehr als 300.000 (völlig anonyme) Bewerbungen, die Studieninteressierte in den Jahren 2008 und 2009 an Colleges in den USA eingereicht hatten. Jede Bewerbung enthielt einen 150-Wörter-Aufsatz, den die Bewerber über ihre außerschulischen Aktivitäten verfassten oder Berufserfahrungen.

Zunächst rekrutierte das Team eine Kohorte echter Zulassungsbeamter, um eine Auswahl dieser Aufsätze zu lesen. Die Fachleute bewerteten die Aufsätze nach Hinweisen auf sieben Merkmale, die Hochschulen bei Studienanfängern sehen möchten. Dazu gehörten intrinsische Motivation („Laufen ist für mich so viel mehr als nur ein Sport“) und das, was die Forscher „prosozialen Zweck“ nennen, also die Bereitschaft, anderen zu helfen („Kindern dabei zu helfen, ihre verborgenen Talente zu erkennen, ist eine der lohnendsten Erfahrungen.“ habe ich jemals gehabt“).

Das Team schulte auch Studenten im Grundstudium darin, in den Aufsätzen auf der Grundlage bestehender Theorien und Untersuchungen zu persönlichen Qualitäten Hinweise auf diese Merkmale zu finden.

Die Forscher speisten diese Erkenntnisse in eine Reihe von KI-Plattformen ein, die als große Sprachmodelle bezeichnet werden, um sie darin zu trainieren, Beweise für persönliche Qualitäten zu identifizieren, die über das einfache Erkennen von Wörtern hinausgehen.

Als die KI-Plattformen anschließend neue Aufsätze lasen, stimmten ihre Ergebnisse weitgehend mit den Urteilen der menschlichen Leser überein. Die KI schien auch Bewerbern aller demografischen Hintergründe positive persönliche Qualitäten gleichmäßig zuzuordnen – obwohl, wie frühere Ergebnisse zeigten, die Wahrscheinlichkeit, dass weibliche Schriftsteller prosoziale Ziele zeigten, etwas höher war als bei Männern.

„Wenn ich sage ‚Ich habe einem Obdachlosenheim Kleidung gespendet‘, sagt mir die KI, dass die Wahrscheinlichkeit, dass sie einen prosozialen Zweck zeigt, bei 99,8 % liegt“, sagte Lira. „Aber wenn ich etwas sage wie ‚Ich mag Käse‘, sinkt der Anteil auf weniger als 1 %.“

Überraschende Entdeckung

Was die Forscher jedoch wirklich überraschte, war, wie wichtig die Sprache selbst in diesen kurzen Aufsätzen zu sein schien.

Studenten, deren Aufsätze beispielsweise Führungsqualitäten zeigten, hatten eine höhere Wahrscheinlichkeit, ihr Studium innerhalb von sechs Jahren abzuschließen, als diejenigen, die dies nicht taten – selbst nachdem die Forscher die Testergebnisse, die Demografie und eine Vielzahl anderer Faktoren der Bewerber berücksichtigt hatten. Die Beziehung sei zwar gering, könne den Hochschulen aber dennoch Hinweise liefern, um ihren Studenten zu helfen, sagte der Co-Autor der Studie, Stephen Hutt, der 2020 an der CU Boulder in Informatik promovierte.

„Wir könnten diese College-Bewerbungen tatsächlich nutzen, um die Bindungsmodelle zu beeinflussen, die Universitäten anwenden, um gefährdete Studenten viel früher zu identifizieren und ihnen im ersten Studienjahr Unterstützung zu verschaffen, anstatt bis danach zu warten“, sagte Hutt, jetzt Assistenzprofessor an der Universität von Denver.

Für D’Mello zeigt die Studie, wie viele Informationen in der menschlichen Sprache verborgen sind – wenn man nur weiß, wo man suchen muss.

„Ich war erstaunt darüber, wie eine offene Antwort mit 150 Wörtern ausreichend Informationen darüber enthielt, ob ein Student sechs Jahre später sein Studium abschließen würde“, sagte er. „Sprache ist wirklich eine erstaunliche Sache.“