Studienergebnisse zeigen, dass KI-generierte Aufsätze über Hochschulzulassungen tendenziell männlich und privilegiert klingen

Bei einer Untersuchung von Tausenden von Menschen verfassten und von KI generierten Aufsätzen für Hochschulzulassungen stellten Forscher fest, dass die von KI generierten Aufsätze den Aufsätzen am ähnlichsten sind, die von männlichen Studenten mit höherem sozioökonomischen Status und höheren sozialen Privilegien verfasst wurden. Auch die von der KI erzeugten Schriften sind weniger vielfältig als die von Menschen geschriebenen.

„Wir wollten herausfinden, wie diese Muster, die wir in von Menschen geschriebenen Aufsätzen sehen, in einer ChatGPT-Welt aussehen“, sagte AJ Alvero, Assistenzprofessor in der Abteilung für Informationswissenschaft am Cornell Ann S. Bowers College of Computing and Information Wissenschaft. „Wenn es einen starken Zusammenhang mit menschlichem Schreiben und menschlicher Identität gibt, wie verhält es sich dann mit KI-geschriebenen Aufsätzen?“

Rene Kizilcec, außerordentlicher Professor für Informationswissenschaft an der Cornell Bowers CIS, ist Mitautor von „Large Language Models, Social Demography, and Hegemony: Comparing Authorship in Human and Synthetic Text“. veröffentlicht 27. September im Zeitschrift für Big Data.

Diese Forschung entstand aus Alveros Dissertationsarbeit an der Stanford University. Ein Teil seiner Forschung umfasste eine Analyse von etwa 800.000 Aufsätzen zur Hochschulzulassung, die zwischen 2015 und 2017 von angehenden Studenten des Systems der University of California verfasst wurden.

„Wir haben durchweg festgestellt, dass es einen starken Zusammenhang zwischen den Profilen der Bewerber – ihren Testergebnissen, ihren demografischen Informationen, sogar den High Schools, an denen sie sich beworben haben – und ihren Zulassungsaufsätzen gab“, sagte Alvero. „Die Beziehung war so stark, dass wir den SAT-Score eines Bewerbers stets mit einer Genauigkeit von etwa 120 Punkten vorhersagen konnten.“

„Die Art und Weise, wie wir sprechen, kann Informationen über unsere Vergangenheit und wer wir sind verschlüsseln und enthalten“, sagte er, „und beim Schreiben ist es sehr ähnlich, zumindest bei persönlichen Aussagen.“

Für diese Arbeit verglichen Alvero und das Team den Schreibstil von mehr als 150.000 Aufsätzen über Hochschulzulassungen, die sowohl beim System der University of California als auch bei einem Ingenieurprogramm an einer Elite-Privatuniversität an der Ostküste eingereicht wurden, mit einer Reihe von mehr als 25.000 Aufsätzen, die mit erstellt wurden GPT-3.5 und GPT-4 wurden aufgefordert, auf die gleichen Aufsatzfragen zu antworten wie die menschlichen Bewerber.

Für ihre Analyse verwendeten die Forscher Linguistic Inquiry and Word Count, ein Programm, das Mitte der 1990er Jahre vom Sozialpsychologen James W. Pennebaker von der University of Texas entwickelt wurde und die Häufigkeit von Schreibmerkmalen wie Interpunktion und Pronomengebrauch sowie Kreuzworträtsel zählt. verweist auf diese Zählungen mit einem externen Wörterbuch.

„Eine der ersten Big-Data-Analysen von Aufsätzen zur Hochschulzulassung wurde vor etwa einem Jahrzehnt von Pennebaker durchgeführt“, sagte Alvero, „und wir wollten versuchen, ein fundiertes Verständnis dieser Muster über Institutionen und Zeiträume hinweg aufzubauen, und das haben wir getan.“ indem sie die gleiche Methode anwenden, die sie verwendet haben.

Alvero, Kizilcec und das Team stellten fest, dass die Schreibstile von LLMs zwar keine bestimmte Gruppe in sozialen Vergleichsanalysen repräsentieren, sie aber in Bezug auf die Wortwahl und -verwendung eher wie männliche Studenten „klingen“, die aus privilegierteren Gegenden kamen Hintergründe.

Beispielsweise wurde festgestellt, dass KI im Durchschnitt längere Wörter (sechs oder mehr Buchstaben) verwendet als menschliche Autoren. Außerdem war das von KI generierte Schreiben tendenziell weniger abwechslungsreich als von Menschen verfasste Aufsätze, ähnelte jedoch eher den Aufsätzen von Bewerbern an Privatschulen als denen von Schülern an öffentlichen Schulen.

Darüber hinaus neigen Menschen und KI dazu, ähnlich häufig über Zugehörigkeiten (zu Gruppen, Personen, Organisationen und Freunden) zu schreiben – obwohl die KI tatsächlich keine Zugehörigkeiten hat. Da LLMs wie ChatGPT immer beliebter und ausgefeilter werden, werden sie in allen möglichen Bereichen eingesetzt – einschließlich der Hochschulzulassung.

„Es ist wahrscheinlich, dass die Schüler die KI nutzen werden, um sie bei der Erstellung dieser Aufsätze zu unterstützen – und zwar wahrscheinlich nicht, indem sie sie bitten, nur das Ganze zu schreiben, sondern eher um Hilfe und Feedback“, sagte Kizilcec. „Aber selbst dann stimmen die Vorschläge, die diese Modelle machen werden, möglicherweise nicht gut mit den Werten und dem sprachlichen Stil überein, der ein authentischer Ausdruck dieser Schüler wäre.“

„Es ist wichtig, sich daran zu erinnern, dass, wenn Sie eine KI verwenden, um Ihnen beim Schreiben eines Aufsatzes zu helfen, dieser wahrscheinlich weniger nach Ihnen selbst, sondern eher nach etwas recht Allgemeinem klingen wird“, sagte er. „Und die Schüler müssen wissen, dass es für die Leser dieser Aufsätze nicht allzu schwierig sein wird, herauszufinden, wer KI ausgiebig genutzt hat. Der Schlüssel wird darin liegen, sie zu nutzen, um den Schülern zu helfen, ihre eigenen Geschichten zu erzählen und was zu verbessern.“ Sie wollen ihre eigene Stimme vermitteln und nicht ersetzen.“

Alvero und Anthony Lising Antonio, außerordentlicher Professor für Pädagogik an der Stanford University Graduate School of Education, sind Co-Korrespondenzautoren.