Eine Studie zeigt, dass selbst selbstbewusste Pädagogen Schwierigkeiten haben, KI-generierte Aufsätze zu erkennen

Können Sie erkennen, ob das, was Sie gerade lesen, von einem Menschen geschrieben oder von künstlicher Intelligenz generiert wurde? Kümmert es dich? Dies sind im Wesentlichen die Fragen, die Forscher der University of California San Diego in einem Experiment mit ChatGPT an einer regionalen High School stellten.

Die Forscher testeten Lehrer und Schüler mit Aufsatzpaaren – einer von einem Gymnasiasten und der andere von ChatGPT – und baten sie, herauszufinden, welcher Aufsatz das Werk eines Menschen und welcher des KI-Sprachmodells war. Die Lehrer hatten in etwa 70 % der Fälle Recht. Die Schüler erreichten durchschnittlich 62 %.

Das scheinen keine schrecklichen Zeichen zu sein; Sie bestehen die Noten, oder? Die Forscher sagen jedoch, dass die Zahlen deutlich über 90 % liegen müssten, wenn der Unterschied leicht erkennbar wäre.

Auch das Vertrauen korrelierte nicht mit der Genauigkeit. Menschen, die dachten, sie könnten die Arbeit des Chatbots erkennen, schnitten nicht besser ab als diejenigen, die sich ihrer Fähigkeiten weniger sicher waren.

„Wir waren überrascht, dass Lehrer, die Erfahrung mit ChatGPT oder Erfahrung im Unterrichten von Englisch an Highschools hatten, die Aufgabe als so herausfordernd empfanden“, sagte die leitende Autorin Gail Heyman, Professorin für Psychologie an der UC San Diego School of Social Sciences.

Diese Ergebnisse unterstreichen die weit verbreitete Besorgnis darüber, dass Studierende KI-generierte Aufsätze möglicherweise als ihre eigenen abgeben und mit unehrlichem Verhalten davonkommen.

„Aber“, sagte Heyman, „einer der interessantesten – und beunruhigendsten – Aspekte unserer Studie ist, dass Lehrer bei der Identifikationsaufgabe schlechter abschnitten, wenn die beiden Aufsätze einen Schüleraufsatz enthielten, der besonders gut geschrieben war.“ Viele Lehrer gaben an, dass sie vermuteten, dass der besser geschriebene Aufsatz von ChatGPT erstellt wurde. Dieses Ergebnis deutet darauf hin, dass Lehrer einen gut geschriebenen Aufsatz eher „beschuldigen“, dass er von KI erstellt wurde – was möglicherweise auch einige potenziell besorgniserregende Auswirkungen auf die Realität hat. Weltklasse-Klassenzimmer.“

Die Studie, veröffentlicht in der Zeitschrift Menschliches Verhalten und neue TechnologienAn der Veranstaltung nahmen 69 Oberstufenlehrer und 140 Oberstufenschüler teil. Die Aufsatzthemen ähnelten denen, die üblicherweise in Schulen vergeben werden. (Ein Thema war zum Beispiel: „Warum ist Literatur wichtig?“)

Im Rahmen der Studie wurden die Teilnehmer auch zu ihren Ansichten zu ChatGPT befragt.

Die Schüler gaben an, hinsichtlich der künftigen Rolle von ChatGPT in der Bildung optimistischer zu sein als ihre Lehrer, und bewerteten mögliche Verstöße gegen die akademische Integrität wie das Einreichen von KI-generierten Aufsätzen als eigene weniger negativ als die Lehrer.

Der Co-Autor der Studie, Riley Cox, ein Gymnasiast, der sich ehrenamtlich als wissenschaftlicher Mitarbeiter für die Studie engagierte, sagte: „Es war für mich spannend zu sehen, wie meine Klassenkameraden und Lehrer diese neue Technologie sowohl aus der Perspektive eines Schülers als auch aus der Perspektive eines Psychologen herausfanden.“ Forscher. Es war interessant zu sehen, dass Lehrer viele Sorgen über ChatGPT hatten, die die Schüler anscheinend nicht beunruhigten.“

Ein Gymnasiallehrer, der an der Studie teilnahm, kommentierte: „Ich denke, ChatGPT könnte einige interessante Anwendungen im Klassenzimmer haben, aber meine Bedenken überwiegen alle positiven Aspekte. Ich mache mir Sorgen, dass wir auch bei unseren Schülern einen Rückgang des ursprünglichen Denkens beobachten.“ als ihre Fähigkeit, auch bei harter Arbeit durchzuhalten.“

Die Forscher glauben, dass ihre Studie sowohl einige der Herausforderungen als auch die Chancen hervorhebt, die ChatGPT für die Bildung mit sich bringt.

„Wir stehen vor einem großen Wandel in der Bildungspraxis, da qualitativ hochwertige, menschenähnliche Inhalte zunehmend für jedermann zugänglich werden“, sagte Co-Autor Tal Waltzer, Postdoktorand in Heymans Labor an der UC San Diego. „Wie genau wir mit diesem Übergang umgehen, wirft wichtige ethische Überlegungen auf. Beispielsweise könnte die Tatsache, dass die kostenpflichtige Abonnementversion von ChatGPT bei vielen standardisierten Tests besser abschneidet als die frei verfügbare Version, bereits bestehende Bedenken hinsichtlich der Gerechtigkeit in der Bildung verschärfen.“

Heyman und Waltzer planen, die Forschung in diesem Bereich fortzusetzen, „um eine empirische Grundlage für Best Practices für den ethischen Einsatz von KI im Sekundarbereich zu entwickeln“, sagte Heyman. Sie werden untersuchen, welche Art von Aktivitäten das Lernen fördern, um herauszufinden, wie ChatGPT als eine Art Mitarbeiter eingesetzt werden könnte.