Buchhaltungsstudenten sind Berichten zufolge viel besser in der Lage, Prüfungsfragen richtig zu beantworten als der KI-Chatbot ChatGPT. Zu diesem Ergebnis kommt eine weltweite Studie der American Accounting Association (AAA) von Bildungseinrichtungen. Die Studie bewertete die Leistung des von Microsoft unterstützten ChatGPT bei buchhaltungsspezifischen Inhalten. Der Bericht bewertet ChatGPT indem es mit mehr als 25.000 Bewertungsfragen von 187 Institutionen auf der ganzen Welt gefüttert und die Ergebnisse mit den Leistungen von Buchhaltungsstudenten verglichen werden. Die Studie wurde in der Zeitschrift Issues in Accounting Education veröffentlicht.
Bei allen Prüfungen, darunter Themen wie Audit, Finanzbuchhaltung, Management Accounting und Steuern, erreichten die Studierenden durchschnittlich 76,7 %, während ChatGPT nur 47,4 % erzielte.
Die Fragen, bei denen ChatGPT versagt hat, und die, die es gut gemacht hat
Die Bereiche, in denen der KI-Bot nicht gut abschneidet, sind Steuer-, Finanz- und Managementbewertungen. Laut der Studie kämpfte ChatGPT mit den mathematischen Prozessen, die für die Besteuerung und andere Finanzdatentypen erforderlich sind.
Was die Art der Fragen anbelangt, schnitt ChatGPT bei Wahr/Falsch-Fragen und Multiple-Choice-Fragen einigermaßen besser ab, der KI-Chatbot hatte jedoch Probleme mit Kurzantwortfragen. „ChatGPT erkennt nicht immer, wenn es Mathe macht und macht unsinnige Fehler, wie das Addieren von zwei Zahlen in einem Subtraktionsproblem oder das falsche Dividieren von Zahlen“, stellte die Studie fest. Die Studie sagte weiter, dass ChatGPT oft Erklärungen für seine Antworten liefert, auch wenn sie falsch sind. Es behauptet ferner, dass die von ChatGPT gegebenen Beschreibungen mehrmals korrekt sind, die Antworten jedoch falsch sind. Dazu gehört auch die Auswahl der falschen Multiple-Choice-Antwort.
„ChatGPT erfindet manchmal Tatsachen. Wenn zum Beispiel eine Referenz angegeben wird, generiert es eine echt aussehende Referenz, die vollständig erfunden ist. Die Arbeit und manchmal die Autoren existieren nicht einmal“, fügte die Studie hinzu.
Bei 11,3 Prozent der Fragen schnitt ChatGPT über dem Studentendurchschnitt ab und schnitt besonders gut bei AIS- und Prüfungsfragen ab.
Bei allen Prüfungen, darunter Themen wie Audit, Finanzbuchhaltung, Management Accounting und Steuern, erreichten die Studierenden durchschnittlich 76,7 %, während ChatGPT nur 47,4 % erzielte.
Die Fragen, bei denen ChatGPT versagt hat, und die, die es gut gemacht hat
Die Bereiche, in denen der KI-Bot nicht gut abschneidet, sind Steuer-, Finanz- und Managementbewertungen. Laut der Studie kämpfte ChatGPT mit den mathematischen Prozessen, die für die Besteuerung und andere Finanzdatentypen erforderlich sind.
Was die Art der Fragen anbelangt, schnitt ChatGPT bei Wahr/Falsch-Fragen und Multiple-Choice-Fragen einigermaßen besser ab, der KI-Chatbot hatte jedoch Probleme mit Kurzantwortfragen. „ChatGPT erkennt nicht immer, wenn es Mathe macht und macht unsinnige Fehler, wie das Addieren von zwei Zahlen in einem Subtraktionsproblem oder das falsche Dividieren von Zahlen“, stellte die Studie fest. Die Studie sagte weiter, dass ChatGPT oft Erklärungen für seine Antworten liefert, auch wenn sie falsch sind. Es behauptet ferner, dass die von ChatGPT gegebenen Beschreibungen mehrmals korrekt sind, die Antworten jedoch falsch sind. Dazu gehört auch die Auswahl der falschen Multiple-Choice-Antwort.
„ChatGPT erfindet manchmal Tatsachen. Wenn zum Beispiel eine Referenz angegeben wird, generiert es eine echt aussehende Referenz, die vollständig erfunden ist. Die Arbeit und manchmal die Autoren existieren nicht einmal“, fügte die Studie hinzu.
Bei 11,3 Prozent der Fragen schnitt ChatGPT über dem Studentendurchschnitt ab und schnitt besonders gut bei AIS- und Prüfungsfragen ab.