Letzten Monat hat OpenAI sein neuestes KI-Chatbot-Produkt, GPT-4, auf den Markt gebracht. Laut den Leuten von OpenAI hat der Bot, der maschinelles Lernen verwendet, um Text in natürlicher Sprache zu generieren, die Anwaltsprüfung mit einer Punktzahl im 90. Perzentil bestanden, 13 von 15 AP-Prüfungen bestanden und beim GRE Verbal-Test eine nahezu perfekte Punktzahl erzielt .
Neugierige an der Brigham Young University (BYU) und 186 anderen Universitäten wollten wissen, wie die Technologie von OpenAI bei Buchhaltungsprüfungen abschneiden würde. Also haben sie die Originalversion, ChatGPT, auf die Probe gestellt. Ihre Forschung ist beschrieben in Probleme in der Buchhaltungsausbildung.
Die Forscher sagen, dass es im Bereich der Buchhaltung zwar noch Arbeit zu leisten hat, aber es ist ein Spielveränderer, der die Art und Weise, wie jeder lehrt und lernt, zum Besseren verändern wird.
„Als diese Technologie zum ersten Mal auf den Markt kam, war jeder besorgt, dass Studenten sie jetzt zum Betrügen verwenden könnten“, sagte der Hauptautor der Studie, David Wood, ein BYU-Professor für Rechnungswesen. „Aber Möglichkeiten zum Schummeln gab es schon immer. Deshalb versuchen wir uns darauf zu konzentrieren, was wir mit dieser Technologie jetzt tun können, was wir vorher nicht tun konnten, um den Lehrprozess für die Fakultät und den Lernprozess für die Schüler zu verbessern. Testen es war aufschlussreich.“
Seit seinem Debüt im November 2022 hat sich ChatGPT zur am schnellsten wachsenden Technologieplattform aller Zeiten entwickelt und in weniger als zwei Monaten 100 Millionen Nutzer erreicht. Als Reaktion auf die intensive Debatte darüber, wie Modelle wie ChatGPT in die Ausbildung einbezogen werden sollten, beschloss Wood, so viele Professoren wie möglich zu rekrutieren, um zu sehen, wie sich die KI im Vergleich zu tatsächlichen Buchhaltungsstudenten an Universitäten schlägt.
Sein Pitch zur Rekrutierung von Co-Autoren in den sozialen Medien explodierte: 327 Co-Autoren aus 186 Bildungseinrichtungen in 14 Ländern nahmen an der Studie teil und steuerten 25.181 Fragen zur Buchhaltungsprüfung bei. Sie rekrutierten auch BYU-Studenten im Grundstudium (einschließlich Woods Tochter Jessica), um weitere 2.268 Lehrbuch-Testbankfragen an ChatGPT zu senden. Die Fragen umfassten Buchhaltungsinformationssysteme (AIS), Wirtschaftsprüfung, Finanzbuchhaltung, betriebliches Rechnungswesen und Steuern und variierten in Schwierigkeit und Art (richtig/falsch, Multiple-Choice, Kurzantwort usw.).
Obwohl die Leistung von ChatGPT beeindruckend war, schnitten die Studenten besser ab. Die Schüler erzielten einen Gesamtdurchschnitt von 76,7 %, verglichen mit ChatGPTs Punktzahl von 47,4 %. Bei 11,3 % der Fragen erzielte ChatGPT eine höhere Punktzahl als der Studentendurchschnitt und schnitt besonders gut bei AIS und Auditing ab. Aber der KI-Bot schnitt bei Steuer-, Finanz- und Managementbewertungen schlechter ab, möglicherweise weil ChatGPT mit den mathematischen Prozessen zu kämpfen hatte, die für den letzteren Typ erforderlich sind.
In Bezug auf den Fragetyp schnitt ChatGPT bei Wahr/Falsch-Fragen (68,7 % richtig) und Multiple-Choice-Fragen (59,5 %) besser ab, hatte jedoch Probleme mit Fragen mit kurzer Antwort (zwischen 28,7 % und 39,1 %). Im Allgemeinen waren Fragen höherer Ordnung für ChatGPT schwieriger zu beantworten. Tatsächlich lieferte ChatGPT manchmal maßgebliche schriftliche Beschreibungen für falsche Antworten oder beantwortete dieselbe Frage auf unterschiedliche Weise.
„Es ist nicht perfekt; Sie werden es nicht für alles verwenden“, sagte Jessica Wood, derzeit Studienanfängerin an der BYU. „Der Versuch, nur mit ChatGPT zu lernen, ist ein Irrweg.“
Die Forscher deckten durch die Studie auch einige andere faszinierende Trends auf, darunter:
Die Autoren erwarten jedoch, dass GPT-4 die in ihrer Studie gestellten Rechnungslegungsfragen und die oben genannten Probleme exponentiell verbessern wird. Am vielversprechendsten finden sie, wie der Chatbot dazu beitragen kann, das Lehren und Lernen zu verbessern, einschließlich der Fähigkeit, Aufgaben zu entwerfen und zu testen, oder vielleicht zum Entwerfen von Teilen eines Projekts verwendet werden kann.
„Es ist eine Gelegenheit, darüber nachzudenken, ob wir Mehrwertinformationen vermitteln oder nicht“, sagte Melissa Larson, Co-Autorin der Studie und Kollegin und BYU-Professorin für Rechnungswesen. „Dies ist eine Störung, und wir müssen abschätzen, wie wir von hier aus weitermachen. Natürlich werde ich immer noch TAs haben, aber das wird uns zwingen, sie auf andere Weise zu nutzen.“
Mehr Informationen:
Der Chatbot mit künstlicher Intelligenz von ChatGPT: Wie gut beantwortet er Fragen zur Buchhaltungsbewertung?, Probleme in der Buchhaltungsausbildung (2023). DOI: 10.2308/ISSUES-2023-013