Entspannen Sie sich, Wall Street. ChatGPT ist noch weit davon entfernt, die Prüfung zum Chartered Financial Analyst zu bestehen und die Arbeitsplätze von Finanzfachleuten auf der ganzen Welt zu gefährden.
Ein Team aus Forschern und Universitätsdozenten von JPMorgan Chase & Co. hat getestet, ob die Chatbots ChatGPT und GPT-4 von OpenAI eine Chance haben, die ersten beiden Stufen der Prüfung zu bestehen. Normalerweise dauert es vier Jahre, bis Menschen alle drei Stufen des Tests abgeschlossen haben, was zu höheren Gehältern und besseren Jobchancen führen kann.
„Basierend auf geschätzten Erfolgsquoten und durchschnittlichen selbst gemeldeten Ergebnissen kamen wir zu dem Schluss, dass ChatGPT wahrscheinlich nicht in der Lage sein würde, die CFA Level I und Level II unter allen getesteten Bedingungen zu bestehen“, schrieben die Forscher in einem 11-seitigen Bericht. „GPT- 4 hätte eine gute Chance, die CFA Level I und Level II zu bestehen, wenn man dazu aufgefordert würde.“
Zu den Forschern gehören Akademiker und sechs Mitarbeiter der AI Research-Organisation von JPMorgan, darunter Sameena Shah und Antony Papadimitriou.
Der CFA-Institut, das die Qualifikationen anbietet, hat Jahre damit verbracht, seine Tests zu überarbeiten, um sicherzustellen, dass Fachkräfte, die in ihrer Karriere einen Vorsprung anstreben, mit den Kräften vertraut sind, die die Automatisierung vorantreiben. Das Institut kündigte an, 2017 Fragen zu künstlicher Intelligenz und Methoden zur Analyse von Big Data in seine Prüfungen aufzunehmen.
Chris Wiese, Geschäftsführer für Bildung am CFA Institute, räumte ein, dass großsprachige Modelle in der Lage sein werden, einige Prüfungsfragen richtig zu beantworten.
„Während Multiple-Choice-Prüfungen und Essay-Fragen nach wie vor hervorragende Möglichkeiten zur Beurteilung von Lernen und Verständnis in einer sicheren, beaufsichtigten Umgebung bieten, besteht der Alltag im Finanzwesen nicht nur aus einer Reihe kurzer, eigenständiger Fragen“, sagte Wiese. „Um CFA-Charterholder zu werden, benötigen wir daher außerdem 4.000 Stunden qualifizierte Berufserfahrung, mindestens zwei Referenzen, einen starken moralischen Kompass und, in Kürze, den Abschluss praxisbezogener Kompetenzmodule.“
Das Unternehmen erwäge auch den Einsatz einer Form von großsprachiger Modelltechnologie, um das Lernen von CFA-Kandidaten zu unterstützen, sagte er.
Alle paar Monate nehmen Tausende von Kandidaten an den drei verschiedenen Stufen des Tests teil. Empfänger der Charta verbringen in der Regel mehr als 300 Stunden mit dem Lernen für jede Prüfungsstufe.
Die Erfolgsquoten für die Prüfung sind in den letzten Jahren gesunken, wobei die durchschnittliche Erfolgsquote für die erste Prüfungsstufe im August 37 % erreichte, verglichen mit dem Durchschnitt von 43 % im Jahr 2018.
Häufige Fehler
Level I des CFA umfasst 180 Multiple-Choice-Fragen, während Level II Fallstudien und 88 Multiple-Choice-Fragen umfasst. Die Forscher stellten fest, dass beide großen Sprachmodelle auf Level II größere Probleme hatten, unabhängig von der Art der verwendeten Eingabeaufforderungen.
In Level I schnitten jedoch sowohl ChatGPT als auch GPT-4 in den Prüfungsabschnitten mit den Schwerpunkten Derivate, alternative Anlagen, Unternehmensemittenten, Aktienanlagen und Ethik am besten ab. Allerdings schnitten beide Chatbots bei denjenigen, die sich auf Finanzberichterstattung und Portfoliomanagement konzentrierten, relativ schlecht ab.
In Level II hatte ChatGPT im Vergleich zu GPT-4 in den Abschnitten, die sich auf alternative Anlagen und festverzinsliche Instrumente konzentrierten, Probleme, während ChatGPT in den Bereichen Portfoliomanagement und Wirtschaft eine bessere Leistung erbrachte.
Die meisten Fehler von ChatGPT waren wissensbasiert, während GPT-4 am häufigsten Berechnungsfehler machte.
„Der einzige Fehlertyp, den GPT-4 häufiger macht als ChatGPT, waren Argumentationsfehler“, stellten die Forscher fest. „Es scheint, dass GPT-4 zusammen mit der größeren Fähigkeit zur Argumentation auch eine größere Chance hat, sich in falsche Argumentationsstränge hineinzureden.“
Ein Team aus Forschern und Universitätsdozenten von JPMorgan Chase & Co. hat getestet, ob die Chatbots ChatGPT und GPT-4 von OpenAI eine Chance haben, die ersten beiden Stufen der Prüfung zu bestehen. Normalerweise dauert es vier Jahre, bis Menschen alle drei Stufen des Tests abgeschlossen haben, was zu höheren Gehältern und besseren Jobchancen führen kann.
„Basierend auf geschätzten Erfolgsquoten und durchschnittlichen selbst gemeldeten Ergebnissen kamen wir zu dem Schluss, dass ChatGPT wahrscheinlich nicht in der Lage sein würde, die CFA Level I und Level II unter allen getesteten Bedingungen zu bestehen“, schrieben die Forscher in einem 11-seitigen Bericht. „GPT- 4 hätte eine gute Chance, die CFA Level I und Level II zu bestehen, wenn man dazu aufgefordert würde.“
Zu den Forschern gehören Akademiker und sechs Mitarbeiter der AI Research-Organisation von JPMorgan, darunter Sameena Shah und Antony Papadimitriou.
Der CFA-Institut, das die Qualifikationen anbietet, hat Jahre damit verbracht, seine Tests zu überarbeiten, um sicherzustellen, dass Fachkräfte, die in ihrer Karriere einen Vorsprung anstreben, mit den Kräften vertraut sind, die die Automatisierung vorantreiben. Das Institut kündigte an, 2017 Fragen zu künstlicher Intelligenz und Methoden zur Analyse von Big Data in seine Prüfungen aufzunehmen.
Chris Wiese, Geschäftsführer für Bildung am CFA Institute, räumte ein, dass großsprachige Modelle in der Lage sein werden, einige Prüfungsfragen richtig zu beantworten.
„Während Multiple-Choice-Prüfungen und Essay-Fragen nach wie vor hervorragende Möglichkeiten zur Beurteilung von Lernen und Verständnis in einer sicheren, beaufsichtigten Umgebung bieten, besteht der Alltag im Finanzwesen nicht nur aus einer Reihe kurzer, eigenständiger Fragen“, sagte Wiese. „Um CFA-Charterholder zu werden, benötigen wir daher außerdem 4.000 Stunden qualifizierte Berufserfahrung, mindestens zwei Referenzen, einen starken moralischen Kompass und, in Kürze, den Abschluss praxisbezogener Kompetenzmodule.“
Das Unternehmen erwäge auch den Einsatz einer Form von großsprachiger Modelltechnologie, um das Lernen von CFA-Kandidaten zu unterstützen, sagte er.
Alle paar Monate nehmen Tausende von Kandidaten an den drei verschiedenen Stufen des Tests teil. Empfänger der Charta verbringen in der Regel mehr als 300 Stunden mit dem Lernen für jede Prüfungsstufe.
Die Erfolgsquoten für die Prüfung sind in den letzten Jahren gesunken, wobei die durchschnittliche Erfolgsquote für die erste Prüfungsstufe im August 37 % erreichte, verglichen mit dem Durchschnitt von 43 % im Jahr 2018.
Häufige Fehler
Level I des CFA umfasst 180 Multiple-Choice-Fragen, während Level II Fallstudien und 88 Multiple-Choice-Fragen umfasst. Die Forscher stellten fest, dass beide großen Sprachmodelle auf Level II größere Probleme hatten, unabhängig von der Art der verwendeten Eingabeaufforderungen.
In Level I schnitten jedoch sowohl ChatGPT als auch GPT-4 in den Prüfungsabschnitten mit den Schwerpunkten Derivate, alternative Anlagen, Unternehmensemittenten, Aktienanlagen und Ethik am besten ab. Allerdings schnitten beide Chatbots bei denjenigen, die sich auf Finanzberichterstattung und Portfoliomanagement konzentrierten, relativ schlecht ab.
In Level II hatte ChatGPT im Vergleich zu GPT-4 in den Abschnitten, die sich auf alternative Anlagen und festverzinsliche Instrumente konzentrierten, Probleme, während ChatGPT in den Bereichen Portfoliomanagement und Wirtschaft eine bessere Leistung erbrachte.
Die meisten Fehler von ChatGPT waren wissensbasiert, während GPT-4 am häufigsten Berechnungsfehler machte.
„Der einzige Fehlertyp, den GPT-4 häufiger macht als ChatGPT, waren Argumentationsfehler“, stellten die Forscher fest. „Es scheint, dass GPT-4 zusammen mit der größeren Fähigkeit zur Argumentation auch eine größere Chance hat, sich in falsche Argumentationsstränge hineinzureden.“