Studien zeigen, dass KI wissenschaftliche Arbeiten produzieren kann, die gut genug für Zeitschriften sind – genau wie manche es verbieten

Einige der weltweit größten Herausgeber von akademischen Zeitschriften haben verboten oder eingeschränkt ihre Autoren daran hindern, den fortschrittlichen Chatbot ChatGPT zu verwenden. Da der Bot Informationen aus dem Internet verwendet, um gut lesbare Antworten auf Fragen zu geben, befürchten die Herausgeber, dass ungenaue oder plagiierte Arbeiten in die Seiten der wissenschaftlichen Literatur gelangen könnten.

Mehrere Forscher haben den Chatbot bereits als Co-Autor für wissenschaftliche Studien aufgeführt, und einige Verlage haben beantragt, diese Praxis zu verbieten. Aber der Chefredakteur von Wissenschafteine der führenden wissenschaftlichen Zeitschriften der Welt, ist noch einen Schritt weiter gegangen und hat jegliche Verwendung von Texten aus dem Programm in eingereichten Arbeiten verboten.

Es ist nicht verwunderlich, dass der Einsatz solcher Chatbots für akademische Verlage interessant ist. Unsere aktuelle Studie, veröffentlicht in Finanzforschungsbriefe, zeigte, dass ChatGPT verwendet werden könnte, um eine Finanzarbeit zu schreiben, die für eine akademische Zeitschrift akzeptiert würde. Obwohl der Bot in einigen Bereichen besser abschnitt als in anderen, half das Hinzufügen unseres eigenen Fachwissens, die Einschränkungen des Programms in den Augen der Zeitschriftengutachter zu überwinden.

Wir argumentieren jedoch, dass Verleger und Forscher ChatGPT nicht unbedingt als Bedrohung sehen sollten, sondern eher als potenziell wichtige Hilfe für die Forschung – einen kostengünstigen oder sogar kostenlosen elektronischen Assistenten.

Unser Gedanke war: Wenn es einfach ist, mit ChatGPT gute Ergebnisse zu erzielen, indem man es einfach verwendet, gibt es vielleicht etwas, was wir tun können, um diese guten Ergebnisse in großartige umzuwandeln.

Wir haben ChatGPT zunächst gebeten, die vier Standardteile einer Forschungsstudie zu erstellen: Forschungsidee, Literaturrecherche (eine Bewertung früherer akademischer Forschung zum selben Thema), Datensatz und Vorschläge für Tests und Untersuchungen. Wir spezifizierten nur das breite Thema und dass das Ergebnis in „einem guten Finanzjournal“ veröffentlicht werden sollte.

Dies war Version eins, wie wir uns entschieden haben, ChatGPT zu verwenden. Für die zweite Version haben wir knapp 200 Abstracts (Zusammenfassungen) relevanter, bestehender Forschungsstudien in das ChatGPT-Fenster eingefügt.

Wir haben dann darum gebeten, dass das Programm diese bei der Erstellung der vier Forschungsstufen berücksichtigt. Schließlich haben wir für Version drei „Domänenexpertise“ hinzugefügt – Input von akademischen Forschern. Wir haben die Antworten des Computerprogramms gelesen und Verbesserungsvorschläge gemacht. Dabei haben wir unsere Expertise mit der von ChatGPT integriert.

Wir haben dann ein Gremium von 32 Gutachtern gebeten, die jeweils eine Version darüber prüfen, wie ChatGPT verwendet werden kann, um eine akademische Studie zu erstellen. Die Gutachter wurden gebeten, zu bewerten, ob das Ergebnis umfassend und korrekt war und ob es einen ausreichend neuartigen Beitrag für die Veröffentlichung in einer „guten“ akademischen Finanzzeitschrift darstellte.

Die große Lektion zum Mitnehmen war, dass all diese Studien von den Gutachtern im Allgemeinen als akzeptabel angesehen wurden. Das ist ziemlich erstaunlich: Ein Chatbot wurde als geeignet erachtet, qualitativ hochwertige akademische Forschungsideen zu generieren. Dies erhebt grundlegende Fragen um die Bedeutung von Kreativität und das Eigentum an kreativen Ideen – Fragen, auf die noch niemand solide Antworten hat.

Stärken und Schwächen

Die Ergebnisse heben auch einige potenzielle Stärken und Schwächen von ChatGPT hervor. Wir haben festgestellt, dass verschiedene Forschungsbereiche unterschiedlich bewertet wurden. Die Forschungsidee und der Datensatz wurden tendenziell hoch bewertet. Eine niedrigere, aber immer noch akzeptable Bewertung gab es für die Literaturübersichten und Testvorschläge.

Unser Verdacht ist hier, dass ChatGPT besonders stark darin ist, eine Reihe externer Texte zu nehmen und sie zu verbinden (die Essenz einer Forschungsidee) oder leicht identifizierbare Abschnitte aus einem Dokument zu nehmen und sie anzupassen (ein Beispiel ist die Datenzusammenfassung – eine leicht identifizierbare „Textstück“ in den meisten Forschungsstudien).

Eine relative Schwäche der Plattform wurde deutlich, wenn die Aufgabe komplexer war – wenn der konzeptionelle Prozess zu viele Stufen umfasste. Literaturrezensionen und Tests fallen in der Regel in diese Kategorie. ChatGPT war in einigen dieser Schritte gut, aber nicht in allen. Dies scheint von den Rezensenten aufgegriffen worden zu sein.

Wir konnten diese Einschränkungen jedoch in unserer fortschrittlichsten Version (Version drei) überwinden, wo wir mit ChatGPT zusammengearbeitet haben, um akzeptable Ergebnisse zu erzielen. Alle Abschnitte der fortgeschrittenen Forschungsstudie wurden dann von Gutachtern hoch bewertet, was darauf hindeutet, dass die Rolle akademischer Forscher noch nicht tot ist.

Ethische Implikationen

ChatGPT ist ein Tool. In unserer Studie haben wir gezeigt, dass sie mit einiger Sorgfalt verwendet werden kann, um eine akzeptable Finanzforschungsstudie zu erstellen. Auch ohne Sorgfalt erzeugt es plausible Arbeit.

Dies hat einige klare ethische Implikationen. Forschungsintegrität ist bereits ein drängendes Problem in der Wissenschaft und Webseiten wie z RetractionWatch einen stetigen Strom gefälschter, plagiierter und schlichtweg falscher Forschungsstudien vermitteln. Könnte ChatGPT dieses Problem noch verschlimmern?

Es könnte, ist die kurze Antwort. Aber man kann den Geist nicht wieder in die Flasche stecken. Auch die Technik wird immer besser (und zwar schnell). Wie genau wir die Rolle von ChatGPT in der Forschung anerkennen und überwachen könnten, ist eine größere Frage für einen anderen Tag. Aber unsere Ergebnisse sind auch in dieser Hinsicht nützlich – indem wir feststellen, dass die ChatGPT-Studienversion mit Forscherexpertise überlegen ist, zeigen wir, dass der Beitrag menschlicher Forscher für eine akzeptable Forschung immer noch von entscheidender Bedeutung ist.

Im Moment denken wir, dass Forscher ChatGPT als Hilfe und nicht als Bedrohung sehen sollten. Es kann insbesondere eine Hilfe für Gruppen von Forschern sein, denen die finanziellen Mittel für traditionelle (Human-)Forschungsunterstützung tendenziell fehlen: Forscher aus Schwellenländern, Doktoranden und Nachwuchswissenschaftler. Es ist durchaus möglich, dass ChatGPT (und ähnliche Programme) dabei helfen könnten, den Forschungsprozess zu demokratisieren.

Forscher müssen sich jedoch des Verbots seiner Verwendung bei der Erstellung von Zeitschriftenartikeln bewusst sein. Es ist klar, dass es sehr unterschiedliche Ansichten über diese Technologie gibt, daher muss sie mit Vorsicht verwendet werden.

Dieser Artikel wird neu veröffentlicht von Die Unterhaltung unter einer Creative-Commons-Lizenz. Lies das originaler Artikel.