Studie zeigt, dass ChatGPT die Arbeitsproduktivität bei einigen Schreibaufgaben steigert

Inmitten des großen Hypes um generative KI wirft eine neue Studie von Forschern des MIT Licht auf die Auswirkungen der Technologie auf die Arbeit und kommt zu dem Ergebnis, dass sie die Produktivität von Arbeitnehmern steigert, denen Aufgaben wie das Schreiben von Anschreiben, heiklen E-Mails und Kosten-Nutzen-Analysen übertragen werden.

Die Aufgaben in der Studie waren keine echten Nachbildungen echter Arbeit: Sie erforderten keine genaue sachliche Genauigkeit oder einen Kontext zu Dingen wie den Zielen eines Unternehmens oder den Vorlieben eines Kunden. Dennoch gaben einige Studienteilnehmer an, dass die Aufgaben den Dingen ähnelten, die sie in ihrem echten Job geschrieben hatten – und dass die Vorteile erheblich waren. Durch den Zugriff auf den unterstützenden Chatbot ChatGPT verkürzte sich die Zeit, die Mitarbeiter für die Erledigung der Aufgaben benötigten, um 40 Prozent, und die von unabhängigen Gutachtern gemessene Ausgabequalität stieg um 18 Prozent.

Die Forscher hoffen, dass die Studie, die heute in Open-Access-Form in der Zeitschrift Science erscheint, den Menschen hilft, die Auswirkungen zu verstehen, die KI-Tools wie ChatGPT auf die Belegschaft haben können.

„Was wir mit Sicherheit sagen können, ist, dass generative KI einen großen Einfluss auf die Büroarbeit haben wird“, sagt Shakked Noy, ein Ph.D. Student am Department of Economics des MIT, der das Papier gemeinsam mit seinem Doktoranden verfasst hat. Studentin Whitney Zhang ’21. „Ich denke, was unsere Studie zeigt, ist, dass diese Art von Technologie wichtige Anwendungen in der Büroarbeit hat. Es ist eine nützliche Technologie. Aber es ist noch zu früh, um zu sagen, ob sie gut oder schlecht sein wird oder wie genau sie die Gesellschaft dazu bringen wird.“ anpassen.“

Simulation der Arbeit für Chatbots

Seit Jahrhunderten befürchten die Menschen, dass neue technologische Fortschritte zu einer Massenautomatisierung und zum Verlust von Arbeitsplätzen führen würden. Aber neue Technologien schaffen auch neue Arbeitsplätze, und wenn sie die Produktivität der Arbeitnehmer steigern, können sie sich insgesamt positiv auf die Wirtschaft auswirken.

„Produktivität steht für Ökonomen im Vordergrund, wenn sie über neue technologische Entwicklungen nachdenken“, sagt Noy. „Die klassische Sichtweise in der Wirtschaftswissenschaft ist, dass das Wichtigste, was der technologische Fortschritt bewirkt, die Steigerung der Produktivität ist, in dem Sinne, dass wir Wirtschaftsleistung effizienter produzieren können.“

Um die Auswirkungen generativer KI auf die Arbeitsproduktivität zu untersuchen, gaben die Forscher 453 Marketingfachleuten mit Hochschulabschluss, Stipendiaten, Beratern, Datenanalysten, Personalfachleuten und Managern zwei berufsspezifische Schreibaufgaben. Zu den 20- bis 30-minütigen Aufgaben gehörten das Verfassen von Anschreiben für Zuschussanträge, E-Mails über organisatorische Umstrukturierungen und Pläne für Analysen, die einem Unternehmen bei der Entscheidung helfen, an welche Kunden Push-Benachrichtigungen auf der Grundlage vorgegebener Kundendaten gesendet werden sollen. Erfahrene Fachleute aus den gleichen Berufen wie jeder Teilnehmer bewerteten jeden Beitrag so, als ob sie ihm in einem Arbeitsumfeld begegnen würden. Die Gutachter wussten nicht, welche Einreichungen mit Hilfe von ChatGPT erstellt wurden.

Für die zweite Aufgabe erhielt die Hälfte der Teilnehmer Zugriff auf den von der Firma OpenAI entwickelten Chatbot ChatGPT-3.5. Diese Benutzer beendeten ihre Aufgaben 11 Minuten schneller als die Kontrollgruppe, während ihre durchschnittlichen Qualitätsbewertungen um 18 Prozent stiegen.

Die Daten zeigten auch, dass die Leistungsungleichheit zwischen den Arbeitnehmern abnahm, was bedeutete, dass Arbeitnehmer, die bei der ersten Aufgabe eine schlechtere Note erhielten, mehr von der Verwendung von ChatGPT für die zweite Aufgabe profitierten.

Die Forscher sagen, dass die Aufgaben im Großen und Ganzen repräsentativ für die Aufgaben waren, die solche Fachleute in ihrer realen Arbeit sehen, sie stellten jedoch eine Reihe von Einschränkungen fest. Da sie anonyme Teilnehmer verwendeten, konnten die Forscher kein Kontextwissen über ein bestimmtes Unternehmen oder einen bestimmten Kunden benötigen. Außerdem mussten sie für jede Aufgabe explizite Anweisungen geben, während Aufgaben in der realen Welt möglicherweise eher offen sind. Darüber hinaus hielten es die Forscher nicht für machbar, Faktenprüfer mit der Bewertung der Genauigkeit der Ergebnisse zu beauftragen. Genauigkeit ist ein großes Problem für die heutigen generativen KI-Technologien.

Die Forscher sagten, dass diese Einschränkungen das produktivitätssteigernde Potenzial von ChatGPT in der realen Welt verringern könnten. Dennoch glauben sie, dass die Ergebnisse zeigen, dass die Technologie vielversprechend ist – eine Idee, die durch ein weiteres Ergebnis der Studie gestützt wird: Bei Arbeitnehmern, die während des Experiments ChatGPT ausgesetzt waren, war die Wahrscheinlichkeit doppelt so hoch, dass sie zwei Wochen nach dem Experiment angaben, ChatGPT an ihrem tatsächlichen Arbeitsplatz zu verwenden.

„Das Experiment zeigt, dass es erhebliche Geschwindigkeitsvorteile mit sich bringt, auch wenn diese Geschwindigkeitsvorteile in der realen Welt geringer sind, weil man Zeit damit verbringen muss, Fakten zu überprüfen und die Eingabeaufforderungen zu schreiben“, sagt Noy.

Die Makroansicht einnehmen

Die Studie bot einen detaillierten Einblick in die Auswirkungen, die Tools wie ChatGPT auf bestimmte Schreibaufgaben haben können. Es ist jedoch schwieriger, diese Auswirkungen abzuleiten, um die Auswirkungen der generativen KI auf die Wirtschaft zu verstehen. Daran wollen die Forscher als nächstes arbeiten.

„Es gibt so viele andere Faktoren, die sich auf Löhne, Beschäftigung und sektorübergreifende Veränderungen auswirken werden, für die Beweise erforderlich wären, die in unserem Artikel nicht enthalten sind“, sagt Zhang. „Aber das Ausmaß der Zeitersparnis und der Qualitätssteigerungen ist in unserer Arbeit sehr groß, daher scheint dies zumindest für bestimmte Arten von Arbeit ziemlich revolutionär zu sein.“

Beide Forscher sind sich einig, dass, selbst wenn angenommen wird, dass ChatGPT die Produktivität vieler Arbeitnehmer steigern wird, noch viel zu tun bleibt, um herauszufinden, wie die Gesellschaft auf die Verbreitung generativer KI reagieren sollte.

„Die zur Anpassung an diese Technologien erforderlichen Richtlinien können sehr unterschiedlich sein, je nachdem, was zukünftige Forschungsergebnisse ergeben“, sagt Zhang. „Wenn wir glauben, dass dies die Löhne für Geringverdiener erhöhen wird, ist das eine ganz andere Implikation, als wenn es die Lohnungleichheit durch die Erhöhung der Löhne von bereits Gutverdienern verstärken würde. Ich denke, dass es viele nachgelagerte wirtschaftliche und politische Auswirkungen gibt, die wichtig sind.“ festzunageln.

Diese Geschichte wurde mit freundlicher Genehmigung von MIT News erneut veröffentlicht (web.mit.edu/newsoffice/), eine beliebte Website mit Neuigkeiten über MIT-Forschung, Innovation und Lehre.