Können Chatbots genaue Informationen über die Gefahren des Klimawandels liefern? Laut einer Gruppe von Forschern der Virginia Tech hängt das von einer Vielzahl von Faktoren ab, darunter dem spezifischen Thema, dem Standort, der in Betracht gezogen wird, und der Höhe der Bezahlung des Chatbots.
„Ich denke, was wir herausgefunden haben, ist, dass es in Ordnung ist, künstliche Intelligenz zu nutzen, man muss nur vorsichtig sein und man kann es nicht wörtlich nehmen“, sagte Gina Girgente, die im vergangenen Frühjahr ihren Bachelor in Geographie abschloss. „Es ist definitiv keine narrensichere Methode.“
Girgente war Teil eines interdisziplinären Forschungsteams, das Fragen zu drei mit dem Klimawandel verbundenen Gefahren – tropischen Stürmen, Überschwemmungen und Dürren – in 191 Ländern sowohl an kostenlose als auch an kostenpflichtige Versionen von ChatGPT stellte. ChatGPT wurde von OpenAI Inc. entwickelt und ist ein großsprachiges Modell, das darauf ausgelegt ist, Fragen zu verstehen und Textantworten basierend auf Anfragen von Benutzern zu generieren.
Anschließend verglich die Gruppe die Antworten der Chatbots mit Gefahrenrisikoindizes, die sie anhand von Daten des Zwischenstaatlichen Gremiums für Klimaänderungen erstellt hatten, einer Einrichtung der Vereinten Nationen, die mit der Bewertung wissenschaftlicher Erkenntnisse zum Klimawandel beauftragt ist.
„Insgesamt haben wir mehr Übereinstimmung gefunden als nicht“, sagte Carmen Atkins, Hauptautorin und Doktorandin im zweiten Jahr. Student im Fachbereich Geowissenschaften. „Die von der KI generierten Ergebnisse waren in mehr als der Hälfte der Fälle genau, aber bei tropischen Stürmen war die Genauigkeit höher und bei Dürren weniger.“
In einem (n Artikel veröffentlicht in Kommunikation Erde und UmweltDie Gruppe berichtete, dass die Antworten von ChatGPT4 an den Indizes mit den folgenden Genauigkeitsgraden ausgerichtet waren:
Sie stellten außerdem fest, dass die Genauigkeit des Chatbots zunahm, wenn man sie nach stärker entwickelten Ländern befragte, und dass die kostenpflichtige Version der Plattform, derzeit ChatGPT-4, genauer war als die kostenlose Version, die damals ChatGPT-3.5 hieß.
Sie stellten fest, dass die Antworten zum gleichen Thema weniger konsistent waren, wenn sie nach bestimmten Regionen gefragt wurden, insbesondere nach vielen Ländern in Afrika und im Nahen Osten, die als Länder mit niedrigem Einkommen oder als Entwicklungsländer gelten. Und sie fanden heraus, dass die kostenpflichtige Version der Plattform, derzeit ChatGPT-4, genauer war als die kostenlose Version, die damals ChatGPT-3.5 hieß.
„Soweit uns bekannt ist, sind wir die Ersten, die sich damit systematisch befassen, und darüber hinaus ist es wirklich ein Aufruf zum Handeln an mehr Menschen, sich mit diesem Thema zu befassen“, sagte Atkins.
Laut der Veröffentlichung wählten die Forscher den ChatGPT-Dienst aufgrund seiner Beliebtheit, insbesondere bei Nutzern im Alter von 18 bis 34 Jahren, und seiner Nutzungsrate in Entwicklungsländern.
Atkins und Girgente, die im Herbst Doktoranden an der University of Denver sein werden, sagten, die Idee für das Projekt sei aus ihrer Zeit in der Klasse von Junghwan Kim, einem Assistenzprofessor am Institut für Geographie, entstanden. Dort teilte Kim einige seiner eigenen Forschungsergebnisse mit, in denen er die geografischen Vorurteile in ChatGPT untersuchte, als er nach Themen der Umweltgerechtigkeit gefragt wurde.
„Es eröffnete uns eine ganze Vorstellung von den verschiedenen Dingen, die wir mit ChatGPT betrachten können“, sagte Atkins. „Und für mich persönlich haben der Klimawandel und insbesondere die Klimawandelkompetenz, die für die Bekämpfung von Fehlinformationen von entscheidender Bedeutung ist, den Wunsch geweckt, herauszufinden, ob ChatGPT bei diesem Problem hilfreich oder schädlich sein könnte.“
Kim ist außerdem Mitautor dieser neuen Studie, ebenso wie Manoochehr Shirzaei, außerordentlicher Professor für Geophysik und Fernerkundung.
Kim sagte, dass es seiner Meinung nach besonders wichtig wäre, die Ergebnisse mit Studenten zu teilen, die möglicherweise zu viel Vertrauen in die Chatbots setzten und dass diese sich auch auf seine eigene Nutzung der Software ausgewirkt hätten.
Während die Gruppe glaubt, dass ihre Ergebnisse die eindeutige Notwendigkeit eines vorsichtigen Ansatzes beim Einsatz generativer künstlicher Intelligenz belegen, ist sie auch der Ansicht, dass diese Studie nur der Anfang der erforderlichen Forschung ist, die wiederholt werden muss, wenn sich die verschiedenen Softwares weiterentwickeln.
„Das ist nur die Spitze des Eisbergs, und vor allem wollen wir die Aufmerksamkeit auf diese Probleme lenken“, sagte Atkins. „Generative KI ist mittlerweile Teil unserer Welt, aber wir müssen sie auf möglichst fundierte Weise nutzen.“
Mehr Informationen:
Carmen Atkins et al.: Generative KI-Tools können die Klimakompetenz verbessern, müssen jedoch auf Vorurteile und Ungenauigkeiten überprüft werden. Kommunikation Erde und Umwelt (2024). DOI: 10.1038/s43247-024-01392-w