Fast überall im Internet scheint es fast unmöglich zu sein, Artikeln über KI zu entkommen. Sogar hier bei UT haben wir mehrere veröffentlicht. Typischerweise konzentrieren sie sich darauf, wie eine bestimmte Forschungsgruppe die Technologie nutzte, um Unmengen von Daten zu verstehen. Aber diese Art der Mustererkennung ist nicht alles, wozu KI gut ist. Tatsächlich wird es ziemlich fähig zum abstrakten Denken. Und ein Ort, an dem abstraktes Denken hilfreich sein kann, ist die Entwicklung neuer wissenschaftlicher Theorien. Vor diesem Hintergrund nutzte ein Forscherteam der ESA, Columbia und der Australian National University (ANU) eine KI, um wissenschaftliche Hypothesen in der Astronomie aufzustellen.
Konkret taten sie dies im Teilgebiet der galaktischen Astronomie, die sich auf die Erforschung der Entstehung und Physik von Galaxien spezialisiert hat. Ein kürzlich veröffentlichter Artikel zum Thema arXiv Pre-Print-Server erwähnt, dass sie dieses Teilgebiet aufgrund seines „integrativen Charakters“ ausgewählt haben, der „Kenntnisse aus verschiedenen Teilgebieten“ erfordert.
Das klingt genau nach dem, was KI bereits gut kann. Aber ein Standardmodell für große Sprachen (LLM), wie es in letzter Zeit am bekanntesten geworden ist (ChatGPT, Bard usw.), würde nicht über genügend Fachwissen verfügen, um vernünftige Hypothesen in diesem Bereich zu entwickeln. Es könnte sogar den „Halluzinationen“ zum Opfer fallen, vor denen einige Forscher (und Journalisten) warnen, dass sie einen der Nachteile der Interaktion mit den Modellen darstellen.
Um dieses Problem zu vermeiden, verwendeten die Forscher unter der Leitung von Ioana Ciucă und Yuan-Sen Ting von der ANU einen Code, der als Anwendungsprogrammierschnittstelle (API) bekannt ist und in Python geschrieben wurde und als Langchain bekannt ist. Mit dieser API können fortgeschrittenere Benutzer LLMs wie GPT-4 manipulieren, das als neueste Basis für ChatGPT dient. Im Fall der Forscher haben sie über 1.000 wissenschaftliche Artikel zur galaktischen Astronomie in GPT-4 geladen, nachdem sie sie aus dem Astrophysics Data System der NASA heruntergeladen hatten.
Eine kurze Erklärung eines NASA-Wissenschaftlers, wie KI die Astronomie auf die nächste Stufe heben wird. Bildnachweis: Museum of Science, Boston YouTube-Kanal
Eines der Experimente der Forscher bestand darin, zu testen, wie sich die Anzahl der Arbeiten, auf die das Modell Zugriff hatte, auf die daraus resultierenden Hypothesen auswirkte. Sie stellten einen signifikanten Unterschied zwischen den vorgeschlagenen Hypothesen fest, die darin entwickelt wurden, Zugang zu nur zehn Artikeln zu haben, und denen, die Zugriff auf ganze tausend Artikel hatten.
Aber wie beurteilten sie die Gültigkeit der Hypothesen selbst? Sie taten, was jeder Wissenschaftler mit etwas Selbstachtung tun würde, und rekrutierten Experten auf diesem Gebiet. Zwei davon, um genau zu sein. Und sie forderten sie auf, die Hypothesen nur auf der Grundlage der Originalität des Gedankens, der Machbarkeit der Überprüfung der Hypothesen und der wissenschaftlichen Genauigkeit ihrer Grundlage aufzustellen. Die Experten stellten fest, dass die von Astro-GPT, wie sie ihr Modell nannten, vorgeschlagenen Hypothesen selbst bei einem begrenzten Datensatz von nur zehn Arbeiten nur geringfügig schlechter bewertet wurden als ein kompetenter Doktorand. Student. Durch den Zugriff auf die gesamten 1.000 Arbeiten erreichte Astro-GPT ein „nahezu Expertenniveau“.
Ein entscheidender Faktor bei der Festlegung der endgültigen Hypothesen, die den Experten vorgelegt wurden, war, dass die Hypothesen mithilfe „kontradiktorischer Aufforderungen“ verfeinert wurden. Das klingt zwar aggressiv, bedeutet aber lediglich, dass zusätzlich zu dem Programm, das die Hypothesen entwickelt hat, ein anderes Programm mit demselben Datensatz trainiert wurde und dann dem ersten Programm Feedback zu seinen Hypothesen gab, wodurch das ursprüngliche Programm gezwungen wurde, seine Hypothesen zu verbessern logische Irrtümer beseitigen und im Allgemeinen wesentlich bessere Ideen hervorbringen.
Trotz des kontroversen Feedbacks gibt es keinen Grund für einen Doktortitel in Astronomie. Studierende sollen es aufgeben, in ihrem Fachgebiet eigene, einzigartige Ideen zu entwickeln. Diese Studie weist jedoch darauf hin, dass die Fähigkeiten dieser LLMs nicht ausreichend genutzt werden. Je weiter sie verbreitet werden, desto mehr können Wissenschaftler und Laien sie nutzen, um neue und bessere Ideen zum Testen zu entwickeln.
Mehr Informationen:
Ioana Ciucă et al., Nutzung der Macht kontradiktorischer Eingabeaufforderungen und großer Sprachmodelle für die Erstellung robuster Hypothesen in der Astronomie, arXiv (2023). DOI: 10.48550/arxiv.2306.11648