Eine vorherrschende Ansicht in der Wissenschaft ist, dass es eine mathematische Wahrheit gibt, die das Universum strukturiert. Es wird angenommen, dass die Aufgabe des Wissenschaftlers darin besteht, diese mathematischen Zusammenhänge zu entschlüsseln: Einmal verstanden, können sie in mathematische Modelle übersetzt werden. Die Ausführung der resultierenden „Silizium-Realität“ in einem Computer kann uns dann nützliche Einblicke in die Funktionsweise der Welt geben.
Da die Wissenschaft immer wieder Geheimnisse preisgibt, werden die Modelle immer größer. Sie integrieren Entdeckungen und neu gefundene Mechanismen, um die Welt um uns herum besser widerzuspiegeln. Viele Gelehrte gehen davon aus, dass detailliertere Modelle schärfere Schätzungen liefern und bessere Vorhersagen, weil sie näher an der Realität liegen. Aber unsere neue Forschung, veröffentlicht in Wissenschaftliche Fortschrittedeutet darauf hin, dass sie möglicherweise den gegenteiligen Effekt haben.
Die Annahme, dass „mehr Details besser sind“, ist disziplinübergreifend. Die Auswirkungen sind enorm. Universitäten bekommen immer leistungsstärkere Computer, weil sie immer größere Modelle betreiben wollen, was immer mehr Rechenleistung erfordert. Kürzlich hat die Europäische Kommission 8 Milliarden Euro (6,9 Milliarden Pfund) investiert, um eine sehr detaillierte Simulation der Erde (mit Menschen) zu erstellen. als „digitaler Zwilling“ bezeichnet, in der Hoffnung, aktuelle soziale und ökologische Herausforderungen besser angehen zu können.
In unserer neuesten Forschung zeigen wir, dass das Streben nach immer komplexeren Modellen als Werkzeuge zur Erstellung genauerer Schätzungen und Vorhersagen möglicherweise nicht funktioniert. Basierend auf statistischer Theorie und mathematischen Experimenten haben wir Hunderttausende von Modellen mit unterschiedlichen Konfigurationen laufen lassen und gemessen, wie unsicher ihre Schätzungen sind.
Wir haben festgestellt, dass komplexere Modelle tendenziell zu unsichereren Schätzungen führen. Dies liegt daran, dass neue Parameter und Mechanismen hinzugefügt werden. Ein neuer Parameter, beispielsweise die Wirkung von Kaugummi auf die Ausbreitung einer Krankheit, muss gemessen werden – und ist daher mit Messfehlern und Unsicherheiten behaftet. Modellierer können auch verschiedene Gleichungen verwenden, um dasselbe Phänomen mathematisch zu beschreiben.
Sobald diese neuen Ergänzungen und die damit verbundenen Unsicherheiten in das Modell integriert sind, häufen sie sich auf den bereits vorhandenen Unsicherheiten auf. Und die Unsicherheiten nehmen mit jedem Modell-Upgrade weiter zu, wodurch die Modellausgabe bei jedem Schritt des Weges unschärfer wird – selbst wenn das Modell selbst realitätsgetreuer wird.
Dies betrifft alle Modelle, die keine geeigneten Validierungs- oder Trainingsdaten haben, anhand derer die Genauigkeit ihrer Ausgabe überprüft werden kann. Dazu gehören globale Modelle des Klimawandels, der Hydrologie (Wasserströmung), der Nahrungsmittelproduktion und der Epidemiologie gleichermaßen sowie alle Modelle, die zukünftige Auswirkungen vorhersagen.
Unscharfe Ergebnisse
Im Jahr 2009 haben Ingenieure einen Algorithmus namens Google Flu Trends entwickelt, um den Anteil der grippebedingten Arztbesuche in den USA vorherzusagen. Obwohl das Modell auf 50 Millionen Suchanfragen basierte, die Menschen in Google eingegeben hatten, war es nicht in der Lage, den Ausbruch der Schweinegrippe im Jahr 2009 vorherzusagen. Die Ingenieure machten das Modell, das nicht mehr funktioniert, noch komplexer. Aber es war immer noch nicht ganz so genau. Forschung unter der Leitung des deutschen Psychologen Gerd Gigerenzer zeigte, dass die Arztbesuche in den Jahren 2011–13 durchweg überschätzt wurden, in einigen Fällen um mehr als 50 %.
Gigerenzer entdeckte, dass ein viel einfacheres Modell bessere Ergebnisse liefern könnte. Sein Modell prognostizierte wöchentliche Gripperaten auf der Grundlage von nur einem winzigen Datenelement: wie viele Menschen in der vergangenen Woche ihren Hausarzt gesehen hatten.
Ein weiteres Beispiel sind globale hydrologische Modelle, die verfolgen, wie und wo sich Wasser bewegt und gespeichert wird. Sie begannen in den 1960er Jahren einfach auf der Grundlage von „Evapotranspirationsprozessen“ (der Menge an Wasser, die aus einer mit Pflanzen bedeckten Landschaft verdunsten und verdunsten könnte) und wurden bald erweitert, wobei der Wasserverbrauch in Haushalten, Industrie und Landwirtschaft auf globaler Ebene berücksichtigt wurde. Der nächste Schritt für diese Modelle besteht darin, den Wasserbedarf auf der Erde für jeden Kilometer pro Stunde zu simulieren.
Und doch fragt man sich, ob dieses zusätzliche Detail sie nicht nur noch verworrener macht. Wir habe gezeigt dass Schätzungen der Wassermenge, die für die Bewässerung verwendet wird, die von acht globalen hydrologischen Modellen erstellt werden, mit nur einem einzigen Parameter berechnet werden können – der Ausdehnung der bewässerten Fläche.
Wege nach vorn
Warum wurde bisher übersehen, dass mehr Details ein Modell schlechter machen können? Viele Modellierer unterziehen ihre Modelle keiner Unsicherheits- und Sensitivitätsanalyse, Methoden, die den Forschern mitteilen, wie sich Unsicherheiten im Modell auf die endgültige Schätzung auswirken. Viele fügen weitere Details hinzu, ohne herauszufinden, welche Elemente in ihrem Modell am meisten für die Unsicherheit in der Ausgabe verantwortlich sind.
Es ist besorgniserregend, da Modellbauer daran interessiert sind, immer größere Modelle zu entwickeln – tatsächlich bauen ganze Karrieren auf komplexen Modellen auf. Das liegt daran, dass sie schwerer zu fälschen sind: Ihre Komplexität schüchtert Außenstehende ein und erschwert das Verständnis dessen, was im Inneren des Modells vor sich geht.
Es gibt jedoch Abhilfe. Wir schlagen vor, dafür zu sorgen, dass Modelle nicht immer größer werden. Selbst wenn Wissenschaftler eine Unsicherheits- und Sensitivitätsanalyse durchführen, besteht die Gefahr, dass ihre Schätzungen so unsicher werden, dass sie für Wissenschaft und Politik unbrauchbar werden. Es macht wenig Sinn, viel Geld in Computer zu investieren, nur um Modelle auszuführen, deren Schätzung völlig unscharf ist.
Modellierer sollten stattdessen darüber nachdenken, wie sich die Unsicherheit mit jeder Hinzufügung von Details in das Modell ausdehnt – und den besten Kompromiss zwischen dem Detaillierungsgrad des Modells und der Unsicherheit in der Schätzung finden.
Um diesen Kompromiss zu finden, kann man das Konzept der „effektiven Dimensionen“ verwenden – ein Maß für die Anzahl der Parameter, die die endgültige Ausgabe unsicher machen, wobei berücksichtigt wird, wie diese Parameter miteinander interagieren – das wir in unserem Artikel definieren .
Durch die Berechnung der effektiven Dimensionen eines Modells nach jedem Upgrade können Modellierer abschätzen, ob die Zunahme der Unsicherheit das Modell immer noch für die Politik geeignet macht – oder ob es im Gegensatz dazu die Ausgabe des Modells so unsicher macht, dass sie nutzlos ist. Dies erhöht die Transparenz und hilft Wissenschaftlern beim Design Modelle, die Wissenschaft und Gesellschaft besser dienen.
Einige Modellierer argumentieren möglicherweise immer noch, dass die Hinzufügung von Modelldetails können zu genaueren Schätzungen führen. Die Beweislast liegt nun bei ihnen.
Dieser Artikel wird neu veröffentlicht von Die Unterhaltung unter einer Creative-Commons-Lizenz. Lies das originaler Artikel.