Studie kommt zu dem Schluss, dass von Regierungspolitikern verwendete ökologische Beweise im Laufe der Zeit instabil sind

Eine große Studie unter der Leitung von Wissenschaftlern der Royal Holloway University of London ergab, dass die von politischen Entscheidungsträgern in Bezug auf Naturschutz und Umweltmanagement verwendete Forschung im Laufe der Zeit instabil ist und schnell veraltet sein kann: Dies stellt eine ernsthafte potenzielle Bedrohung für evidenzbasierte Entscheidungen dar. Herstellung.

Die Forschung wurde von Ph.D. geleitet. Studentin Lizzie Brisco und Professorin Julia Koricheva vom Department of Biological Sciences am Royal Holloway, in Zusammenarbeit mit Professorin Elena Kulinskaya von der University of East Anglia.

Die politische Entscheidungsfindung im Umweltmanagement und bei der Naturschutzplanung stützt sich zunehmend auf quantitative Überprüfungen der Ergebnisse früherer Studien – auch bekannt als „Metaanalyse“.

Die Metaanalyse schätzt die Größe des Effekts einer Intervention, ihre statistische Signifikanz und die Richtung des Effekts (d. h. ob der Interventionseffekt groß oder klein, positiv oder negativ ist). Diese Effektabschätzung dient als Grundlage für Empfehlungen zum Umweltmanagement.

Diese können jedoch nur aus einer Momentaufnahme der zum Zeitpunkt der Empfehlungen verfügbaren Evidenz gebildet werden. Wenn sich das Ausmaß, die statistische Signifikanz oder die Richtung – vorteilhaft zu werden, obwohl man früher dachte, dass es schädlich ist, oder umgekehrt – der geschätzten Wirkung nach diesem Zeitpunkt ändert (da mehr Belege vorliegen), können aus diesen Überprüfungen schnell Empfehlungen abgeleitet werden veraltet sein.

Die neue Studie, veröffentlicht im Tagebuch Forschungssynthesemethodenbewertete 121 Metaanalysen aus einer Reihe angewandter Ökologie- und Naturschutzthemen, wie etwa die Auswirkungen von Agrarumweltprogrammen auf Bienen und die Auswirkungen unterschiedlicher Wassertemperaturen und CO2-Werte auf Korallen.

Die Analyse ergab, dass die Effekte in den meisten Studien „zeitliche Trends“ erzeugten, die über die Zeit instabil waren und das Ausmaß und die statistische Signifikanz dieser Effekte verändern konnten. Zum Beispiel, ob die Wirkung mit der Zeit an Größe abnahm, signifikant wurde oder die Richtung änderte (sie wurde vorteilhaft, obwohl man sie früher als schädlich ansah, oder umgekehrt).

Ph.D. Die Studentin Lizzie Brisco, die Hauptautorin der Studie, sagte: „Die zeitliche Instabilität der Umweltbeweisbasis ist äußerst besorgniserregend, da umweltpolitische Interventionen teuer sind und ihre Folgen sowohl wirtschaftlich als auch für gefährdete Arten wichtig sind.“

„Änderungen der Beweise im Laufe der Zeit verstärken auch die Besorgnis über eine umfassendere ‚Reproduzierbarkeitskrise‘ in der Wissenschaft – das Versäumnis, Ergebnisse zu reproduzieren, verringert das Vertrauen der Öffentlichkeit in die wissenschaftliche Methode und ihre Schlussfolgerungen, was weitreichende Auswirkungen auf die Gesellschaft hat.“

Professorin Julia Koricheva vom Department of Biological Sciences am Royal Holloway sagte: „Zeitliche Trends in der Stärke und Signifikanz der Wirkung wurden oft in anderen Forschungsbereichen beobachtet, z. B. in der Medizin und den Sozialwissenschaften. Unsere Studie trägt zu den wachsenden Belegen für zeitliche Trends bei.“ in Effektgrößen in allen wissenschaftlichen Disziplinen.

„Es gab kürzlich Meinungsverschiedenheiten über die Verbreitung solcher zeitlicher Trends in der Ökologie, aber der Schwerpunkt früherer Studien lag größtenteils auf dem sogenannten ‚Abnahmeeffekt‘, wenn die Beweise für das Phänomen im Laufe der Zeit abnehmen.“

„Unsere Studie hat gezeigt, dass zeitliche Muster für Umweltbeweise viel komplexer sind, was bedeutet, dass auf diesen Beweisen basierende Richtlinien geringere, größere oder entgegengesetzte Konsequenzen haben können als erwartet.“

In der Studie zeigten 93 % der von den Forschern untersuchten Metaanalysen zeitliche Trends in der Effektgröße oder statistischen Signifikanz, wobei 27 % der Datensätze zeitliche Trends sowohl in der Effektgröße als auch in der Signifikanz aufwiesen. Extreme frühe Studieneffekte stellten das häufigste Muster dar (wobei Studien zu Beginn der Zeitspanne der Evidenz für die Intervention extremere Effekte zeigen), aber es wurden auch viele andere Trends festgestellt, darunter abnehmende und zunehmende Ausmaße der Wirkung und Veränderungen im Vorzeichen der Wirkung.

Die Forscher stellten fest, dass diese zeitlichen Schwankungen der Auswirkungen in den meisten Fällen nicht auf Änderungen der Stichprobengröße zurückzuführen waren und nicht mit Änderungen der Studienmerkmale wie der geografischen Lage oder der Studienart in Zusammenhang standen.

Dies führte die Forscher zu dem Schluss, dass die beobachteten zeitlichen Veränderungen der Wirkungen entweder echte biologische Veränderungen im Laufe der Zeit widerspiegeln oder durch Publikationsverzerrungen verursacht werden könnten – wobei Studienergebnisse Einfluss darauf haben können, wie schnell die Forschung veröffentlicht wird.

Unabhängig von den zugrunde liegenden Ursachen stellt die zeitliche Instabilität bei Schätzungen der Auswirkungen auf Ökologie und Naturschutz eine ernsthafte potenzielle Bedrohung für die politische Entscheidungsfindung dar, da statistische Schätzungen der Auswirkungen einer Intervention möglicherweise nicht genau die Auswirkungen in der realen Welt widerspiegeln.