In den letzten etwa 20 Jahren hat die Sorge zugenommen, dass viele in wissenschaftlichen Fachzeitschriften veröffentlichte Ergebnisse nicht reproduziert werden können.
Je nach Forschungsgebiet haben Studien herausgefunden, dass Versuche, veröffentlichte Studien zu wiederholen, zwischendurch zu unterschiedlichen Ergebnissen führen 23 % Und 89 % von Fällen.
Um zu verstehen, wie verschiedene Forscher zu unterschiedlichen Ergebnissen kommen könnten, haben wir Hunderte von Ökologen und Evolutionsbiologen gebeten, zwei Fragen durch die Analyse vorgegebener Datensätze zu beantworten. Sie gelangten zu einer riesigen Bandbreite an Antworten.
Unsere Studie wurde angenommen von BMC-Biologie als Stufe 1 registrierter Bericht und ist derzeit als Vorabdruck erhältlich vor dem Peer-Review für Stufe 2.
Warum ist die Reproduzierbarkeit ein Problem?
Die Ursachen für Probleme mit der Reproduzierbarkeit sind in der gesamten Wissenschaft gleich. Dazu gehören eine übermäßige Abhängigkeit von einfachen Messgrößen „statistischer Signifikanz“ statt differenzierter Auswertungen, die Tatsache, dass Faktenzeitschriften lieber „aufregende“ Ergebnisse veröffentlichen, und fragwürdige Forschungspraktiken, die Artikel auf Kosten der Transparenz spannender machen und die Falschquote erhöhen Ergebnisse in der Literatur.
Ein Großteil der Forschung zur Reproduzierbarkeit und Möglichkeiten, sie zu verbessern (z. B. „Open Science“-Initiativen), hat sich nur langsam auf verschiedene Wissenschaftsbereiche ausgeweitet.
Das Interesse an diesen Ideen war groß wächst unter Ökologen, aber bisher gibt es nur wenige Untersuchungen zur Bewertung der Reproduzierbarkeit in der Ökologie. Ein Grund dafür ist die Schwierigkeit, Umweltunterschiede vom Einfluss der Entscheidungen der Forscher zu trennen.
Eine Möglichkeit, die Reproduzierbarkeit ökologischer Forschung unabhängig von Umweltauswirkungen zu erreichen, besteht darin, sich auf das zu konzentrieren, was nach der Datenerhebung geschieht.
Vögel und Geschwister, Gras und Setzlinge
Wir haben uns inspirieren lassen Arbeit unter der Leitung von Raphael Silberzahn Dabei wurden Sozialwissenschaftler gebeten, einen Datensatz zu analysieren, um festzustellen, ob der Hautton von Fußballspielern die Anzahl der roten Karten vorhersagte, die sie erhielten. Die Studie ergab ein breites Spektrum an Ergebnissen.
Wir haben diesen Ansatz in der Ökologie und Evolutionsbiologie mit einem offenen Aufruf nachgeahmt, um uns bei der Beantwortung zweier Forschungsfragen zu helfen:
„Inwieweit wird das Wachstum junger Blaumeisen (Cyanistes caeruleus) durch die Konkurrenz mit Geschwistern beeinflusst?“
„Wie beeinflusst die Grasbedeckung die Rekrutierung von Eucalyptus spp.-Sämlingen?“ („Eukalyptus spp. Sämlingsrekrutierung“ bedeutet, wie viele Sämlinge von Bäumen der Gattung Eukalyptus vorhanden sind.)
246 Ökologen und Evolutionsbiologen folgten unserem Anruf. Einige arbeiteten alleine, andere in Teams und erstellten 137 schriftliche Beschreibungen ihrer Gesamtantwort auf die Forschungsfragen (neben numerischen Ergebnissen). Diese Antworten variierten für beide Datensätze erheblich.
Betrachtet man die Auswirkung der Grasbedeckung auf die Anzahl der Eukalyptus Sämlinge, wir hatten 63 Antworten. Achtzehn beschrieben einen negativen Effekt (mehr Gras bedeutet weniger Setzlinge), 31 beschrieben keinen Effekt, sechs Teams beschrieben einen positiven Effekt (mehr Gras bedeutet mehr Setzlinge) und acht beschrieben einen gemischten Effekt (einige Analysen fanden positive Effekte und andere negative Effekte). .
Für die Auswirkung der Geschwisterkonkurrenz auf das Blaumeisenwachstum hatten wir 74 Antworten. 64 Teams beschrieben einen negativen Effekt (mehr Wettbewerb bedeutet langsameres Wachstum, obwohl nur 37 dieser Teams diesen negativen Effekt für schlüssig hielten), fünf beschrieben keinen Effekt und fünf einen gemischten Effekt.
Was die Ergebnisse bedeuten
Es überrascht vielleicht nicht, dass wir und unsere Co-Autoren unterschiedliche Ansichten darüber hatten, wie diese Ergebnisse interpretiert werden sollten.
Wir haben drei unserer Co-Autoren gebeten, zu kommentieren, was ihnen am meisten aufgefallen ist.
Peter Vesk, die Quelle der Eukalyptus-Daten, sagte: „Wenn man sich den Mittelwert aller Analysen ansieht, macht es Sinn. Gras hat im Wesentlichen einen vernachlässigbaren Einfluss auf.“ [the number of] Eukalyptusbaumsämlinge, verglichen mit der Entfernung vom nächsten Mutterbaum. Aber die Bandbreite der geschätzten Auswirkungen ist verblüffend. Es deckt sich mit meiner eigenen Erfahrung, dass viele kleine Unterschiede im Analyse-Workflow zu großen Variationen führen können [in results].“
Simon Griffith hat die Blaumeisendaten vor mehr als 20 Jahren gesammelt und sie aufgrund der Komplexität der Entscheidungen über den richtigen Analyseweg bisher nicht analysiert. Er sagte,
„Diese Studie zeigt, dass es auf keinen Datensatz eine einheitliche Antwort gibt. Es gibt ein breites Spektrum unterschiedlicher Ergebnisse, und um dieser Vielfalt Rechnung zu tragen, muss man die zugrunde liegende Biologie verstehen.“
Die Metaforscherin Fiona Fidler, die sich mit der Forschung selbst beschäftigt, sagte: „Der Zweck dieser Studien besteht nicht darin, Menschen zu erschrecken oder eine Krise auszulösen. Sie sollen dazu beitragen, unser Verständnis von Heterogenität und ihrer Bedeutung für die Praxis der Wissenschaft zu stärken.“ Durch Metaforschungsprojekte wie dieses können wir ein besseres Gespür für Unsicherheit entwickeln und aus unserer Forschung besser abgestimmte Schlussfolgerungen ziehen.“
Was sollen wir dagegen tun?
Unserer Ansicht nach legen die Ergebnisse drei Handlungsoptionen für Forscher, Verleger, Geldgeber und die breitere Wissenschaftsgemeinschaft nahe.
Erstens sollten wir es vermeiden, veröffentlichte Forschungsergebnisse als Tatsachen zu betrachten. Ein einzelner wissenschaftlicher Artikel ist lediglich ein Beweisstück, das in einem breiteren Kontext von Einschränkungen und Vorurteilen existiert.
Der Drang nach „neuer“ Wissenschaft bedeutet, dass von der Erforschung bereits erforschter Dinge abgeraten wird und wir folglich den Wert einzelner Studien übertreiben. Wir müssen einen Schritt zurücktreten und jeden Artikel im Kontext betrachten, anstatt ihn als das letzte Wort zu diesem Thema zu betrachten.
Zweitens sollten wir mehr Analysen pro Artikel durchführen und alle darüber berichten. Wenn die Forschung davon abhängt, welche analytischen Entscheidungen getroffen werden, ist es sinnvoll, mehrere Analysen darzustellen, um ein umfassenderes Bild des Ergebnisses zu erhalten.
Und drittens sollte jede Studie eine Beschreibung enthalten, wie die Ergebnisse von der Entscheidung zur Datenanalyse abhängen. Forschungspublikationen konzentrieren sich in der Regel auf die Diskussion der ökologischen Auswirkungen ihrer Ergebnisse, sie sollten jedoch auch darüber sprechen, wie unterschiedliche Analyseentscheidungen die Ergebnisse beeinflusst haben und was dies für die Interpretation der Ergebnisse bedeutet.
Mehr Informationen:
Elliot Gould et al., Gleiche Daten, unterschiedliche Analysten: Variation der Effektgrößen aufgrund analytischer Entscheidungen in der Ökologie und Evolutionsbiologie, BMC-Biologie (2023). DOI: 10.32942/X2GG62
Dieser Artikel wurde erneut veröffentlicht von Die Unterhaltung unter einer Creative Commons-Lizenz. Lies das originaler Artikel.