Ergebnisse einer sechsjährigen Studie von vier Labors legen nahe, dass Ergebnisse zum Sozialverhalten in hohem Maße reproduzierbar sind

Vor etwa zwei Jahrzehnten entstand eine gemeinschaftsweite Meinung über die Glaubwürdigkeit veröffentlichter Literatur in den Sozial- und Verhaltenswissenschaften, insbesondere in der Psychologie. In mehreren groß angelegten Studien wurde versucht, zuvor veröffentlichte Ergebnisse zu reproduzieren, ohne Erfolg oder in viel geringerem Umfang, was die Glaubwürdigkeit der Ergebnisse – und zukünftiger Studien in den Sozialverhaltenswissenschaften – in Frage stellte.

Eine Handvoll Top-Experten auf diesem Gebiet wollten jedoch zeigen, dass durch den Einsatz von Best Practices eine hohe Reproduzierbarkeit möglich ist. Über einen Zeitraum von sechs Jahren entdeckten und replizierten Forscher in Laboren der UC Santa Barbara, der UC Berkeley, der Stanford University und der University of Virginia 16 neuartige Ergebnisse mit angeblich bewährten Best Practices, darunter Vorregistrierung, große Stichprobengrößen und Replikationsgenauigkeit.

Ihre Ergebnisse, veröffentlicht in Natur menschliches Verhaltendeuten tatsächlich darauf hin, dass mit Best Practices eine hohe Reproduzierbarkeit erreichbar ist.

„Es ist ein Existenzbeweis dafür, dass wir uns auf die Suche nach neuen Erkenntnissen machen und diese auf einem sehr hohen Niveau reproduzieren können“, sagte Jonathan Schooler, Distinguished Professor der UC Santa Barbara, Direktor des META Lab der UCSB und des Center for Mindfulness and Human Potential sowie leitender Autor des Papiers.

„Die wichtigste Erkenntnis ist, dass man hohe und allgemein stabile Replikationsraten erzielen kann, wenn man die aktuellen Best Practices bei der Durchführung und Replikation von Online-Studien zum Sozialverhalten befolgt.“

Die Replikationsergebnisse ihrer Studie waren im Durchschnitt 97 % so groß wie die ursprünglichen Ergebnisse. Im Vergleich dazu ergaben frühere Replikationsprojekte Replikationsergebnisse, die bei etwa 50 % lagen.

Die Hauptforscher des Papiers waren John Protzko vom META Lab der UCSB und der Central Connecticut State University (CCSU), Jon Krosnick von der Political Psychology Research Group in Stanford, Leif Nelson von der Haas School of Business der UC Berkeley und Brian Nosek, der der University of Virginia angegliedert ist und ist Geschäftsführer des eigenständigen Center for Open Science.

„In den letzten Jahren gab es viele Bedenken hinsichtlich der Reproduzierbarkeit vieler Wissenschaften, aber die Psychologie gehörte zu den ersten Bereichen, die damit begannen, das Problem systematisch zu untersuchen“, sagte Hauptautor Protzko, ein wissenschaftlicher Mitarbeiter in Schoolers Labor, in dem er tätig war ein Postdoktorand während des Studiums. Heute ist er Assistenzprofessor für Psychologie an der CCSU.

„Die Frage war, ob frühere Replikationsfehler und abnehmende Effektgrößen von Natur aus in den verschiedenen wissenschaftlichen Bereichen verankert sind, die sie beobachtet haben. Einige haben beispielsweise spekuliert, dass es ein inhärenter Aspekt des wissenschaftlichen Unternehmens ist, dass neu entdeckte Erkenntnisse weniger reproduzierbar werden können oder.“ mit der Zeit kleiner.

Die Gruppe beschloss, neue Studien unter Verwendung neuer Best Practices in der offenen Wissenschaft durchzuführen – und diese dann mit einem innovativen Design zu replizieren, bei dem sich die Forscher dazu verpflichteten, die ersten Bestätigungsstudien unabhängig vom Ergebnis zu replizieren. Im Laufe von sechs Jahren entwickelten Forschungsteams in jedem Labor Studien, die dann von allen anderen Laboren repliziert wurden.

Insgesamt entdeckte die Koalition 16 neue Phänomene und reproduzierte jedes davon viermal mit 120.000 Teilnehmern. „Wenn Sie bei der Entdeckung neuer wissenschaftlicher Erkenntnisse Best Practices für große Proben, Vorregistrierung und offene Materialien anwenden und Replikationen mit größtmöglicher Genauigkeit zum Originalprozess durchführen, erhalten Sie am Ende eine sehr gut reproduzierbare Wissenschaft.“ sagte Protzko zu den Ergebnissen.

Eine wichtige Neuerung der Studie bestand darin, dass alle teilnehmenden Labore sich bereit erklärten, die ersten Bestätigungsstudien unabhängig von ihrem Ergebnis zu wiederholen. Dadurch wurde die in der wissenschaftlichen Gemeinschaft übliche Voreingenommenheit, nur positive Ergebnisse zu veröffentlichen und zu reproduzieren, beseitigt, die in der Vergangenheit möglicherweise zu überhöhten anfänglichen Bewertungen der Effektstärken beigetragen hat. Darüber hinaus ermöglichte dieser Ansatz den Forschern, mehrere Fälle zu beobachten, in denen Studiendesigns, die in der ursprünglichen Bestätigung keine signifikanten Ergebnisse lieferten, später bei der Replikation in anderen Labors zuverlässige Ergebnisse erzielten.

Insgesamt ergab das Projekt extrem hohe Reproduzierbarkeitsraten ihrer Sozialverhaltensergebnisse und keine statistisch signifikanten Hinweise auf einen Rückgang bei wiederholten Replikationen. Angesichts der Stichprobengrößen und Effektgrößen hätte die beobachtete Reproduzierbarkeitsrate von 86 %, basierend auf der statistischen Signifikanz, nicht höher sein können, betonten die Forscher.

Um die Neuheit ihrer Entdeckungen zu testen, führten sie unabhängige Tests zu den Vorhersagen der Menschen hinsichtlich der Richtung der neuen Erkenntnisse und ihrer Wahrscheinlichkeit der Reproduzierbarkeit durch. Mehrere Folgeumfragen, in denen naive Teilnehmer Beschreibungen sowohl der neuen Studien als auch derjenigen im Zusammenhang mit früheren Replikationsprojekten auswerteten, fanden keine Unterschiede in ihrer jeweiligen Vorhersagbarkeit.

Der Replikationserfolg dieser Studien beruhte also nicht darauf, dass sie offensichtliche Ergebnisse entdeckten, von denen zwangsläufig eine Replikation zu erwarten war. Tatsächlich wurden viele der neu entdeckten Erkenntnisse bereits unabhängig voneinander in hochwertigen Fachzeitschriften veröffentlicht.

„Es wäre nicht besonders interessant zu entdecken, dass es einfach ist, völlig offensichtliche Erkenntnisse zu reproduzieren“, sagte Schooler. „Aber unsere Studien waren in ihrem Überraschungsfaktor mit Studien vergleichbar, die in der Vergangenheit schwer zu replizieren waren. Ungeschulte Richter, denen in jeder unserer Studien Zusammenfassungen der beiden Erkrankungen und ein vergleichbarer Satz von Studien mit zwei Erkrankungen aus einer früheren Replikation gegeben wurden.“ Die Bemühungen fanden es ähnlich schwierig, die Richtung unserer Ergebnisse im Vergleich zu den früheren vorherzusagen.

Da jedes Forschungslabor seine eigenen Studien entwickelte, stammten diese aus einer Vielzahl sozialer, verhaltensbezogener und psychologischer Bereiche wie Marketing, politische Psychologie, Vorurteile und Entscheidungsfindung. Sie alle betrafen menschliche Probanden und hielten sich an bestimmte Einschränkungen, wie zum Beispiel den Verzicht auf Täuschung. „Wir haben wirklich in den Prozess eingebaut, dass die einzelnen Labore unabhängig agieren“, sagte Protzko. „Sie gingen ihren üblichen Themen nach, die sie interessierten, und wie sie ihr Studium gestalten würden.“

Insgesamt liefert ihre metawissenschaftliche Untersuchung den Beweis, dass eine geringe Reproduzierbarkeit und abnehmende Effekte nicht unvermeidlich sind. Praktiken zur Verbesserung der Strenge können zu sehr hohen Replikationsraten führen, aber um genau zu ermitteln, welche Praktiken am besten funktionieren, bedarf es weiterer Untersuchungen. Der „Kitchen-Sink“-Ansatz dieser Studie – der gleichzeitige Einsatz mehrerer Übungen zur Steigerung der Fitness – konnte die Wirkung einzelner Übungen nicht isolieren.