Wenn ich Forschungsmethoden unterrichte, liegt ein Hauptschwerpunkt auf Peer-Review. Als Prozess bewertet das Peer-Review wissenschaftliche Arbeiten auf ihre Qualität, Integrität und Auswirkung auf ein Fachgebiet und prägt maßgeblich das, was Wissenschaftler als „Wissen“ akzeptieren. Instinktiv stellt jeder Akademiker einer neuen Idee die Frage: „Wurde diese von Experten begutachtet?“
Obwohl ich an die Bedeutung von Peer-Reviews glaube – und bei der Durchführung von Peer-Reviews für mehrere Fachzeitschriften helfe –, weiß ich, wie anfällig dieser Prozess sein kann. Es wurden nicht nur Akademiker befragt Peer-Review-Zuverlässigkeit seit Jahrzehnten, aber der Rückzug von mehr als 10.000 Forschungsarbeiten im Jahr 2023 einen neuen Rekord aufgestellt.
Meine erste Begegnung mit den Mängeln im Peer-Review-Prozess hatte ich 2015, während meines ersten Jahres als Doktorandin. Student der Pädagogischen Psychologie an einer großen Land-Grant-Universität im pazifischen Nordwesten.
Mein Berater veröffentlichte einige der am häufigsten zitierten Studien in der Bildungsforschung. Er war Mitglied mehrerer Redaktionen. Einige der renommiertesten Fachzeitschriften der Lernwissenschaft baten ihn um eine Rezension neuer Studien. Eines Tages klopfte ich an seine Bürotür. Er antwortete, ohne von seinem Stuhl aufzustehen, ein gedrucktes Manuskript aufgeschlagen auf seinem Schoß, und winkte mich herein.
„Gutes Timing“, sagte er. „Haben Sie Erfahrung mit Peer-Reviews?“
Ich war in der Redaktion von Literaturzeitschriften tätig und habe Gedicht- und Belletristikbeiträge rezensiert, aber ich bezweifelte, dass sich ein Großteil davon auf die wissenschaftliche Begutachtung durch Fachkollegen übertragen ließe.
„Fantastisch.“ Er lächelte erleichtert. „Das wird echtes Lernen sein.“ Er reichte mir das Manuskript von seinem Schoß und sagte mir, ich solle ihm meine schriftliche Rezension in einer Woche zurückgeben.
Es war mir zu peinlich, zu fragen, wie man eigentlich ein Peer-Review durchführt, also bot ich einen spontanen Plan an, der auf meinen bisherigen Erfahrungen basierte: „Ich mache am Rand Bearbeitungskommentare und schreibe dann eine Zusammenfassung über die Gesamtqualität?“
Sein Lächeln verblasste, entweder aus Enttäuschung oder aus Ablenkung. Er begann, auf eine E-Mail zu antworten.
„Stellen Sie sicher, dass die Methoden solide sind. Die Ergebnisse sind sinnvoll. Machen Sie sich keine Sorgen um die Bearbeitung.“
Letztendlich habe ich mich durchgekämpft und meinem Berater dadurch Zeit gespart, dass er eine Überprüfung weniger durchführen musste. Danach erhielt ich gutes Feedback und wurde schließlich zu einem selbstbewussten Peer-Reviewer. Aber damals war ich sicherlich kein „Peer“. Ich war zu neu auf meinem Gebiet, um Methoden und Ergebnisse zu bewerten, und ich hatte noch nicht genügend Studien kennengelernt, um eine überraschende Beobachtung zu erkennen oder die Qualität zu erkennen, die ich kontrollieren sollte. Manipulierte Daten oder minderwertige Methoden könnten leicht unentdeckt bleiben.
Auswirkungen von Voreingenommenheit
Wissen ist nicht selbstverständlich. Eine Umfrage kann mit a gestaltet werden problematisches Maß an Voreingenommenheitauch wenn es unbeabsichtigt ist.
Ein Phänomen in einem bestimmten Kontext beobachten, beispielsweise eine Intervention, die weißen Kindern der Mittelschicht hilft, das Lesen zu lernen, kann nicht unbedingt zu Erkenntnissen führen wie man Kindern aus anderen Bevölkerungsgruppen am besten das Lesen beibringt. Die Debatten über die „Wissenschaft des Lesens“ im Allgemeinen dauern seit Jahrzehnten an und die Forscher streiten darüber ständig wechselnde „Empfehlungen“.,“ wie zum Beispiel, ob Phonetik oder die Verwendung von Kontexthinweisen gelehrt werden soll.
Eine Korrelation – ein Schüler, der andere Schüler schikaniert und gewalttätige Videospiele spielt –möglicherweise keine Kausalität. Wir wissen nicht, ob der Schüler durch das Spielen gewalttätiger Videospiele zum Tyrannen wurde. Nur Experten innerhalb eines Fachgebiets könnten solche Unterschiede bemerken, und selbst dann sind sich Experten nicht immer einig darüber, was ihnen auffällt.
Als Individuen können wir sehr oft durch unsere eigenen Erfahrungen eingeschränkt werden. Nehmen wir an, ich sehe in meinem Leben nur weiße Schwäne. Ich könnte zu der Erkenntnis gelangen, dass es nur weiße Schwäne gibt. Vielleicht schreibe ich ein Manuskript über meine lebenslangen Beobachtungen und komme zu dem Schluss, dass alle Schwäne weiß sind. Ich reiche dieses Manuskript bei einer Zeitschrift ein und ein „Kollege“, jemand, der auch viele Schwäne beobachtet hat, sagt: „Moment mal, ich habe schwarze Schwäne gesehen.“ Dieser Kollege teilte mir seine Beobachtungen mit, damit ich mein Wissen verfeinern kann.
Der Peer spielt eine entscheidende Rolle bei der Auswertung von Beobachtungen mit dem übergeordneten Ziel, das Wissen zu erweitern. Wenn sich beispielsweise das obige Szenario umkehren würde und Gutachter, die alle glaubten, dass alle Schwäne weiß seien, auf die erste Studie stoßen würden, in der ein schwarzer Schwan beobachtet wurde, würde die Studie viel Aufmerksamkeit erhalten, da die Forscher sich bemühten, diese Beobachtung zu reproduzieren. Warum also durfte ein Doktorand im ersten Jahr einen Experten vertreten? Warum würde meine Bewertung genauso zählen wie die Bewertung eines Veteranen? Eine Antwort: Der Prozess ist abhängig fast ausschließlich auf unbezahlte Arbeit angewiesen.
Auch wenn es sich bei Peers um Profis handelt, ist Peer Review kein Beruf.
Infolgedessen erhalten häufig dieselben überarbeiteten Wissenschaftler den Großteil der Peer-Review-Anfragen. Abgesehen von der Arbeitsungleichheit kann ein kleiner Expertenpool zu einem eingeschränkten Prozess darüber führen, was veröffentlicht werden kann oder was als Wissen gilt, was eine unmittelbare Bedrohung darstellt Vielfalt an Perspektiven und Wissenschaftlern.
Ohne einen ausreichend großen Gutachterpool kann der Prozess leicht der Politik zum Opfer fallen, da eine kleine Gemeinschaft die Arbeit des anderen anerkennt und Interessenkonflikte gefährdet. Viele der Probleme im Zusammenhang mit Peer-Reviews können durch eine Professionalisierung des Fachgebiets gelöst werden, sei es durch offizielle Anerkennung oder Vergütung.
Wert trotz Herausforderungen
Trotz dieser Herausforderungen sage ich meinen Studierenden immer noch, dass Peer-Review die beste Methode zur Bewertung von Studien und zur Weiterentwicklung von Wissen bietet. Betrachten Sie das statistische Phänomen, das darauf hindeutet, dass Gruppen von Menschen eher zu „richtigen Antworten“ gelangen als Einzelpersonen.
In seinem Buch „Die Weisheit der Massen„Der Autor James Surowiecki erzählt die Geschichte eines Jahrmarkts im Jahr 1906, bei dem Messebesucher das Gewicht eines Ochsen schätzten. Sir Francis Galton bildete den Durchschnitt der 787 Schätzungen und kam auf 1.197 Pfund. Der Ochse wog 1.198 Pfund.
Wenn es um Wissenschaft und die Reproduktion von Ideen geht, kann die Weisheit der Vielen einzelne Ausreißer erklären. Glücklicherweise und ironischerweise hat die Wissenschaft auf diese Weise Galtons Einstellung zur Eugenik diskreditiert, was auch der Fall ist überschattete seine Beiträge zur Wissenschaft.
Als Prozess funktioniert Peer-Review theoretisch. Die Frage ist, ob der Peer die nötige Unterstützung erhält, um die Überprüfung effektiv durchzuführen.
Dieser Artikel wurde erneut veröffentlicht von Die Unterhaltung unter einer Creative Commons-Lizenz. Lies das originaler Artikel.