Peer-Review ist ein zentrales Merkmal wissenschaftlicher Arbeit. Dabei handelt es sich um den Prozess, durch den Forschungsergebnisse schließlich in einer Fachzeitschrift veröffentlicht werden: Unabhängige Experten prüfen die Arbeit eines anderen Forschers, um zu empfehlen, ob sie von einem Verlag akzeptiert werden sollte und ob und wie sie verbessert werden sollte.
Oft wird davon ausgegangen, dass Peer-Reviews die Qualität garantieren, doch in der Praxis funktioniert es nicht immer gut. Jeder Akademiker hat seine eigenen Peer-Review-Horrorgeschichten, die von jahrelangen Verzögerungen bis hin zu mehreren langwierigen Überarbeitungsrunden reichen. Der Zyklus geht weiter, bis der Artikel irgendwo akzeptiert wird oder der Autor aufgibt.
Andererseits ist die Arbeit der Begutachtung freiwillig und auch unsichtbar. Gutachter, die oft anonym bleiben, bleiben unbelohnt und werden nicht anerkannt, obwohl ihre Arbeit ein wesentlicher Bestandteil der Forschungskommunikation ist. Für Zeitschriftenredakteure wird die Rekrutierung von Peer-Reviewern immer schwieriger.
Und wir wissen, dass Peer-Review, so sehr es auch gelobt wird, oft nicht funktioniert. Es ist manchmal voreingenommenund auch lässt oft Fehler zuoder sogar wissenschaftlicher Betrugdurchschleichen.
Offensichtlich ist das Peer-Review-System kaputt. Es ist langsam, ineffizient und aufwändig, und die Anreize, eine Überprüfung durchzuführen, sind gering.
Zuerst veröffentlichen
In den letzten Jahren sind alternative Methoden zur Untersuchung der Forschung entstanden, die versuchen, einige der Probleme des Peer-Review-Systems zu beheben. Eines davon ist das Modell „Veröffentlichen, Überprüfen, Kuratieren“.
Dies kehrt das traditionelle Modell „Überprüfen und dann veröffentlichen“ um. Ein Artikel wird zunächst online veröffentlicht und anschließend einem Peer-Review unterzogen. Während dieser Ansatz ist zu neu um zu verstehen, wie es im Vergleich zum traditionellen Verlagswesen abschneidet, Es gibt Optimismus über sein Versprechen und deutete an, dass eine erhöhte Transparenz im Überprüfungsprozess den wissenschaftlichen Fortschritt beschleunigen würde.
Wir haben eine Plattform eingerichtet, die das Modell „Publish, Review, Curate“ für den Bereich der Metaforschung nutzt – Forschung über das Forschungssystem selbst. Unser Ziel besteht sowohl darin, das Peer-Review in unserem Bereich zu erneuern, als auch diese Innovation als eine Art Metaforschungsexperiment zu untersuchen. Diese Initiative wird uns helfen zu verstehen, wie wir das Peer-Review auf eine Weise verbessern können, von der wir hoffen, dass sie Auswirkungen auf andere Forschungsbereiche hat.
Die Plattform, genannt MetaROR (MetaResearch Open Review) wurde gerade gestartet. Es handelt sich um eine Partnerschaft zwischen einer akademischen Gesellschaft, der Association for Interdisciplinary Meta-Research and Open Science, und einem gemeinnützigen Metaforschungsbeschleuniger, dem Research on Research Institute.
Bei MetaROR veröffentlichen Autoren ihre Arbeiten zunächst auf einem Preprint-Server. Preprints sind Versionen von Forschungsarbeiten, die von ihren Autoren vor der Begutachtung durch Fachkollegen zur Verfügung gestellt werden, um die Verbreitung von Forschungsergebnissen zu beschleunigen. Vordrucken ist in einigen akademischen Disziplinen seit Jahrzehnten üblich, hat in anderen jedoch zugenommen während der Pandemie als eine Möglichkeit, die Wissenschaft schneller öffentlich zugänglich zu machen. MetaROR baut praktisch einen Peer-Review-Dienst auf Preprint-Servern auf.
Entdecken Sie mit over das Neueste aus Wissenschaft, Technik und Raumfahrt 100.000 Abonnenten die sich für tägliche Einblicke auf Phys.org verlassen. Melden Sie sich für unsere an kostenloser Newsletter und erhalten Sie Updates zu Durchbrüchen, Innovationen und wichtigen Forschungsergebnissen –täglich oder wöchentlich.
Autoren reichen ihre Arbeit bei MetaROR ein, indem sie MetaROR einen Link zu ihrem vorgedruckten Artikel zur Verfügung stellen. Ein leitender Redakteur rekrutiert dann Peer-Reviewer, die Experten für den Untersuchungsgegenstand des Artikels, seine Forschungsmethoden oder beides sind. Gutachter mit konkurrierenden Interessen werden nach Möglichkeit ausgeschlossen und die Offenlegung konkurrierender Interessen ist obligatorisch.
Das Peer-Review wird offen durchgeführt und die Bewertungen online zur Verfügung gestellt. Dies macht die Arbeit der Gutachter sichtbar und spiegelt die Tatsache wider, dass Gutachterberichte eigenständige Beiträge zur wissenschaftlichen Kommunikation sind.
Wir hoffen, dass Gutachter ihre Rolle zunehmend darin sehen, sich an einem wissenschaftlichen Gespräch zu beteiligen, in dem sie ein anerkannter Teilnehmer sind, obwohl MetaROR den Gutachtern immer noch die Wahl lässt, ob sie namentlich genannt werden möchten oder nicht. Wir hoffen, dass es für die meisten Rezensenten von Vorteil sein wird, ihre Bewertungen zu unterzeichnen, und dass dadurch das Problem anonymer, abweisender oder anderweitig bösgläubiger Bewertungen deutlich verringert wird.
Da bei MetaROR eingereichte Artikel bereits öffentlich verfügbar sind, kann sich das Peer-Review auf die Auseinandersetzung mit einem Artikel konzentrieren, um ihn zu verbessern. Peer-Review wird zu einem konstruktiven Prozess und nicht zu einem Prozess, bei dem Gatekeeping aufgewertet wird.
Beweis legt nahe, dass sich Vorabdrucke und endgültige Artikel tatsächlich überraschend wenig unterscheiden, aber oft können Verbesserungen vorgenommen werden. Das Modell „Veröffentlichen, Überprüfen, Kuratieren“ hilft Autoren, mit Rezensenten in Kontakt zu treten.
Nach dem Begutachtungsprozess bleibt es den Autoren überlassen, zu entscheiden, ob und wie sie ihren Artikel überarbeiten. Im MetaROR-Modell können Autoren ihren Artikel auch bei einer Zeitschrift einreichen. Um Autoren ein optimiertes Erlebnis zu bieten, arbeitet MetaROR mit mehreren Zeitschriften zusammen, die sich dazu verpflichten, MetaROR-Rezensionen in ihrem eigenen Review-Prozess zu verwenden.
Wie andere Veröffentlichungs-, Rezensions- und Kuratierungsplattformen ist MetaROR ein Experiment. Wir müssen es bewerten, um seine Erfolge und Misserfolge zu verstehen. Wir hoffen, dass andere das auch tun, damit wir lernen können, wie wir die Verbreitung und Bewertung wissenschaftlicher Forschung am besten organisieren können – ohne, wie wir hoffen, zu viele Peer-Review-Horrorgeschichten.
Dieser Artikel wurde erneut veröffentlicht von Das Gespräch unter einer Creative Commons-Lizenz. Lesen Sie die Originalartikel.