L’évaluation par les pairs est un élément central du travail universitaire. C’est le processus par lequel une recherche finit par être publiée dans une revue universitaire : des experts indépendants examinent le travail d’un autre chercheur afin de recommander s’il doit être accepté par un éditeur et si et comment il doit être amélioré.
L’évaluation par les pairs est souvent considérée comme un gage de qualité, mais elle ne fonctionne pas toujours bien dans la pratique. Chaque universitaire a ses propres histoires d’horreur, évaluées par les pairs, allant de plusieurs années de retards à de multiples séries de révisions fastidieuses. Le cycle continue jusqu’à ce que l’article soit accepté quelque part ou jusqu’à ce que l’auteur abandonne.
D’un autre côté, le travail de révision est volontaire et également invisible. Les évaluateurs, qui restent souvent anonymes, ne sont ni récompensés ni reconnus, même si leur travail constitue un élément essentiel de la communication sur la recherche. Les rédacteurs de revues trouvent de plus en plus difficile de recruter des évaluateurs.
Et nous savons que l’évaluation par les pairs, même si elle est louée, ne fonctionne souvent pas. C’est parfois biaiséet aussi permet souvent des erreursou même fraude scientifiquepour se faufiler.
Il est clair que le système d’évaluation par les pairs est défaillant. Cette procédure est lente, inefficace et lourde, et les incitations à procéder à un examen sont faibles.
Publier d’abord
Ces dernières années, d’autres moyens d’examiner la recherche sont apparus, qui tentent de résoudre certains des problèmes du système d’évaluation par les pairs. L’un d’eux est le modèle « publier, réviser, organiser ».
Cela inverse le modèle traditionnel de révision puis de publication. Un article est d’abord publié en ligne, puis évalué par des pairs. Bien que cette approche soit trop nouveau pour comprendre comment cela se compare à l’édition traditionnelle, il y a de l’optimisme sur ses promesses, suggérant qu’une transparence accrue dans le processus d’examen accélérerait le progrès scientifique.
Nous avons mis en place une plateforme utilisant le modèle de publication, de révision et de conservation pour le domaine de la métarecherche, c’est-à-dire la recherche sur le système de recherche lui-même. Nos objectifs sont à la fois d’innover en matière d’évaluation par les pairs dans notre domaine et d’étudier cette innovation comme une sorte d’expérience de métarecherche. Cette initiative nous aidera à comprendre comment nous pouvons améliorer l’évaluation par les pairs d’une manière qui, nous l’espérons, aura des implications dans d’autres domaines de recherche.
La plateforme, appelée MétaROR (MetaResearch Open Review), vient d’être lancé. Il s’agit d’un partenariat entre une société universitaire, l’Association pour la méta-recherche interdisciplinaire et la science ouverte, et un accélérateur de métarecherche à but non lucratif, le Research on Research Institute.
Dans le cas de MetaROR, les auteurs publient d’abord leur travail sur un serveur de prépublication. Les prépublications sont des versions de documents de recherche mises à disposition par leurs auteurs avant examen par les pairs afin d’accélérer la diffusion de la recherche. La préimpression est courante dans quelques disciplines universitaires depuis des décennies, mais elle a augmenté dans d’autres. pendant la pandémie comme moyen de faire entrer plus rapidement la science dans le domaine public. MetaROR, en effet, crée un service d’évaluation par les pairs au-dessus des serveurs de préimpression.
Découvrez les dernières nouveautés en matière de science, de technologie et d’espace avec plus de 100 000 abonnés qui comptent sur Phys.org pour des informations quotidiennes. Inscrivez-vous à notre bulletin d’information gratuit et obtenez des mises à jour sur les percées, les innovations et les recherches qui comptent :quotidiennement ou hebdomadairement.
Les auteurs soumettent leur travail à MetaROR en fournissant à MetaROR un lien vers leur article pré-imprimé. Un rédacteur en chef recrute ensuite des pairs évaluateurs experts sur l’objet d’étude de l’article, ses méthodes de recherche, ou les deux. Les évaluateurs ayant des intérêts concurrents sont exclus dans la mesure du possible, et la divulgation des intérêts concurrents est obligatoire.
L’évaluation par les pairs est menée ouvertement et les évaluations sont disponibles en ligne. Cela rend le travail des évaluateurs visible, reflétant le fait que les rapports d’évaluation sont des contributions à part entière à la communication scientifique.
Nous espérons que les évaluateurs considéreront de plus en plus leur rôle comme celui de s’engager dans une conversation scientifique dans laquelle ils sont des participants reconnus, bien que MetaROR permette toujours aux évaluateurs de choisir d’être nommés ou non. Nous espérons que la plupart des évaluateurs trouveront utile de signer leurs avis et que cela réduira considérablement le problème des avis anonymes, dédaigneux ou de mauvaise foi.
Étant donné que les articles soumis à MetaROR sont déjà accessibles au public, l’examen par les pairs peut se concentrer sur l’engagement avec un article en vue de l’améliorer. L’examen par les pairs devient un processus constructif, plutôt qu’un processus valorisant le contrôle d’accès.
Preuve suggère que les prépublications et les articles finaux diffèrent étonnamment peu, mais que des améliorations peuvent souvent être apportées. Le modèle de publication, révision et conservation aide les auteurs à interagir avec les évaluateurs.
Après le processus de révision, les auteurs doivent décider s’ils souhaitent réviser leur article et comment. Dans le modèle MetaROR, les auteurs peuvent également choisir de soumettre leur article à une revue. Pour offrir aux auteurs une expérience simplifiée, MetaROR collabore avec plusieurs revues qui s’engagent à utiliser les revues MetaROR dans leur propre processus de révision.
Comme d’autres plateformes de publication, de révision et de conservation, MetaROR est une expérience. Nous devrons l’évaluer pour comprendre ses succès et ses échecs. Nous espérons que d’autres le feront également, afin que nous puissions apprendre comment organiser au mieux la diffusion et l’évaluation de la recherche scientifique – sans, nous l’espérons, trop d’histoires d’horreur évaluées par des pairs.
Cet article est republié à partir de La conversation sous licence Creative Commons. Lire le article original.