Des chercheurs proposent une approche intégrée pour les évaluations d’examen des subventions

Le financement public de la science est à l’origine de bon nombre des percées biomédicales et scientifiques dont dépendent nos vies. Cependant, le processus par lequel les décisions de financement sont prises, l’examen par les pairs des propositions de subventions, a été historiquement sous-étudié, et les approches actuelles peuvent conduire à des résultats indésirables.

Écrire dans Intégrité de la recherche et examen par les pairsStephen A. Gallo, alors affilié à l’Institut américain des sciences biologiques, et Michael Pearce, Carole J. Lee et Elena A. Erosheva de l’Université de Washington mettent en évidence les problèmes liés à l’évaluation des propositions lors de l’examen des subventions et proposent un protocole pour les améliorer.

Dans de nombreux programmes d’examen, disent les auteurs, les propositions sont financées principalement sur la base des notes des examinateurs et des statistiques sommaires qui en découlent et qui représentent l’évaluation par les examinateurs de la qualité des propositions. Cependant, se fier uniquement aux notations peut poser des problèmes pour établir les priorités de financement, « en particulier lorsqu’il s’agit de faire la distinction entre des propositions notées de manière similaire, en particulier pour des projets de haute qualité, où seules quelques faiblesses mineures peuvent faire la différence entre un projet financé et un rejet ».

De plus, selon Gallo et ses collègues, l’utilisation de rubriques d’évaluation « oblige souvent les examinateurs à pénaliser un projet sur la base d’une série de faiblesses identifiées mais mineures, malgré le fait qu’ils peuvent trouver l’application globalement potentiellement importante ».

Pour répondre à ces préoccupations, les auteurs suggèrent d’ajouter des classements à l’approche de notation traditionnelle et décrivent une méthodologie innovante appelée Mallows-Binomial, qui peut ensuite produire des scores de proposition intégrés, ainsi qu’un ordre de préférence induit. Ce faisant, l’approche permet aux bailleurs de fonds de tenir compte des notes des examinateurs parallèlement à leurs opinions sur la façon dont les propositions se comparent les unes aux autres. Pearce déclare que l’inclusion du classement « distillera plus précisément l’opinion des examinateurs en un résultat utile pour prendre une décision de financement éclairée ».

Pour les bailleurs de fonds de la recherche, les auteurs suggèrent des avantages évidents du protocole Mallows-Binomial par rapport aux approches de notation uniquement. Il s’agit notamment de « fournir une liste de priorités classées avec des mesures de confiance, un degré plus élevé de discrimination entre les propositions notées de manière similaire et une robustesse aux valeurs aberrantes et aux incohérences des examinateurs », des caractéristiques qui seront importantes pour distiller l’opinion des examinateurs « en un résultat utile pour faire le meilleur , la décision la plus éclairée » pour financer des recherches cruciales.