Forscher schlagen einen integrierten Ansatz zur Gewährung von Gutachtenbewertungen vor

Die öffentliche Finanzierung der Wissenschaft ist für viele biomedizinische und andere wissenschaftliche Durchbrüche verantwortlich, von denen unser Leben abhängt. Allerdings wurde der Prozess, durch den Finanzierungsentscheidungen getroffen werden, die Begutachtung von Zuschussvorschlägen durch Fachkollegen, in der Vergangenheit kaum erforscht, und aktuelle Ansätze können zu unerwünschten Ergebnissen führen.

Einschreiben Forschungsintegrität und Peer ReviewStephen A. Gallo, damals Mitglied des American Institute of Biological Sciences, und Michael Pearce, Carole J. Lee und Elena A. Erosheva von der University of Washington beleuchten Probleme im Zusammenhang mit der Bewertung von Vorschlägen bei der Fördermittelprüfung und schlagen ein Protokoll dazu vor sie verbessern.

In vielen Begutachtungsprogrammen, sagen die Autoren, werden Vorschläge hauptsächlich auf der Grundlage von Gutachterbewertungen und daraus abgeleiteten zusammenfassenden Statistiken finanziert, die die Beurteilung der Vorschlagsqualität durch Gutachter widerspiegeln. Sich allein auf Ratings zu verlassen, kann jedoch Probleme bei der Festlegung von Förderprioritäten bereiten, „insbesondere bei der Unterscheidung zwischen ähnlich bewerteten Vorschlägen, insbesondere bei Projekten von hoher Qualität, bei denen nur wenige kleinere Schwächen den Unterschied zwischen einem geförderten Projekt und einer Ablehnung ausmachen können.“

Darüber hinaus, sagen Gallo und Kollegen, zwingt die Verwendung von Bewertungsrubriken „Gutachter oft dazu, ein Projekt auf der Grundlage einer Reihe identifizierter, aber geringfügiger Schwächen zu bestrafen, obwohl sie den Antrag insgesamt möglicherweise für potenziell bedeutsam halten.“

Um diese Bedenken auszuräumen, schlagen die Autoren vor, Rankings zum traditionellen Bewertungsansatz hinzuzufügen und beschreiben eine innovative Methodik namens Mallows-Binomial, die dann integrierte Vorschlagsbewertungen sowie eine induzierte Präferenzreihenfolge erzeugen kann. Auf diese Weise ermöglicht der Ansatz den Geldgebern, die Bewertungen der Gutachter neben deren Meinung darüber zu berücksichtigen, wie gut die Vorschläge im Vergleich zueinander abschneiden. Pearce erklärt, dass die Einbeziehung des Rankings „die Meinung der Gutachter genauer in ein nützliches Ergebnis umwandeln wird, um eine fundierte Finanzierungsentscheidung zu treffen.“

Für Forschungsförderer schlagen die Autoren klare Vorteile des Mallows-Binomial-Protokolls im Vergleich zu reinen Rating-Ansätzen vor. Dazu gehören „die Bereitstellung einer Prioritätenliste mit Konfidenzmetriken, ein höheres Maß an Unterscheidung zwischen ähnlich bewerteten Vorschlägen und eine Robustheit gegenüber Ausreißern und Inkonsistenzen von Gutachtern“, Funktionen, die wichtig sein werden, um die Meinung der Gutachter „in ein nützliches Ergebnis umzuwandeln, um das Beste zu erreichen“. , am besten informierte Entscheidung“ für die Finanzierung wichtiger Forschung.