Forscher der Adam Smith Business School der Universität Glasgow haben Ergebnisse einer bahnbrechenden Studie veröffentlicht, die erhebliche Auswirkungen auf die Zukunft der akademischen Forschungsbewertung haben könnte.
Die Studie stellt die gängige Meinung in Frage, dass akademische Richter am besten für die Bewertung von Forschungsergebnissen geeignet seien. Ziel ist es, Methoden zur effektiven Nutzung von Metriken anzuregen und dabei die unterschiedlichen Gemeinschaften zu berücksichtigen, die klare Bewertungskriterien erfordern.
In einem Artikel veröffentlicht im Forschungspolitik In der Zeitschrift Research Excellence Framework (REF) des Vereinigten Königreichs 2021 verwendete das Forschungsteam Daten, um das Zusammenspiel zwischen Kennzahlen und Expertenmeinungen bei der Bewertung von Forschungsergebnissen von 108 Institutionen zu untersuchen. Dabei wurden 13.973 Veröffentlichungen in den Bereichen Wirtschaft und Management abgedeckt – eine der umfangreichsten und heterogensten der Bewertung Felder.
Dies ist der erste schlüssige Beweis zur Forschungsbewertung nach DORA und bietet wertvolle Erkenntnisse für Forschungsbewertungen weltweit.
Die Studie stellt einen starken Zusammenhang zwischen Zeitschriftenrankings und Expertenbewertungen fest, insbesondere bei Zeitschriften der Spitzenklasse, was darauf hindeutet, dass das wahrgenommene Prestige einer Zeitschrift trotz Behauptungen über Blindheit bei Zeitschriftenrankings den Expertenbewertungsprozess beeinflussen kann. Trotz der breiten Zustimmung zur Declaration on Research Assessment (DORA), die sich für verantwortungsvolle Bewertungspraktiken einsetzt, scheint die DORA-Zugehörigkeit in diesem Zusammenhang keinen Unterschied zu machen.
Viele Institutionen befürworten öffentlich DORA und umfassendere Grundsätze der verantwortungsvollen Bewertung, ihre REF-Einreichungen zeigen jedoch eine implizite Abhängigkeit von traditionellen Messgrößen wie Zeitschriftenrankings. Dieses „institutionelle Pfauenspiel“ deutet auf ein oberflächliches Festhalten an Prinzipien hin, die den Status quo nicht unbedingt ändern.
Anna Morgan Thomas ist Professorin für digitales Management und Innovation an der Adam Smith Business School und Hauptautorin der Studie. Sie sagte: „Diese Forschung findet zu einer äußerst herausfordernden Zeit für den Hochschulsektor statt, da die Finanzierung unsicher ist und immer mehr Akademiker einer untragbaren Arbeitsbelastung und hohem Stress ausgesetzt sind. Nachwuchsforscher sind bei der aktuellen akademischen Methode besonders gefährdet.“ Die Bewertung stützt sich auf Kenntnisse des Systems und es dominieren erfahrenere Stimmen.
„Besorgnis über eine Wissenslücke bei der Bewertung verantwortungsvoller Forschung wird schon seit einiger Zeit geäußert, und wir wollten unbedingt zur laufenden Debatte beitragen, indem wir empirische Belege liefern, die die Anwendung dieser Prinzipien in der Praxis in Frage stellen und die Notwendigkeit eines echten Engagements für Veränderungen hervorheben.“ .
„Wir hoffen, dass unsere Ergebnisse weitere Diskussionen anregen und zu transparenteren und effektiveren Forschungsbewertungspraktiken weltweit führen werden.“
Adina Dudau, Professorin für öffentliches Management und Mitautorin des Papiers, sagte: „Letztendlich haben wir alle als Akademiker die Verantwortung, ein Forschungsumfeld zu schaffen, in dem sich jeder entfalten und wirkungsvolle Forschung betreiben kann, die die Gesellschaft und die Menschheit verbessern könnte.“
Dr. Beth Cloughton ist Nachwuchsforscherin an der Adam Smith Business School. Im Rückblick auf die Ergebnisse dieser Studie und auf bestehende Bewertungsstrukturen beschreibt sie die aktuelle Situation als „betroffen sind unterdrückte Akademiker und Akademiker am Anfang ihrer Karriere, die vielleicht bescheidener in ihrer Selbsteinschätzung von Neuheiten und Beiträgen zu einem Körper und einer Arbeitspraxis sind, die …“ weder einen vielversprechenden Karrierehorizont widerspiegelt noch bietet.
Zu den Empfehlungen, die politische Entscheidungsträger und akademische Institutionen berücksichtigen sollten, gehört eine Neubewertung der Bewertungspraktiken. Institutionen müssen ihre Bewertungspraktiken kritisch prüfen, um sicherzustellen, dass sie mit den Grundsätzen übereinstimmen, die sie öffentlich befürworten. Es besteht die Notwendigkeit, sich wirklich an die verantwortungsvolle Bewertung zu halten, die über bloße Erklärungen hinausgeht, und gegebenenfalls qualitative und quantitative Bewertungsmethoden zu kombinieren.
Größere Transparenz und Rechenschaftspflicht im Bewertungsprozess sind wichtig. Sowohl REF-Gremien als auch Hochschuleinrichtungen sollten klare Nachweise darüber erbringen, wie sie verantwortungsvolle Bewertungsprinzipien in der Praxis umsetzen. Darüber hinaus werden REF-Gremien dazu ermutigt, ihre Bewertungsergebnisse den Forschern zur Verfügung zu stellen, um Serviceverbesserungen und offene Forschung zu Bewertungspraktiken zu ermöglichen.
Weitere Informationen:
Anna Morgan-Thomas et al., Jenseits von Deklarationen: Metriken, Rankings und verantwortungsvolle Bewertung, Forschungspolitik (2024). DOI: 10.1016/j.respol.2024.105093