Offizielle Messungen der Forschungswirkung halten mit den sozial vernetzten Akademikern nicht Schritt

Eine Umfrage darüber, wie Akademiker soziale Medien nutzen, um Menschen zur Interaktion mit ihrer Forschung zu ermutigen, zeigt, dass ein Großteil des öffentlichen Werts ihrer Arbeit in offiziellen „Impact“-Bewertungen wahrscheinlich übersehen wird.

Die Studie, erschienen in Medien und Technik lernen, analysierte mehr als 200 Beispiele dafür, wie Akademiker die Aufnahme ihrer Wissenschaft in sozialen Medien diskutieren und fördern. Basierend auf den aufgedeckten Nutzungsmustern legt es nahe, dass der derzeitige Ansatz zur Bewertung der öffentlichen „Wirkung“ von Universitäten, der im Research Excellence Framework (REF) verankert ist, aktualisiert werden sollte, da Akademiker jetzt sozial vernetzter sind als zu der Zeit, als das Modell entwickelt wurde .

Der REF ist das offizielle System zur Messung der Qualität der Universitätsforschung im Vereinigten Königreich und informiert über die Verteilung der Forschungsförderung. Die Ergebnisse der letzten Bewertungsrunde wurden letzte Woche (12. Mai) veröffentlicht.

Als Teil der Übung werden Universitätsabteilungen aufgefordert, die Wirkung ihrer Arbeit zu demonstrieren: effektiv zu zeigen, wie sie die Gesellschaft bereichert hat. Die neue Studie befürwortet zwar die Forderung nach Impact-Fallstudien, stellt jedoch in Frage, wie diese bewertet werden. Es wird argumentiert, dass sich eine Kluft zwischen der Messung der Wirkung im REF und dem wahren Umfang und der Bandbreite des wissenschaftlichen Engagements auf Social-Media-Plattformen auftut, von denen einige bei seiner ersten Entwicklung noch nicht einmal existierten.

Der REF konzentriert sich insbesondere darauf, inwieweit die endgültigen Ergebnisse abgeschlossener Forschungsprojekte von der Öffentlichkeit wahrgenommen werden. Im Gegensatz dazu stellte die Studie fest, dass die heutigen Akademiker während der Laufzeit eines Projekts häufig in kontinuierliche Feedback-Schleifen mit Organisationen, Gemeindegruppen, politischen Akteuren und anderen Öffentlichkeiten eingebunden sind. Diese führen zu Möglichkeiten zur Zusammenarbeit und zum Austausch von Fachwissen, während die Forschung noch läuft, oft auf eine Weise, die der REF wahrscheinlich nicht abdeckt.

Die Autorin der Studie, Dr. Katy Jordan von der Fakultät für Erziehungswissenschaft der Universität Cambridge, sagte: „Die Amtssprache stellt Wirkung als einen von oben nach unten gerichteten, nach außen gerichteten Fluss von den Universitäten zu einer wartenden Öffentlichkeit dar, aber das ist eine veraltete Charakterisierung— wenn es überhaupt jemals gültig war. Fragen Sie Forscher nach ihren wirkungsvollsten Interaktionen in sozialen Medien, und Sie erhalten eine viel breitere Palette von Beispielen als die REF-Abdeckungen.

„Man könnte argumentieren, dass dies bedeutet, dass zu viele Forscher die Auswirkungen missverstehen; aber es ist möglicherweise auch ein Beweis dafür, dass sich die Zeiten geändert haben Überdenken Sie, wie wir dies messen.“

Der REF misst die Wirkung durch zwei Hauptdimensionen: Signifikanz (der bedeutende Unterschied, den ein Projekt macht) und Reichweite (das quantifizierbare Ausmaß, in dem es dies tut). Die Definition von Wirkung darüber hinaus ist sehr offen, variiert zwischen den Disziplinen und wird oft als mehrdeutig angesehen.

Die Studie weist darauf hin, dass der REF auch etwas verwirrende Ratschläge zum öffentlichen Engagement bietet, was dies im Allgemeinen fördert, aber in den Bewertungsmetriken davon abhält. Offizielle Leitlinien besagen: „Die Einbindung der Öffentlichkeit in die Forschung zählt nicht als Auswirkung. Auswirkung ist das, was passiert, wenn Menschen mit der Forschung interagieren, sie aufnehmen, reagieren oder darauf reagieren. Die öffentliche Einbindung erfolgt nicht erst, wenn die Forschung abgeschlossen ist .“

Jordans Umfrage lud Akademiker ein, Beispiele für starke Wirkungen zu nennen, die sie durch soziale Medien erzielt hatten. Sie erhielt Antworten von 107 Wissenschaftlern aus 15 verschiedenen Ländern, aber die meisten Teilnehmer, die von postgradualen Forschern bis hin zu etablierten Professoren reichten, stammten aus Großbritannien. Ihre Forschung analysierte 209 der eingereichten Beispiele.

Bedeutsamerweise betrafen weniger als die Hälfte Fälle, in denen Forschungsergebnisse in Form von Produkten an die Öffentlichkeit verbreitet wurden, wie es der REF annimmt. In solchen Fällen hatten die Wissenschaftler in der Regel soziale Plattformen genutzt, um ihre Ergebnisse mit einem größeren Publikum zu teilen, Diskussionen mit Kollegen anzuregen oder Beweise für eine positive Beteiligung an der Forschung zu generieren.

Etwa 56 % der Antworten sprachen jedoch von Auswirkungen, die sich aus einem nicht nur einseitigen Austausch ergeben. Insbesondere nutzten die Teilnehmer soziale Medien, um Forschungsideen zu testen, Zwischenergebnisse zu melden, Informationen und Daten zu sammeln oder für Forschungsteilnehmer zu werben.

Diese Diskussionen scheinen mehr als nur Wirkung im offiziellen Sinne erzeugt zu haben. Als Ergebnis des Austauschs wurden Forscher eingeladen, öffentliche Vorträge zu halten, an Podiumsdiskussionen teilzunehmen, Organisationen Informationen und Ratschläge zu erteilen oder Schulungen durchzuführen.

Entscheidend war, dass sich diese Gelegenheiten nicht immer auf die Forschung konzentrierten, die die anfängliche Interaktion stimuliert hatte. In vielen Fällen wurden Forscher, die über ihr Projekt gepostet hatten, gebeten, ihr breiteres Fachwissen zu teilen – oft mit Interessenvertretungen oder politischen Akteuren, die daran interessiert waren, mehr über ihre Forschung im Allgemeinen zu erfahren. In einem Fall führte beispielsweise ein Beitrag in den sozialen Medien dazu, dass ein hochrangiger Beamter des Cabinet Office eine ganze Gruppe akademischer Kollegen besuchte, um zu erkunden, wie ihre Arbeit als Ganzes die Politik beeinflussen und gestalten könnte.

Jordan argumentiert, dass soziale Medien die Unterscheidung zwischen Wirkung und öffentlichem Engagement verwischen. Wenn Informationen in akademische Projekte einfließen – von Menschen, Unternehmen und Organisationen, die Ideen, Fragen und Feedback über soziale Plattformen einbringen –, schaffen diese sowohl formelle als auch informelle Möglichkeiten für den Austausch nach außen. Dieser Interaktionskreislauf scheint die Gesellschaft auf vielfältige Weise zu beeinflussen und zu nutzen, die von der REF nicht verfolgt wird.

Diese nuancierteren Auswirkungen sind jedoch für Gutachter schwer zu überwachen oder zu messen. „Eine Lösung könnte darin bestehen, die Bewertung so zu ändern, dass die Universitäten nicht nur aufgefordert werden, Nachweise für Forschungsergebnisse zu erbringen, sondern den Forschungsprozess über die gesamte Lebensdauer eines Projekts zu erläutern“, sagte Jordan. „Dies ist kein Aufruf zu noch mehr Unklarheit darüber, was Wirkung ist, sondern zu mehr Offenheit gegenüber dem, was Forschende leisten. Das würde in einer immer komplexeren, sozial vernetzten Kultur dazu beitragen, dass die Breitenwirkung ihrer Arbeit gewährleistet ist.“ nicht vergessen.“