Während spritzige Clickbait-Schlagzeilen, die die Kraft von Schokolade anpreisen, um alles von Akne bis Krebs zu heilen, sicherlich Aufmerksamkeit erregen, sind diese Artikel in der Wissenschaftskommunikation möglicherweise nicht alltäglich.
Eine groß angelegte Studie der University of Michigan über Unsicherheit in der Wissenschaftskommunikation zeigt, dass Journalisten dazu neigen, wissenschaftliche Behauptungen zu mildern – nicht zu übertreiben.
Neue Forschungen der UM School of Information-Gelehrten Jiaxin Pei und David Jurgens untersuchten, wie wissenschaftliche Unsicherheit in Nachrichtenartikeln kommuniziert wird, und testeten, ob wissenschaftliche Behauptungen übertrieben sind. Sie wollten auch sehen, wie sich wissenschaftliche Behauptungen in den Nachrichten zwischen angesehenen, von Experten begutachteten Zeitschriften und weniger strengen Veröffentlichungen unterscheiden könnten.
„Ich habe das Gefühl, dass es immer diese Extremfälle sind, wenn wir über das Potenzial von Journalisten sprechen, Behauptungen zu übertreiben“, sagte Jürgens, Assistenzprofessor für Information. „Wir wollten sehen, ob es einen Unterschied gibt, wenn wir das, was der Wissenschaftler sagt, und das, was der Journalist für dieselbe Zeitung sagt, in eine Reihe bringen.“
Insgesamt deckten Pei und Jürgens positive Nachrichten zur Wissenschaftskommunikation auf.
„Unsere Ergebnisse deuten darauf hin, dass Journalisten tatsächlich ziemlich vorsichtig sind, wenn sie über Wissenschaft berichten“, sagte Pei und fügte hinzu, dass einige Kommunikatoren – nicht Journalisten – die Gewissheit wissenschaftlicher Behauptungen mindern.
„Journalisten haben einen harten Job“, sagte Jürgens, der die Fähigkeiten anerkennt, die es braucht, um wissenschaftliche Ergebnisse einem breiten Publikum zu übersetzen. „Es ist schön zu sehen, dass Journalisten wirklich versuchen, wissenschaftliche Schlussfolgerungen im weiteren Sinne zu kontextualisieren und abzumildern.“
Für ihre Studie betrachteten die Forscher die Gewissheit, die sich auf subtile Weise ausdrücken lässt.
„Es gibt viele Worte, die signalisieren, wie zuversichtlich Sie sind“, sagte Jürgens. „Es ist ein Spektrum.“
Beispielsweise erhöht das Hinzufügen von Wörtern wie „vorschlagen“, „ungefähr“ oder „könnte“ tendenziell die Unsicherheit, während die Verwendung einer genauen Zahl bei Messungen auf größere Sicherheit hinweist.
Pei und Jürgens zogen Nachrichtendaten von Altmetrics, einem Unternehmen, das Erwähnungen wissenschaftlicher Arbeiten in Nachrichtenartikeln verfolgt. Sie sammelten fast 129.000 Nachrichtenartikel, in denen bestimmte wissenschaftliche Artikel für ihre Analyse erwähnt wurden.
In jedem der Nachrichtenartikel und wissenschaftlichen Artikel analysierten sie alle Sätze, die Entdeckungswörter wie „finden“ oder „schließen“ enthielten, um zu sehen, wie Journalisten und Wissenschaftler Behauptungen des Papiers aufstellten. Eine Gruppe menschlicher Kommentatoren ging die wissenschaftlichen Abhandlungen und Nachrichtenartikel durch und notierte Gewissheitsgrade in mehr als 1.500 wissenschaftlichen Entdeckungen.
„Wir haben Behauptungen abstrakt genommen und versucht, sie mit Behauptungen in den Nachrichten abzugleichen“, sagte Jürgens. „Also sagten wir: „OK, hier sind zwei verschiedene Leute – Wissenschaftler und Journalisten – die versuchen, dasselbe zu beschreiben, aber für zwei verschiedene Zielgruppen. Was sehen wir an Gewissheit?'“
Die Forscher bauten dann ein Computermodell, um zu sehen, ob sie die Sicherheitsniveaus replizieren konnten, auf die menschliche Leser hinwiesen. Ihr Modell korrelierte stark mit menschlichen Einschätzungen darüber, wie sicher eine Behauptung war.
„Die Leistung des Modells ist gut genug für groß angelegte Analysen, aber nicht perfekt“, sagte Pei, ein UMSI-Doktorand und Erstautor der Arbeit, der erklärte, dass es eine Lücke zwischen menschlichem Urteilsvermögen und maschinellen Vorhersagen gibt, hauptsächlich aufgrund der Subjektivität .
„Bei der Identifizierung von Unsicherheiten in Texten können die Wahrnehmungen der Menschen unterschiedlich sein, was es sehr schwierig macht, Modellvorhersagen und menschliche Urteile zu vergleichen. Menschen können manchmal sehr unterschiedlich sein.“
Pei sagt, dass die Forschungsübersetzung düsterer werden kann, wenn es um die Qualität der Zeitschrift geht oder um das, was Forscher Journal Impact Factors nennen. Einige Autoren von Wissenschaftsnachrichten berichten von ähnlichen Gewissheitsniveaus in den Nachrichten, unabhängig davon, wo die ursprüngliche Studie veröffentlicht wurde.
„Dies kann problematisch sein, da der Journal Impact Factor ein wichtiger Indikator für die Forschungsqualität ist“, sagte er. „Wenn Journalisten über Recherchen berichten, die in erschienen sind Natur oder Wissenschaft und einige unbekannte Zeitschriften mit demselben Grad an Sicherheit, ist es dem Publikum möglicherweise nicht klar, welcher Befund vertrauenswürdiger ist.
Insgesamt betrachten die Forscher diese Arbeit als einen wichtigen Schritt, um die Unsicherheit in wissenschaftlichen Nachrichten besser zu verstehen. Sie erstellten ein Softwarepaket für Wissenschaftler und Journalisten, um die Unsicherheit in Forschung und Berichterstattung zu berechnen.
Während Journalisten von einer Gewissheitsprüfung ihrer Arbeit profitieren können, könnte das Tool laut Jürgens auch für Leser hilfreich sein.
„Es ist leicht, von Unsicherheit frustriert zu werden“, sagte er. „Ich denke, die Bereitstellung eines solchen Tools könnte bis zu einem gewissen Grad beruhigend wirken. Diese Arbeit ist kein Wundermittel, aber ich denke, dieses Tool könnte zu einem ganzheitlichen Verständnis für die Leser beitragen.“
Die Arbeit wurde in den Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing veröffentlicht.
Diese Studie ist als PDF unter abrufbar aclanthology.org/2021.emnlp-main.784.pdf