Die Nutzung von Diensten zur Faktenprüfung nimmt bei großen Nachrichtenereignissen zu. Laut Forschern des Penn State College of Information Sciences and Technology (IST) sind sich die Faktenprüfer glücklicherweise im Großen und Ganzen in ihrer Einschätzung darüber einig, ob Nachrichtenbehauptungen wahr oder falsch sind.
In ihrer Arbeit, die im veröffentlicht wird Überprüfung der Fehlinformationen der Harvard Kennedy School Im Oktober untersuchten die Forscher die Praktiken von Faktenprüforganisationen, um die Gültigkeit von Nachrichtenbehauptungen zu beurteilen. Sie haben die Konsistenz der Legitimitätsbewertungen auf vier beliebten Plattformen zur Faktenprüfung gemessen: Snopes, PolitiFact, Logically und Australian Associated Press FactCheck.
„Die Hälfte der Erwachsenen in den USA erhält ihre Nachrichten regelmäßig über soziale Medien wie X, Facebook, Instagram und TikTok“, sagte Sian Lee, Doktorandin am College of IST und Erstautorin des Forschungsartikels. „Aber Social-Media-Plattformen überprüfen die Legitimität von Schlagzeilen und Inhalten im Allgemeinen nicht wie traditionelle Nachrichtenagenturen, und dies kann zur Verbreitung von Fehlinformationen – Fake News – führen, die Menschen und die Gesellschaft in die Irre führen und schädigen.“
Den Forschern zufolge scheinen Social-Media-Sites diesen Mangel an Überprüfung jedoch zu beheben. Bei berichtenswerten Ereignissen wie der COVID-19-Pandemie und den US-Präsidentschaftswahlen 2020 wenden sie sich zunehmend an Faktenprüfer, um die Gültigkeit der Nachrichten in ihren Feeds zu bewerten und die Verbreitung gefälschter Nachrichten im Internet einzudämmen.
„Die Überprüfung von Fakten ist komplex und vielschichtig und umfasst zahlreiche Variablen“, sagte Aiping Xiong, Assistenzprofessor am College of IST und Co-Hauptforscher des Projekts. „Derzeit wird die Überprüfung von Fakten häufig von Menschen durchgeführt. Da Faktenprüfer darauf abzielen, der Wahrheit näher zu kommen, können sie verschiedene Ereignisse auswählen und überprüfen oder beim Betrachten desselben Ereignisses unterschiedliche Dinge sehen.“
Wenn sich mehrere Organisationen, die Fakten prüfen, stets über die Richtigkeit einer Aussage einig sind, ist es wahrscheinlicher, dass die Öffentlichkeit ihren Einschätzungen vertraut, sagte Dongwon Lee, Professor am College of IST und Hauptforscher des Forschungsprojekts.
„Während die nächsten US-Präsidentschaftswahlen näher rückten, wollten wir verstehen, wie Faktenprüfer funktionieren und ob, wann und warum sie sich unterscheiden“, sagte er. „Allerdings gab es bisher keine groß angelegte datengestützte Studie zur Beantwortung einer solchen Frage.“
Die Forscher untersuchten vom 1. Januar 2016 bis zum 31. August 2022 mehr als 24.000 Faktencheck-Artikel. Sie entwickelten automatische Methoden, um Artikel von den Faktencheck-Plattformen zu sammeln und die Ähnlichkeit zwischen den Behauptungen in diesen Artikeln zu vergleichen. Mit diesem Ansatz identifizierten sie 749 potenziell übereinstimmende Behauptungen zwischen Snopes und PolitiFact – was bedeutet, dass dieselben Informationen untersucht wurden. Für diese übereinstimmenden Behauptungen erhielten 228 von Snopes und PolitiFact unterschiedliche Bewertungen hinsichtlich der Richtigkeit der Informationen.
Um die Gründe für diese Diskrepanzen zu untersuchen, untersuchten sie die 228 Fälle manuell und stellten fest, dass einige der unterschiedlichen Bewertungen auf geringfügige Unterschiede in der Granularität der Bewertungssysteme zurückzuführen waren. Snopes verwendet eine Fünf-Punkte-Skala – „Wahr“, „Überwiegend wahr“, „Mischung“, „Überwiegend falsch“ und „Falsch“ – zusammen mit zusätzlichen Bewertungskategorien wie unter anderem „Veraltet“, „Misscaptioned“ und „Satire“. PolitiFact verwendet sein sechsstufiges „Truth-O-Meter“, das „True“, „Meist wahr“, „Halb wahr“, „Meist falsch“, „Falsch“ und „Pants On Fire“ umfasst.
Andere abweichende Bewertungen ergaben sich aus dem Zeitpunkt der Faktenprüfung oder den Besonderheiten des zu beurteilenden Anspruchs. Beispielsweise bewertete Snopes die Behauptung „Fünf Menschen starben während der Unruhen im US-Kapitol am 6. Januar 2021“ als wahr, während PolitiFact die Behauptung „Nur eine Person starb an diesem Tag während der Unruhen im US-Kapitol am 6. Januar“ als falsch bewertete . Der von den Forschern verwendete Algorithmus identifizierte diese als übereinstimmende Behauptungen. Aber die detaillierten Zahlen – „fünf“ versus „nur eins“ – unterschieden sich, was zu Meinungsverschiedenheiten zwischen den Schlussfolgerungen der Faktenprüfer führte.
Als die Forscher die 228 nicht übereinstimmenden übereinstimmenden Behauptungen für diese Unterschiede bereinigten, fanden sie nur einen Fall, in dem Snopes und PolitiFact nicht einer Meinung waren: Ob der Präsidentschaftskandidat von 2016, Ben Carson, sagte: „Jeder, der in Wahlbetrug verwickelt wird, sollte sofort abgeschoben und ihm die Staatsbürgerschaft entzogen werden.“ .“
Den Forschern zufolge interpretierte Snopes „jeder“ als „illegale Einwanderer“ und bewertete die Behauptung, Carson habe die Aussage gemacht, als überwiegend wahr. PolitiFact interpretierte „jeder“ jedoch als „jeden Amerikaner“ und bewertete die Behauptung als überwiegend falsch.
„Letztendlich haben wir nur einen Fall mit einer widersprüchlichen Bewertung gefunden, was darauf hindeutet, dass Snopes und PolitiFact im Großen und Ganzen konsistente und zuverlässige Praktiken zur Faktenprüfung etabliert haben“, sagte Sian Lee. „Wir glauben, dass dies die Glaubwürdigkeit der Faktenprüfer in den Augen der Öffentlichkeit erhöht.“
Haeseung Seo, Doktorand am College of IST und beitragender Autor, sagte, dass die Ergebnisse dieser Studie die Faktenprüfungspraktiken von Social-Media-Plattformen bestätigen.
„Letztendlich trägt diese Arbeit zur Förderung der Wahrheit und zur Verhinderung der Verbreitung von Fehlinformationen in den sozialen Medien bei“, sagte Seo.
Mehr Informationen:
„Fact-Checking“-Faktenprüfer: Ein datengesteuerter Ansatz. misinforeview.hks.harvard.edu/ … ata-driven-approach/