Jeden Tag veröffentlichen amerikanische Nachrichtenagenturen Tausende von Artikeln. Im Jahr 2016, laut Der Atlantik, Die Washington Post 500 Inhalte pro Tag veröffentlicht; Die New York Times Und Das Wall Street Journal mehr als 200.
„Wir sind alle Konsumenten der Medien“, sagt Duncan Watts, Professor für Computer- und Informationswissenschaften an der Stevens University. „Wir werden alle davon beeinflusst, was wir dort konsumieren und was wir dort nicht konsumieren.“
Heute hat das von Watts gegründete und geleitete Computational Social Science Lab (CSSLab) der University of Pennsylvania den Medienbias-Detektorund bietet Medienkonsumenten ein beispielloses Maß an Detailliertheit beim Verständnis der Situation von Nachrichtenagenturen aus dem gesamten ideologischen Spektrum zu so unterschiedlichen Themen wie dem Präsidentschaftswahlkampf, sozialen Medien und dem Klimawandel.
Durch die Auswahl von Themen und Publikationsnamen aus einfachen Dropdown-Menüs können Besucher des Media Bias Detector genau sehen, wie verschiedene Verlage über bestimmte Themen in bestimmten Zeiträumen berichtet haben. So erfahren sie beispielsweise leicht, wie viele Geschichten Die New York Times in den letzten sechs Wochen etwas über das Alter von Joe Biden im Vergleich zu Donald Trump veröffentlicht hat oder darüber, wie häufig Fox News während der Hitzewelle der vergangenen Woche im Vergleich zu CNN über den Klimawandel berichtet hat.
„Unser Ziel ist es nicht, zu entscheiden, was wahr ist oder wer voreingenommener ist“, sagt Watts, der auch an der Wharton School und der Annenberg School for Communication tätig ist. „Unser Ziel ist es, zu quantifizieren, wie verschiedene Themen und Ereignisse von verschiedenen Verlagen behandelt werden und was das über ihre Prioritäten verrät.“
Watts ist der Ansicht, dass Medienvoreingenommenheit nicht nur auf die Art und Weise zurückzuführen ist, wie eine Publikation ein Thema behandelt – also die verwendete Sprache, die zitierten Zahlen –, sondern auch darauf, welche Themen die Publikationen überhaupt auswählen und wie häufig sie behandeln.
„Die Medien entscheiden in vielerlei Hinsicht darüber, was an die Öffentlichkeit gelangt“, sagt Watts, „und das bestimmt das politische Umfeld.“ Leider ist es aufgrund der Menge der täglichen Nachrichten und des Zeit- und Kostenaufwands, diese Artikel zu lesen und zu klassifizieren, äußerst schwierig, den Überblick über diese Daten zu behalten.
Bisher war es nicht möglich, Medienvoreingenommenheit in einem so großen Detailgrad aufzudecken, doch das CSSLab erkannte, dass künstliche Intelligenz (KI) die Bemühungen menschlicher Forscher unterstützen könnte.
„Wir können Texte auf sehr granularer Ebene klassifizieren“, sagt Watts. „Wir können alle möglichen interessanten Dinge in einem Maßstab messen, der noch vor ein oder zwei Jahren unmöglich gewesen wäre. Es ist eine Geschichte darüber, wie KI die Forschung in diesem Bereich verändert hat.“
Täglich, sagt Amir Tohidi, ein Postdoktorand im CSSLab, greift der Media Bias Detector auf die wichtigsten öffentlich verfügbaren Artikel aus einigen der beliebtesten Online-Nachrichtenpublikationen des Landes zu und speist sie dann in GPT-4 ein, das von OpenAI entwickelte große Sprachmodell (LLM), das ChatGPT, dem charakteristischen Chatbot des Unternehmens, zugrunde liegt.
Mithilfe einer Reihe sorgfältig entwickelter Eingabeaufforderungen, die die Forscher strengen Tests unterzogen haben, klassifiziert GPT-4 die Artikel dann nach Themen und analysiert anschließend den Ton jedes Artikels bis auf die Ebene einzelner Sätze.
„Bei jedem Satz“, sagt Tohidi, „fragen wir: ‚Wie ist der Ton dieses Satzes? Ist er positiv, negativ, neutral?‘“ Zusätzlich zu diesen Messungen auf Satzebene verwenden die Forscher KI auch, um die allgemeine politische Ausrichtung des Artikels auf einem demokratischen/republikanischen Spektrum zu klassifizieren.
Mit anderen Worten: Der Media Bias Detector bildet die sich schnell verändernde Medienlandschaft Amerikas nahezu in Echtzeit ab.
„Wir geben den Leuten eine Vogelperspektive“, sagt Tohidi. „Jeder kann täglich nur eine bestimmte Anzahl von Artikeln dieser Verlage lesen. Sie haben also lokale Ansichten, basierend auf ihrem Standpunkt. Diese KI-Tools ermöglichen uns einen Überblick über die gesamte Landschaft.“
Um die Genauigkeit des Media Bias Detector sicherzustellen, haben die Forscher menschliches Feedback in das System integriert.
„Das Schöne daran ist, dass wir einen Menschen in die Sache einbeziehen“, sagt Jenny S. Wang, eine angehende Doktorandin bei Microsoft und Mitglied des CSSLab. „Da LLMs so neu sind, haben wir einen Verifizierungsprozess, bei dem Forschungsassistenten die Zusammenfassung eines Artikels eines LLMs überprüfen und Anpassungen vornehmen können.“
Um den Einsatz von KI zu validieren, verglichen die Forscher die Ergebnisse des Systems auch mit denen menschlicher Experten als Gutachter – Doktoranden mit Hintergrund in den Bereichen Medien und Politik.
„Die Korrelation war wirklich hoch“, sagt Yuxuan Zhang, ein Datenwissenschaftler am CSSLab. Bei einigen Aufgaben, fügt Zhang hinzu, übertraf GPT-4 sogar seine menschlichen Kollegen, was das CSSLab zuversichtlich machte, dass KI in den Prozess integriert werden könnte, um eine Skalierung zu erreichen, ohne die Genauigkeit wesentlich zu verlieren.
Zhang, der vor Kurzem seinen Master in Biotechnologie und Datenwissenschaft an der Penn Engineering University abgeschlossen hat, greift regelmäßig auf das zurück, was er im Kurs zur Verarbeitung natürlicher Sprache bei Chris Callison-Burch, Associate Professor für CIS und Berater für den Bias Detector, gelernt hat.
„Ich habe in diesem Kurs als leitender Lehrassistent gearbeitet“, sagt Zhang, „der für unser Labor ein wirklich wichtiges Instrument ist, da in den computergestützten Sozialwissenschaften alles mit der Verarbeitung natürlicher Sprache zusammenhängt.“
Aufbauend auf der Expertise von Penn Engineering im Bereich KI – die Fakultät hat vor Kurzem die ersten Bachelor- und Online-Masterstudiengänge im Bereich Ingenieurwissenschaften der Ivy League angekündigt – wird der Media Bias Detector jedem die beispiellose Gelegenheit bieten, die subtilen Wege zu verstehen, auf denen sich Voreingenommenheit in den Medien manifestiert.
„Jeder hat seine eigene Vorstellung davon, welche Tendenzen diese verschiedenen Verlage haben“, sagt Wang. „Aber niemand hat sich alle Daten angesehen. Diese Analysen in großem Maßstab durchzuführen, ist noch nie zuvor gelungen.“
Mehr Informationen:
Probieren Sie hier den Media Bias Detector aus.