Algorithmen sollten unser Leben einfacher und gerechter machen: Sie sollten uns helfen, die besten Bewerber zu finden, Richtern helfen, die Risiken von Kautions- und Bürgschaftsentscheidungen unparteiisch einzuschätzen, und sicherstellen, dass die Gesundheitsversorgung den Patienten mit dem größten Bedarf zugute kommt. Mittlerweile wissen wir jedoch, dass Algorithmen genauso voreingenommen sein können wie die menschlichen Entscheidungsträger, die sie informieren und ersetzen.
Was wäre, wenn das keine schlechte Sache wäre?
Eine neue Studie von Carey Morewedge, Professorin für Marketing an der Questrom School of Business der Boston University und Everett W. Lord Distinguished Faculty Scholar, ergab, dass Menschen ihre Voreingenommenheit in den Entscheidungen von Algorithmen stärker erkennen als in ihren eigenen – selbst wenn diese Entscheidungen richtig sind Dasselbe. Die Studie, veröffentlicht in der Verfahren der Nationalen Akademie der Wissenschaftenschlägt Möglichkeiten vor, wie Bewusstsein menschlichen Entscheidungsträgern helfen könnte, ihre Vorurteile zu erkennen und zu korrigieren.
„Ein gesellschaftliches Problem besteht darin, dass Algorithmen lernen und in großem Umfang Vorurteile in die menschlichen Entscheidungen einfließen lassen, auf die sie trainiert wurden“, sagt Morewedge, der auch die Marketingabteilung von Questrom leitet. Zum Beispiel: Im Jahr 2015 testete Amazon (und bald verschrottet) ein Algorithmus, der seinen Personalmanagern dabei hilft, Bewerber zu filtern. Sie fanden heraus, dass das Programm die Lebensläufe, die seiner Meinung nach von männlichen Bewerbern stammten, höher bewertete und diejenigen von weiblichen Bewerbern herabstufte, ein klarer Fall von geschlechtsspezifischer Voreingenommenheit.
Aber im selben Jahr, nur 39 Prozent der Amazon-Belegschaft waren Frauen. Wenn der Algorithmus anhand der vorhandenen Einstellungsdaten von Amazon trainiert worden wäre, wäre es kein Wunder, dass er männlichen Bewerbern Vorrang einräumte – Amazon hatte dies bereits getan. Wenn der Algorithmus eine geschlechtsspezifische Voreingenommenheit aufwies, „liegt das daran, dass die Manager von Amazon bei ihren Einstellungsentscheidungen voreingenommen waren“, sagt Morewedge.
„Algorithmen können menschliche Vorurteile kodifizieren und verstärken, aber Algorithmen offenbaren auch strukturelle Vorurteile in unserer Gesellschaft“, sagt er. „Viele Vorurteile können nicht auf individueller Ebene beobachtet werden. Es ist schwierig, Vorurteile beispielsweise bei einer einzelnen Einstellungsentscheidung nachzuweisen. Aber wenn wir Entscheidungen innerhalb und zwischen Personen addieren, wie wir es bei der Entwicklung von Algorithmen tun, können strukturelle Vorurteile aufgedeckt werden.“ unsere Systeme und Organisationen.“
Morewedge und seine Mitarbeiter – Begüm Çeliktutan und Romain Cadario, beide an der Erasmus-Universität in den Niederlanden – entwickelten eine Reihe von Experimenten, um die sozialen Vorurteile der Menschen (einschließlich Rassismus, Sexismus und Altersdiskriminierung) herauszufinden.
Anschließend verglich das Team die Wahrnehmung der Forschungsteilnehmer, wie diese Vorurteile ihre eigenen Entscheidungen beeinflussten, mit Entscheidungen, die von einem Algorithmus getroffen wurden. In den Experimenten sahen die Teilnehmer teilweise die Entscheidungen realer Algorithmen. Aber es gab einen Haken: In anderen Fällen waren die Entscheidungen, die Algorithmen zugeschrieben wurden, in Wirklichkeit die Entscheidungen der Teilnehmer – in einer getarnten Form.
Im Großen und Ganzen sahen die Teilnehmer eher Voreingenommenheit bei den Entscheidungen, von denen sie glaubten, dass sie von Algorithmen stammten, als bei ihren eigenen Entscheidungen. Die Teilnehmer sahen auch bei den Entscheidungen von Algorithmen eine ebenso große Voreingenommenheit wie bei den Entscheidungen anderer Menschen. (Menschen erkennen Voreingenommenheit bei anderen im Allgemeinen besser als bei sich selbst, ein Phänomen, das als voreingenommener blinder Fleck bezeichnet wird.) Die Teilnehmer waren auch eher geneigt, Voreingenommenheit bei diesen Entscheidungen im Nachhinein zu korrigieren, ein entscheidender Schritt zur Minimierung von Voreingenommenheit in der Zukunft.
Algorithmen beseitigen den blinden Fleck der Voreingenommenheit
Die Forscher ließen Gruppen von insgesamt mehr als 6.000 Teilnehmern neun Experimente durchführen. Im ersten Schritt bewerteten die Teilnehmer eine Reihe von Airbnb-Inseraten, die einige Informationen zu jedem Inserat enthielten: seine durchschnittliche Sternebewertung (auf einer Skala von 1 bis 5) und den Namen des Gastgebers. Die Forscher ordneten diese fiktiven Einträge Gastgebern zu, deren Namen „eindeutig afroamerikanisch oder weiß“ waren Frühere Untersuchungen zur Identifizierung rassistischer Vorurteile, heißt es in der Zeitung. Die Teilnehmer bewerteten die Wahrscheinlichkeit, dass sie jedes Objekt mieten würden.
In der zweiten Hälfte des Experiments wurde den Teilnehmern ein Forschungsergebnis mitgeteilt, das erklärte, wie die Rasse des Gastgebers die Bewertungen beeinflussen könnte. Anschließend zeigten die Forscher den Teilnehmern eine Reihe von Bewertungen und baten sie, (auf einer Skala von 1 bis 7) einzuschätzen, wie wahrscheinlich es ist, dass Voreingenommenheit die Bewertungen beeinflusst hatte.
Den Teilnehmern wurde entweder ihre eigene Bewertung widergespiegelt, ihre eigene Bewertung unter dem Deckmantel eines Algorithmus, ihre eigene Bewertung unter dem Deckmantel der Bewertung eines anderen oder eine tatsächliche Algorithmusbewertung basierend auf ihren Präferenzen.
Die Forscher wiederholten diesen Aufbau mehrmals und testeten die Profile von Lyft-Fahrern und Airbnb-Gastgebern auf Rassen-, Geschlechts-, Alters- und Attraktivitätsverzerrungen. Die Ergebnisse waren jedes Mal konsistent. Teilnehmer, die dachten, sie hätten die Bewertungen eines Algorithmus oder die Bewertungen einer anderen Person gesehen (unabhängig davon, ob dies tatsächlich der Fall war oder nicht), nahmen eher eine Verzerrung in den Ergebnissen wahr.
Morewedge führt dies auf die unterschiedlichen Beweise zurück, die wir verwenden, um Voreingenommenheit bei anderen und Voreingenommenheit bei uns selbst zu beurteilen. Da wir Einblick in unseren eigenen Denkprozess haben, sagt er, können wir unser Denken eher zurückverfolgen und zu dem Schluss kommen, dass es nicht voreingenommen war, sondern vielleicht von einem anderen Faktor bestimmt wurde, der in unsere Entscheidungen eingeflossen ist. Wenn wir jedoch die Entscheidungen anderer Menschen analysieren, müssen wir nur das Ergebnis beurteilen.
„Nehmen wir an, Sie organisieren eine Gruppe von Rednern für eine Veranstaltung“, sagt Morewedge. „Wenn all diese Redner Männer wären, könnte man sagen, dass das Ergebnis nicht das Ergebnis einer geschlechtsspezifischen Voreingenommenheit war, weil man bei der Einladung dieser Redner nicht einmal über das Geschlecht nachgedacht hat. Aber wenn man an dieser Veranstaltung teilnimmt und eine Podiumsdiskussion von allen gesehen hat.“ Bei männlichen Sprechern ist es wahrscheinlicher, dass Sie zu dem Schluss kommen, dass bei der Auswahl eine geschlechtsspezifische Voreingenommenheit vorlag.“
Tatsächlich fanden die Forscher in einem ihrer Experimente heraus, dass Teilnehmer, die anfälliger für diesen voreingenommenen blinden Fleck waren, auch eher Voreingenommenheit bei Entscheidungen sahen, die Algorithmen oder anderen zugeschrieben wurden, als bei ihren eigenen Entscheidungen. In einem anderen Experiment stellten sie fest, dass Menschen ihre eigenen Entscheidungen leichter von relativ neutralen oder vernünftigen Faktoren wie der Sternebewertung eines Airbnb-Gastgebers beeinflusst sehen, als von einer voreingenommenen Voreingenommenheit wie der Rasse – vielleicht weil sie zugeben, dass sie fünf Sterne bevorzugen. Das Vermieten von Sternen sei nicht so bedrohlich für das eigene Selbstwertgefühl oder dafür, wie andere uns sehen könnten, schlägt Morewedge vor.
Algorithmen als Spiegel: Menschliche Vorurteile erkennen und korrigieren
Im letzten Experiment der Forscher gaben die Forscher den Teilnehmern die Möglichkeit, Verzerrungen entweder in ihren Bewertungen oder in den Bewertungen eines Algorithmus (echt oder nicht) zu korrigieren. Es war wahrscheinlicher, dass Menschen die Entscheidungen des Algorithmus korrigierten, was die tatsächliche Verzerrung seiner Bewertungen verringerte.
Dies sei der entscheidende Schritt für Morewedge und seine Kollegen, sagt er. Für jeden, der motiviert ist, Vorurteile abzubauen, ist es der erste Schritt, sie erkennen zu können. Ihre Forschung liefert Beweise dafür, dass Algorithmen als Spiegel verwendet werden können – eine Möglichkeit, Voreingenommenheit zu erkennen, selbst wenn Menschen sie selbst nicht erkennen können.
„Im Moment halte ich die Literatur zu algorithmischer Verzerrung für düster“, sagt Morewedge. „Vieles steht darin, dass wir statistische Methoden entwickeln müssen, um Vorurteile in Algorithmen abzubauen. Aber ein Teil des Problems ist, dass Vorurteile von Menschen ausgehen. Wir sollten daran arbeiten, Algorithmen zu verbessern, aber wir sollten auch daran arbeiten, uns selbst weniger voreingenommen zu machen.“
„Das Spannende an dieser Arbeit ist, dass sie zeigt, dass Algorithmen menschliche Vorurteile kodifizieren oder verstärken können, aber Algorithmen können auch Werkzeuge sein, die Menschen dabei helfen, ihre eigenen Vorurteile besser zu erkennen und sie zu korrigieren“, sagt er. „Algorithmen sind ein zweischneidiges Schwert. Sie können ein Werkzeug sein, das unsere schlimmsten Tendenzen verstärkt. Und Algorithmen können ein Werkzeug sein, das uns dabei helfen kann, uns selbst zu verbessern.“
Mehr Informationen:
Carey K. Morewedge et al.: Menschen sehen mehr von ihren Vorurteilen in Algorithmen, Verfahren der Nationalen Akademie der Wissenschaften (2024). DOI: 10.1073/pnas.2317602121. doi.org/10.1073/pnas.2317602121