Am Dienstag, die BBC berichtete, dass der schwarze Uber Eats-Kurier Pa Edrissa Manjang eine Auszahlung von Uber erhalten hatte, nachdem ihn „rassistisch diskriminierende“ Gesichtserkennungsprüfungen daran gehindert hatten, auf die App zuzugreifen, die er seit November 2019 verwendet hatte, um Aufträge als Essenslieferant bei Uber abzuholen Plattform.
Die Nachricht wirft die Frage auf, wie geeignet das britische Recht für den Umgang mit dem zunehmenden Einsatz von KI-Systemen ist. Insbesondere der Mangel an Transparenz in Bezug auf automatisierte Systeme, die mit dem Versprechen, die Benutzersicherheit und/oder die Serviceeffizienz zu erhöhen, auf den Markt gebracht werden, birgt das Risiko, dass individuelle Schäden überstürzt entstehen, auch wenn die Erlangung von Wiedergutmachung für diejenigen, die von KI-gesteuerter Voreingenommenheit betroffen sind, erforderlich sein kann Jahre.
Der Klage ging eine Reihe von Beschwerden über fehlgeschlagene Gesichtserkennungsprüfungen voraus, seit Uber im Jahr 2011 das Real Time ID Check-System in Großbritannien eingeführt hat April 2020. Das Gesichtserkennungssystem von Uber – basierend auf der Gesichtserkennungstechnologie von Microsoft – erfordert, dass der Kontoinhaber ein Live-Selfie einreicht, das mit einem gespeicherten Foto von ihm verglichen wird, um seine Identität zu überprüfen.
Fehlgeschlagene Ausweisprüfungen
Laut Manjangs Beschwerde hat Uber sein Konto gesperrt und dann gekündigt, nachdem die Identitätsprüfung und der anschließende automatisierte Prozess fehlgeschlagen waren, und behauptete, in den Fotos seines Gesichts, die er zum Zweck des Zugriffs auf die Plattform aufgenommen hatte, „anhaltende Nichtübereinstimmungen“ festgestellt zu haben. Manjang reichte im Oktober 2021 mit Unterstützung der Equality and Human Rights Commission (EHRC) und der App Drivers & Couriers Union (ADCU) Klage gegen Uber ein.
Es folgten jahrelange Rechtsstreitigkeiten, bei denen es Uber nicht gelang, Manjangs Klage abzulehnen oder eine Kaution für die Fortsetzung des Verfahrens zu verlangen. Die Taktik scheint dazu beigetragen zu haben, den Rechtsstreit in die Länge zu ziehen EHRC Er beschrieb den Fall als noch im „Vorstadium“ im Herbst 2023 und stellte fest, dass der Fall „die Komplexität eines Anspruchs im Zusammenhang mit KI-Technologie“ zeige. Eine letzte Anhörung war für 17 Tage im November 2024 angesetzt.
Diese Anhörung wird jetzt nicht mehr stattfinden, nachdem Uber eine Zahlung zur Begleichung angeboten und Manjang akzeptiert hat, was bedeutet, dass ausführlichere Einzelheiten darüber, was genau schief gelaufen ist und warum, nicht veröffentlicht werden. Auch die Einzelheiten der finanziellen Einigung wurden nicht bekannt gegeben. Uber hat auf unsere Nachfrage keine Einzelheiten bekannt gegeben und sich auch nicht dazu geäußert, was genau schief gelaufen ist.
Wir haben auch Microsoft um eine Antwort auf den Fallausgang gebeten, das Unternehmen lehnte jedoch eine Stellungnahme ab.
Trotz der Einigung mit Manjang gibt Uber nicht öffentlich zu, dass seine Systeme oder Prozesse fehlerhaft waren. In der Erklärung zum Vergleich wird abgelehnt, dass Kurierkonten allein aufgrund von KI-Bewertungen gekündigt werden können, da Gesichtserkennungsprüfungen durch eine „robuste menschliche Überprüfung“ untermauert werden.
„Unsere Echtzeit-ID-Prüfung soll dazu beitragen, die Sicherheit aller Benutzer unserer App zu gewährleisten, und umfasst eine solide menschliche Überprüfung, um sicherzustellen, dass wir keine Entscheidungen über den Lebensunterhalt einer Person im luftleeren Raum und ohne Aufsicht treffen“, sagte das Unternehmen in einer Erklärung . „Automatische Gesichtsverifizierung war nicht der Grund dafür, dass Herr Manjang vorübergehend den Zugriff auf sein Kurierkonto verlor.“
Offensichtlich ist bei den Ausweiskontrollen von Uber im Fall Manjang jedoch etwas völlig schief gelaufen.
Informationsaustausch für Arbeitnehmer (WIE), eine Organisation, die sich für digitale Rechte von Plattformarbeitern einsetzt und Manjangs Beschwerde ebenfalls unterstützte, gelang es, alle seine Selfies von Uber über einen Subject Access Request nach britischem Datenschutzrecht zu erhalten, und konnte nachweisen, dass alle Fotos, die er eingereicht hatte Zu seiner Gesichtserkennungsprüfung gehörten tatsächlich Fotos von ihm.
„Nach seiner Entlassung schickte Pa zahlreiche Nachrichten an Uber, um das Problem zu beheben, und bat insbesondere um die Durchsicht seiner Eingaben durch einen Menschen. Jedes Mal, wenn Pa gesagt wurde: „Wir konnten nicht bestätigen, dass die bereitgestellten Fotos tatsächlich von Ihnen stammen, und aufgrund der anhaltenden Diskrepanzen haben wir die endgültige Entscheidung getroffen, unsere Partnerschaft mit Ihnen zu beenden“, erzählt WIE in einer Diskussion über seinen Fall breiterer Bericht Blick auf „datengesteuerte Ausbeutung in der Gig Economy“.
Basierend auf den veröffentlichten Details von Manjangs Beschwerde scheint es klar, dass beide Gesichtserkennungsprüfungen von Uber durchgeführt werden Und Das System der menschlichen Überprüfung, das es angeblich als Sicherheitsnetz für automatisierte Entscheidungen eingerichtet hatte, scheiterte in diesem Fall.
Gleichstellungsrecht plus Datenschutz
Der Fall stellt in Frage, wie zweckmäßig das britische Recht ist, wenn es um die Regelung des Einsatzes von KI geht.
Manjang gelang es schließlich, durch ein auf Gleichstellungsrecht basierendes Gerichtsverfahren eine Einigung von Uber zu erreichen – insbesondere durch eine Diskriminierungsklage nach dem britischen Equality Act 2006, der Rasse als geschütztes Merkmal auflistet.
Baroness Kishwer Falkner, Vorsitzende des EHRC, kritisierte die Tatsache, dass der Uber Eats-Kurier einen Rechtsanspruch geltend machen musste, „um die undurchsichtigen Prozesse zu verstehen, die seine Arbeit beeinträchtigten“, schrieb sie in einer Erklärung.
„KI ist komplex und stellt Arbeitgeber, Anwälte und Aufsichtsbehörden vor einzigartige Herausforderungen. Es ist wichtig zu verstehen, dass die Technologie mit zunehmender KI-Nutzung zu Diskriminierung und Menschenrechtsverletzungen führen kann“, sagt sie schrieb. „Wir sind besonders besorgt darüber, dass Herr Manjang weder darüber informiert wurde, dass sein Konto derzeit deaktiviert wird, noch dass er einen klaren und wirksamen Weg zur Anfechtung der Technologie angegeben hat.“ Es muss mehr getan werden, um sicherzustellen, dass Arbeitgeber gegenüber ihren Mitarbeitern transparent und offen darüber sind, wann und wie sie KI einsetzen.“
Das britische Datenschutzrecht ist hier das andere relevante Gesetz. Auf dem Papier sollte es leistungsstarken Schutz vor undurchsichtigen KI-Prozessen bieten.
Die für Manjangs Anspruch relevanten Selfie-Daten wurden mithilfe der in der britischen DSGVO enthaltenen Datenzugriffsrechte erlangt. Wenn es ihm nicht gelungen wäre, so eindeutige Beweise dafür zu erhalten, dass die Identitätsprüfungen von Uber fehlgeschlagen waren, hätte sich das Unternehmen möglicherweise überhaupt nicht für einen Vergleich entschieden. Der Nachweis, dass ein proprietäres System fehlerhaft ist, ohne Einzelpersonen den Zugriff auf relevante personenbezogene Daten zu ermöglichen, würde die Chancen zugunsten der viel ressourcenreicheren Plattformen weiter erhöhen.
Lücken bei der Durchsetzung
Über die Datenzugriffsrechte hinaus sollen die Befugnisse in der britischen DSGVO dem Einzelnen zusätzliche Schutzmaßnahmen bieten, unter anderem vor automatisierten Entscheidungen mit rechtlicher oder ähnlich erheblicher Wirkung. Das Gesetz verlangt außerdem eine rechtmäßige Grundlage für die Verarbeitung personenbezogener Daten und fordert Systembetreiber dazu auf, potenzielle Schäden proaktiv abzuschätzen, indem sie eine Datenschutz-Folgenabschätzung durchführen. Das soll weitere Kontrollen gegen schädliche KI-Systeme erzwingen.
Damit diese Schutzmaßnahmen wirksam werden, ist jedoch eine Durchsetzung erforderlich – einschließlich einer abschreckenden Wirkung gegen die Einführung voreingenommener KI.
Im Fall des Vereinigten Königreichs versäumte es die zuständige Durchsetzungsbehörde, das Information Commissioner’s Office (ICO), einzuschreiten und Beschwerden gegen Uber zu untersuchen, obwohl Beschwerden über fehlgeschlagene Ausweiskontrollen aus dem Jahr 2021 stammten.
Jon Baines, ein leitender Datenschutzspezialist bei der Anwaltskanzlei Mishcon de Reya, weist darauf hin, dass „ein Mangel an ordnungsgemäßer Durchsetzung“ durch das ICO den Rechtsschutz für Einzelpersonen untergraben hat.
„Wir sollten nicht davon ausgehen, dass die bestehenden rechtlichen und regulatorischen Rahmenbedingungen nicht in der Lage sind, einige der potenziellen Schäden durch KI-Systeme zu bewältigen“, sagt er gegenüber Tech. „In diesem Beispiel fällt mir auf, dass der Informationsbeauftragte sicherlich dafür zuständig wäre, sowohl im Einzelfall als auch allgemeiner zu prüfen, ob die durchgeführte Verarbeitung gemäß der britischen DSGVO rechtmäßig war.
„Dinge wie: Ist die Verarbeitung fair? Gibt es eine gesetzliche Grundlage? Gibt es eine Bedingung gemäß Artikel 9 (vorausgesetzt, dass besondere Kategorien personenbezogener Daten verarbeitet werden)? Aber auch und vor allem: Gab es vor der Implementierung der Verifizierungs-App eine solide Datenschutz-Folgenabschätzung?“
„Ja, das ICO sollte also unbedingt proaktiver sein“, fügt er hinzu und bezweifelt die mangelnde Intervention der Regulierungsbehörde.
Wir kontaktierten das ICO wegen Manjangs Fall und baten es um Bestätigung, ob es angesichts der Beschwerden den Einsatz von KI durch Uber für Ausweiskontrollen prüft oder nicht. Ein Sprecher der Aufsichtsbehörde antwortete nicht direkt auf unsere Fragen, schickte jedoch eine allgemeine Erklärung, in der er betonte, dass Organisationen „wissen müssen, wie man biometrische Technologie auf eine Weise nutzt, die nicht in die Rechte der Menschen eingreift“.
„Unser Neuestes biometrische Führung Es ist klar, dass Organisationen die Risiken, die mit der Verwendung biometrischer Daten einhergehen, wie Fehler bei der genauen Identifizierung von Personen und Voreingenommenheit innerhalb des Systems, mindern müssen“, hieß es in der Erklärung und fügte hinzu: „Wenn jemand Bedenken hinsichtlich des Umgangs mit seinen Daten hat, kann er dies melden.“ diese Bedenken dem ICO mitteilen.“
Unterdessen ist die Regierung dabei, das Datenschutzrecht durch einen Gesetzentwurf zur Datenreform nach dem Brexit zu verwässern.
Darüber hinaus bestätigte die Regierung Anfang des Jahres, dass sie zum jetzigen Zeitpunkt keine spezielle KI-Sicherheitsgesetzgebung einführen wird, obwohl Premierminister Rishi Sunak auffällige Behauptungen aufstellte, dass die KI-Sicherheit ein vorrangiger Bereich für seine Regierung sei.
Stattdessen bestätigte sie einen Vorschlag – dargelegt in ihrem Weißbuch zur KI vom März 2023 –, in dem sie sich auf bestehende Gesetze und Regulierungsbehörden stützen will, um die Aufsichtstätigkeit auszuweiten, um KI-Risiken abzudecken, die in ihrem Bereich entstehen könnten. Eine Änderung des im Februar angekündigten Ansatzes war eine geringfügige zusätzliche Finanzierung (10 Millionen Pfund) für die Regulierungsbehörden, die nach Angaben der Regierung zur Erforschung von KI-Risiken und zur Entwicklung von Tools verwendet werden könnte, die sie bei der Untersuchung von KI-Systemen unterstützen.
Es wurde kein Zeitplan für die Auszahlung dieses kleinen Topfs mit zusätzlichen Mitteln angegeben. Hier sind mehrere Regulierungsbehörden im Spiel, wenn es also eine gleichmäßige Aufteilung der Gelder zwischen Einrichtungen wie dem ICO, dem EHRC und der Regulierungsbehörde für Arzneimittel und Gesundheitsprodukte gibt, um nur drei der 13 Regulierungsbehörden und Abteilungen zu nennen Der britische Außenminister schrieb letzten Monat an ihn Indem sie sie bitten, ein Update zu ihrem „strategischen Ansatz für KI“ zu veröffentlichen, könnten sie jeweils weniger als 1 Million Pfund erhalten, um ihre Budgets aufzustocken, um schnell wachsenden KI-Risiken zu begegnen.
Ehrlich gesagt sieht es für die ohnehin überlasteten Regulierungsbehörden nach einem unglaublich geringen Maß an zusätzlichen Ressourcen aus, wenn die KI-Sicherheit tatsächlich eine Regierungspriorität ist. Es bedeutet auch, dass es immer noch kein Bargeld oder keine aktive Aufsicht für KI-Schäden gibt, die zwischen den Ritzen des bestehenden regulatorischen Flickenteppichs im Vereinigten Königreich liegen, wie Kritiker des Ansatzes der Regierung bereits betont haben.
Ein neues KI-Sicherheitsgesetz könnte ein stärkeres Signal der Priorität aussenden – ähnlich dem risikobasierten KI-Schadensrahmen der EU, der bald von der Union als hartes Gesetz angenommen wird. Es müsste aber auch der Wille vorhanden sein, es tatsächlich durchzusetzen. Und dieses Signal muss von oben kommen.