Eine Funktion, die Google gestern auf seiner I/O-Konferenz vorführte und die generative KI-Technologie nutzt, um Sprachanrufe in Echtzeit auf Gesprächsmuster im Zusammenhang mit Finanzbetrug zu scannen, hat allen Datenschutz- und Sicherheitsexperten, die davor warnen, einen kollektiven Schauder über den Rücken jagen Das Merkmal stellt das dünne Ende des Keils dar. Sie warnen davor, dass das clientseitige Scannen, sobald es in die mobile Infrastruktur integriert ist, eine Ära der zentralisierten Zensur einläuten könnte.
Googles Demo der Anrufbetrugserkennungsfunktion, die nach Angaben des Technologieriesen in eine zukünftige Version seines Android-Betriebssystems integriert werden soll – schätzungsweise auf etwa drei Viertel aller Smartphones weltweit laufen wird – wird von Gemini Nano, dem kleinsten seiner Modelle, angetrieben aktuelle Generation von KI-Modellen, die vollständig auf dem Gerät ausgeführt werden sollen.
Hierbei handelt es sich im Wesentlichen um clientseitiges Scannen: Eine aufkommende Technologie, die in den letzten Jahren große Kontroversen im Zusammenhang mit Bemühungen zur Erkennung von Material zum sexuellen Missbrauch von Kindern (CSAM) oder sogar Grooming-Aktivitäten auf Messaging-Plattformen ausgelöst hat.
Apple gab seinen Plan, im Jahr 2021 clientseitiges Scannen für CSAM einzuführen, nach einer großen Gegenreaktion im Datenschutz auf. Die politischen Entscheidungsträger üben jedoch weiterhin Druck auf die Technologiebranche aus, Wege zu finden, um illegale Aktivitäten auf ihren Plattformen aufzudecken. Jeder Schritt der Branche, eine On-Device-Scan-Infrastruktur aufzubauen, könnte daher den Weg für standardmäßiges Content-Scannen aller Art ebnen – sei es von der Regierung geleitet oder im Zusammenhang mit einer bestimmten kommerziellen Agenda.
Antwort auf die Demo zum Anrufscannen von Google in einem Beitrag auf XMeredith Whittaker, Präsidentin der in den USA ansässigen verschlüsselten Messaging-App Signal, warnte: „Das ist unglaublich gefährlich.“ Es ebnet den Weg für zentralisiertes, clientseitiges Scannen auf Geräteebene.
„Von der Erkennung von „Betrügereien“ ist es nur ein kurzer Schritt zur „Erkennung von Mustern, die häufig mit Betrug in Verbindung gebracht werden.“[ith] Suche nach reproduktiver Betreuung“ oder „häufig verbunden mit w[ith] „Bereitstellung von LGBTQ-Ressourcen“ oder „wird häufig mit Whistleblowing von Technikern in Verbindung gebracht“.
Auch der Kryptografie-Experte Matthew Green, Professor an der Johns Hopkins ging zu X Alarm schlagen. „In Zukunft werden KI-Modelle Rückschlüsse auf Ihre Texte und Sprachanrufe ziehen, um illegales Verhalten zu erkennen und zu melden“, warnte er. „Damit Ihre Daten über Dienstanbieter weitergeleitet werden können, müssen Sie einen wissensfreien Nachweis darüber beifügen, dass das Scannen durchgeführt wurde. Dadurch werden offene Clients blockiert.“
Green schlug vor, dass diese dystopische Zukunft der standardmäßigen Zensur nur noch wenige Jahre von der technischen Umsetzung entfernt sei. „Wir sind noch ein kleines Stück davon entfernt, dass diese Technologie effizient genug ist, um es zu realisieren, aber nur ein paar Jahre. Höchstens ein Jahrzehnt“, schlug er vor.
Auch europäische Datenschutz- und Sicherheitsexperten protestierten schnell.
Reaktion auf die Demo von Google auf XLukasz Olejnik, ein in Polen ansässiger unabhängiger Forscher und Berater für Datenschutz- und Sicherheitsfragen, begrüßte die Anti-Betrugsfunktion des Unternehmens, warnte jedoch davor, dass die Infrastruktur für soziale Überwachung umfunktioniert werden könnte. „[T]Dies bedeutet auch, dass bereits technische Möglichkeiten entwickelt wurden oder werden, um Anrufe, die Erstellung, das Schreiben von Texten oder Dokumenten zu überwachen, beispielsweise auf der Suche nach illegalen, schädlichen, hasserfüllten oder sonst unerwünschten oder rechtswidrigen Inhalten – im Hinblick auf die Standards einer Person.“ er schrieb.
„In einem weiteren Schritt könnte ein solches Modell beispielsweise eine Warnung anzeigen. Oder die Fähigkeit zum Weitermachen blockieren“, fuhr Olejnik mit Nachdruck fort. „Oder melde es irgendwo. Technologische Modulation sozialen Verhaltens oder Ähnliches. Dies stellt eine große Bedrohung für die Privatsphäre, aber auch für eine Reihe grundlegender Werte und Freiheiten dar. Die Fähigkeiten sind bereits vorhanden.“
Olejnik brachte seine Bedenken weiter zum Ausdruck und sagte gegenüber Tech: „Ich habe die technischen Details nicht gesehen, aber Google versichert, dass die Erkennung auf dem Gerät erfolgen würde.“ Dies ist großartig für die Privatsphäre der Benutzer. Allerdings steht viel mehr auf dem Spiel als nur die Privatsphäre. Dies verdeutlicht, wie in Software und Betriebssysteme integrierte KI/LLMs dazu genutzt werden können, verschiedene Formen menschlicher Aktivitäten zu erkennen oder zu kontrollieren.
Dies verdeutlicht, wie in Software und Betriebssysteme integrierte KI/LLMs dazu genutzt werden können, verschiedene Formen menschlicher Aktivitäten zu erkennen oder zu kontrollieren.
Lukasz Olejnik
„Bisher läuft es glücklicherweise zum Besseren. Aber was kommt, wenn die technischen Möglichkeiten vorhanden und eingebaut sind? Solche leistungsstarken Funktionen weisen auf potenzielle zukünftige Risiken hin, die mit der Fähigkeit der Nutzung von KI zur Steuerung des Verhaltens von Gesellschaften in großem Maßstab oder selektiv verbunden sind. Das ist wahrscheinlich eine der gefährlichsten Möglichkeiten der Informationstechnologie, die jemals entwickelt wurden. Und wir nähern uns diesem Punkt. Wie regeln wir das? Gehen wir zu weit?“
Michael Veale, außerordentlicher Professor für Technologierecht an der UCL, erwähnte ebenfalls das beängstigende Gespenst einer Funktionsstörung, die von Googles konversationsscannender KI ausgeht – eine Warnung in einer Reaktion Beitrag auf X dass es „eine Infrastruktur für das clientseitige Scannen auf dem Gerät für mehr als diese Zwecke einrichtet, die Regulierungsbehörden und Gesetzgeber missbrauchen wollen.“
Datenschutzexperten in Europa haben besonderen Grund zur Sorge: Die Europäische Union hat seit 2022 einen umstrittenen Gesetzesvorschlag zum Nachrichtenscannen auf dem Tisch, der laut Kritikern – darunter der Datenschutzbeauftragte der Union – einen Wendepunkt für demokratische Rechte in der EU darstellt Region, da Plattformen dadurch gezwungen würden, private Nachrichten standardmäßig zu scannen.
Während der aktuelle Gesetzesvorschlag behauptet, technologieunabhängig zu sein, wird allgemein erwartet, dass ein solches Gesetz dazu führen würde, dass Plattformen clientseitige Scans einsetzen, um auf eine sogenannte „Erkennungsanordnung“ reagieren zu können, die verlangt, sowohl Bekanntes als auch Unbekanntes zu erkennen CSAM und erfassen Sie auch die Pflegeaktivitäten in Echtzeit.
Anfang des Monats verfassten Hunderte von Datenschutz- und Sicherheitsexperten einen offenen Brief, in dem sie warnten, dass der Plan zu Millionen von Fehlalarmen pro Tag führen könnte, da die clientseitigen Scan-Technologien, die von Plattformen wahrscheinlich als Reaktion auf eine rechtliche Anordnung eingesetzt werden, unbewiesen seien , zutiefst fehlerhaft und anfällig für Angriffe.
Google wurde mit der Bitte um eine Antwort auf Bedenken kontaktiert, dass seine Konversations-Scan-KI die Privatsphäre der Menschen gefährden könnte, hatte aber bei Redaktionsschluss noch nicht geantwortet.