„Chat-Kontrolle“: Der umstrittene Gesetzesvorschlag der EU zum CSAM-Scanning wird erklärt

Die Europäische Union genießt seit langem den Ruf strenger Datenschutzgesetze. Doch ein Gesetzesplan zur Bekämpfung von Kindesmissbrauch – den die Union bereits im Mai 2022 offiziell vorgelegt hat – droht die Privatsphäre und Sicherheit von Hunderten Millionen Nutzern regionaler Messaging-Apps zu beeinträchtigen.

Die Europäische Kommission, das gesetzgebende Organ der EU, das den Entwurf verfasst hat der Vorschlagstellt darin einen Plan zum Schutz der Rechte von Kindern im Internet dar, indem der Missbrauch gängiger Technologietools durch Kinderschänder bekämpft wird, die ihrer Meinung nach zunehmend Messaging-Apps verwenden, um Material über sexuellen Kindesmissbrauch (Child Sexual Abuse Material, CSAM) zu verbreiten und sich sogar Zugang zu neuen Opfern zu verschaffen.

Vielleicht aufgrund der Lobbyarbeit aus dem Bereich der Kindersicherheitstechnologie hat die EU einen technologielösungsorientierten Ansatz gewählt. Die Initiative der Kommission konzentriert sich auf die Regulierung digitaler Dienste – vor allem Messaging-Apps – indem sie ihnen gesetzlich die Pflicht auferlegt, mithilfe von Technologietools die Kommunikation der Benutzer zu scannen, um illegale Aktivitäten aufzudecken und zu melden.

Seit mehreren Jahren gibt es für gängige Messaging-Apps eine vorübergehende Ausnahmeregelung von den ePrivacy-Regeln des Blocks, die sich mit der Vertraulichkeit digitaler Kommunikation befassen – die Ausnahmeregelung läuft bis Mai 2025gemäß seiner letzten Erweiterung – damit sie in bestimmten Szenarien freiwillig die Kommunikation von Personen auf CSAM scannen können.

Allerdings würde die Kindesmissbrauchsverordnung dauerhafte Regeln schaffen, die im Wesentlichen die KI-basierte Inhaltsüberprüfung in der gesamten EU vorschreiben.

Kritiker des Vorschlags argumentieren, dass dies zu einer Situation führen würde, in der Messaging-Plattformen gezwungen wären, standardmäßig unvollkommene Technologien zu verwenden, um die private Korrespondenz der Benutzer zu scannen – mit verheerenden Folgen für die Privatsphäre der Menschen. Sie warnen auch, dass dies die EU auf Kollisionskurs mit starker Verschlüsselung bringt, da das Gesetz Ende-zu-Ende-verschlüsselte (E2EE) Apps dazu zwingen würde, ihre Sicherheit herabzusetzen, um den Anforderungen der Inhaltsüberprüfung nachzukommen.

Die Besorgnis über den Vorschlag ist so groß, dass der Datenschutzbeauftragte der Union letztes Jahr warnte, dass er einen Wendepunkt für demokratische Rechte darstelle. Auch ein Rechtsberatungsdienst des Europäischen Rates hält es für unvereinbar mit EU-Recht, wie aus seiner Bewertung hervorgeht. Das EU-Recht verbietet zwar die Auferlegung einer allgemeinen Überwachungspflicht, so dass im Falle einer Verabschiedung des Gesetzes mit ziemlicher Sicherheit eine rechtliche Anfechtung droht.

Bisher konnten sich die EU-Gesetzgeber nicht auf das weitere Vorgehen in diesem Dossier einigen. Aber der Gesetzesentwurf bleibt bestehen – ebenso wie alle damit verbundenen Risiken.

Umfangreiche CSAM-Erkennungsaufträge

Der ursprüngliche Vorschlag der Kommission enthält die Anforderung, dass Plattformen, sobald eine Erkennungsanordnung erteilt wurde, die Nachrichten von Personen nicht nur auf bekannte CSAM (d. h. Bilder von Kindesmissbrauch, die zuvor identifiziert und zur Erkennung gehasht wurden) scannen müssen, sondern auch auf unbekannte CSAM ( d. h. neue Missbrauchsbilder). Dies würde die technische Herausforderung, illegale Inhalte mit einem hohen Maß an Genauigkeit und wenigen Fehlalarmen zu erkennen, noch weiter erhöhen.

Ein weiterer Bestandteil des Kommissionsvorschlags verlangt von Plattformen, Grooming-Aktivitäten in Echtzeit zu erkennen. Das bedeutet, dass Apps zusätzlich zum Scannen von Bild-Uploads für CSAM in der Lage sein müssten, die Inhalte der Benutzerkommunikation zu analysieren, um zu verstehen, wann ein erwachsener Benutzer möglicherweise versucht, einen Minderjährigen zu sexuellen Aktivitäten zu verleiten.

Der Einsatz automatisierter Tools zur Erkennung von Verhaltenszeichen, die auf künftigen Missbrauch bei allgemeinen Interaktionen zwischen App-Nutzern hindeuten könnten, lässt ein großes Potenzial für die Fehlinterpretation harmlosen Geschwätzes erkennen. Insgesamt würden die weitreichenden CSAM-Erkennungsanforderungen der Kommission Mainstream-Nachrichtenplattformen in Instrumente der Massenüberwachung verwandeln, meinen Gegner des Vorschlags.

„Chat-Kontrolle“ ist der wichtigste Spitzname, den sie sich ausgedacht haben, um Bedenken hinsichtlich der Verabschiedung eines Gesetzes durch die EU auszudrücken, das eine umfassende Überprüfung der digitalen Nachrichten von Privatpersonen vorschreibt – bis hin zur Überprüfung der von ihnen gesendeten Textnachrichten.

Wie sieht es mit der Ende-zu-Ende-Verschlüsselung aus?

Auch der ursprüngliche Kommissionsvorschlag für eine Verordnung zur Bekämpfung des sexuellen Missbrauchs von Kindern befreit E2EE-Plattformen nicht von den CSAM-Erkennungspflichten.

Und da die Verwendung von E2EE bedeutet, dass solche Plattformen nicht in der Lage sind, auf lesbare Versionen der Benutzerkommunikation zuzugreifen – weil sie keine Verschlüsselungsschlüssel besitzen –, stünden sichere Messaging-Dienste, wenn sie legal wären, vor einem besonderen Compliance-Problem erforderlich, um Inhalte zu verstehen, die sie nicht sehen können.

Kritiker des EU-Plans warnen daher davor, dass das Gesetz E2EE-Messaging-Plattformen dazu zwingen wird, die von ihnen angebotenen Flaggschiff-Sicherheitsmaßnahmen durch die Implementierung riskanter Technologien wie clientseitiges Scannen als Compliance-Maßnahme herabzusetzen.

Im Vorschlag der Kommission werden keine spezifischen Technologien erwähnt, die Plattformen zur CSAM-Erkennung einsetzen sollten. Entscheidungen werden an ein EU-Zentrum zur Bekämpfung sexuellen Kindesmissbrauchs verlagert, das das Gesetz vorsieht. Experten gehen jedoch davon aus, dass dies höchstwahrscheinlich dazu dienen würde, die Einführung clientseitiger Scans zu erzwingen.

Eine andere Möglichkeit besteht darin, dass Plattformen, die eine starke Verschlüsselung implementiert haben, ihre Dienste vollständig aus der Region zurückziehen könnten; Signal Messenger zum Beispiel hat zuvor gewarnt, dass es einen Markt verlassen würde, anstatt gesetzlich dazu gezwungen zu werden, die Benutzersicherheit zu gefährden. Diese Aussicht könnte dazu führen, dass Menschen in der EU keinen Zugang zu Mainstream-Apps haben, die zum Schutz digitaler Kommunikation die Goldstandard-E2EE-Sicherheitsprotokolle verwenden, wie Signal, WhatsApp von Meta oder Apples iMessage, um nur drei zu nennen.

Keine der von der EU vorgeschlagenen Maßnahmen hätte die beabsichtigte Wirkung, Kindesmissbrauch zu verhindern, behaupten Gegner des Vorschlags. Stattdessen prognostizieren sie schreckliche Folgefolgen für App-Nutzer, da die private Kommunikation von Millionen Europäern unvollkommenen Scan-Algorithmen ausgesetzt ist.

Das wiederum birgt die Gefahr, dass zahlreiche Fehlalarme ausgelöst werden, argumentieren sie. Millionen unschuldiger Menschen könnten fälschlicherweise in verdächtige Aktivitäten verwickelt werden und die Strafverfolgungsbehörden mit einer Fülle falscher Berichte belasten.

Das System, das der EU-Vorschlag vorsieht, müsste die privaten Nachrichten der Bürger regelmäßig an Dritte weitergeben, die an der Überprüfung verdächtiger Inhaltsmeldungen beteiligt wären, die von den Erkennungssystemen der Plattformen an sie gesendet werden. Selbst wenn also ein bestimmter gekennzeichneter Inhalt nicht zur Untersuchung an die Strafverfolgungsbehörden weitergeleitet wurde, da er zu einem früheren Zeitpunkt in der Meldekette als nicht verdächtig identifiziert wurde, wäre er zwangsläufig dennoch von jemand anderem geprüft worden als der Absender und der/die vorgesehene(n) Empfänger. Also RIP, Kommunikationsdatenschutz.

Die Sicherung persönlicher Kommunikation, die von anderen Plattformen herausgefiltert wurde, würde auch eine ständige Sicherheitsherausforderung darstellen, da die Gefahr besteht, dass gemeldete Inhalte noch weiter offengelegt werden, wenn Dritte, die an der Verarbeitung von Inhaltsmeldungen beteiligt sind, schlechte Sicherheitspraktiken anwenden.

Menschen nutzen E2EE aus einem bestimmten Grund, und es ist genau das Richtige, dass keine Zwischenhändler Ihre Daten anfassen.

Wo ist dieser gruselige Plan jetzt?

Typischerweise ist die EU-Gesetzgebung eine Drei-Wege-Angelegenheit: Die Kommission schlägt Gesetze vor und ihre Mitgesetzgeber im Europäischen Parlament und im Rat arbeiten mit der Exekutive der Union zusammen, um einen Kompromiss zu finden, auf den sich alle einigen können.

Im Fall der Kindesmissbrauchsverordnung waren die EU-Institutionen bislang jedoch sehr unterschiedlicher Meinung zu dem Vorschlag.

Vor einem Jahr einigten sich die Abgeordneten im Europäischen Parlament auf ihre Verhandlungsposition, indem sie umfassende Änderungen am Kommissionsvorschlag vorschlugen. Parlamentarier aus dem gesamten politischen Spektrum unterstützten wesentliche Änderungsanträge, die darauf abzielten, die Rechtsrisiken zu verringern – einschließlich der Unterstützung einer vollständigen Ausgliederung der E2EE-Plattformen von den Scan-Anforderungen.

Sie schlugen außerdem vor, das Scannen einzuschränken, um es weitaus zielgerichteter zu machen: Sie fügten eine Maßgabe hinzu, dass nur die Nachrichten von Einzelpersonen oder Gruppen überprüft werden sollten, die des sexuellen Missbrauchs von Kindern verdächtigt werden – das heißt, anstatt das Gesetz eine pauschale Überprüfung aller Nachrichten vorzuschreiben Benutzer, sobald eine Plattform mit einem Erkennungsauftrag bedient wird.

Eine weitere von den Abgeordneten unterstützte Änderung würde die Erkennung auf bekannte und unbekannte CSAM beschränken und die Anforderung aufheben, dass Plattformen auch Grooming-Aktivitäten durch die Überprüfung textbasierter Austausche erfassen.

Die parlamentarische Version des Vorschlags drängte auch auf die Einbeziehung anderer Arten von Maßnahmen, wie z. B. Anforderungen an Plattformen, den Schutz der Privatsphäre der Nutzer zu verbessern, indem Profile standardmäßig auf „nicht öffentlich“ gesetzt werden, um das Risiko zu verringern, dass Minderjährige von räuberischen Erwachsenen entdeckt werden.

Insgesamt sieht der Ansatz der Abgeordneten deutlich ausgewogener aus als der ursprüngliche Vorschlag der Kommission. Seitdem haben die EU-Wahlen jedoch die Zusammensetzung des Parlaments verändert. Die Ansichten über die neuen Mitglieder des Europäischen Parlaments sind weniger klar.

Es stellt sich auch noch die Frage, was der Europäische Rat, das Gremium bestehend aus Vertretern der Regierungen der Mitgliedstaaten, tun wird. Es muss sich noch auf ein Verhandlungsmandat zu diesem Dossier einigen, weshalb Gespräche mit dem Parlament noch nicht aufgenommen werden konnten.

Jeder, der sich für Privatsphäre entscheidet, wird auf einen einfachen Funktionsumfang im Stil eines dummen Telefons herabgestuft, der nur aus Text und Audio besteht. Ja, genau das haben die regionalen Gesetzgeber in Betracht gezogen.

Der Rat ignorierte letztes Jahr die Bitten der Abgeordneten, sich ihrem Kompromiss anzuschließen. Stattdessen scheinen die Mitgliedstaaten eine Position zu bevorzugen, die dem „Alles scannen“-Original der Kommission viel näher kommt. Es gibt aber auch Meinungsverschiedenheiten zwischen den Mitgliedsstaaten über das weitere Vorgehen. Und bisher haben genügend Länder Einwände gegen Kompromisstexte erhoben, die ihnen von der Ratspräsidentschaft vorgelegt wurden, um sich auf ein Mandat zu einigen.

Vorschläge, die während der Ratsdiskussionen durchgesickert sind, deuten darauf hin, dass die Regierungen der Mitgliedstaaten immer noch versuchen, die Möglichkeit zur pauschalen Überprüfung von Inhalten aufrechtzuerhalten. Doch in einem Kompromisstext vom Mai 2024 wurde versucht, die Art und Weise, wie dies dargestellt wurde, zu optimieren – indem er die rechtliche Anforderung auf Messaging-Plattformen beschönigend als „Upload-Moderation“ bezeichnete.

Dies löste eine öffentliche Intervention von Signal-Präsidentin Meredith Whittaker aus, die den EU-Gesetzgebern vorwarf, sich „rhetorischen Spielen“ hinzugeben, um Unterstützung für das Massenscannen der Kommunikation der Bürger zu gewinnen. Sie warnte in sachlichem Ton, dass dies „die Verschlüsselung grundlegend untergraben“ würde.

Der Text, der damals auch an die Presse gelangte angeblich schlug vor, dass Benutzer von Messaging-Apps um ihre Zustimmung zum Scannen ihrer Inhalte gebeten werden könnten. Allerdings würden für Benutzer, die der Überprüfung nicht zustimmten, wichtige Funktionen ihrer App deaktiviert, sodass sie keine Bilder oder URLs senden könnten.

In diesem Szenario wären Nutzer von Messaging-Apps in der EU im Wesentlichen gezwungen, sich zwischen dem Schutz ihrer Privatsphäre und einem modernen Messaging-App-Erlebnis zu entscheiden. Jeder, der sich für Privatsphäre entscheidet, wird auf einen einfachen Funktionsumfang im Dumbphone-Stil herabgestuft, der nur aus Text und Audio besteht. Ja, genau das haben die regionalen Gesetzgeber in Betracht gezogen.

In jüngerer Zeit gibt es Anzeichen dafür, dass die Unterstützung im Rat für die Forderung nach einer Massenüberwachung der Nachrichten der Bürger nachlassen könnte. Anfang des Monats berichtete Netzpolitik über eine Ankündigung der niederländischen Regierung Sie sagte, sie werde sich bei einem weiteren optimierten Kompromiss der Stimme enthaltenunter Berufung auf Bedenken hinsichtlich der Auswirkungen auf E2EE sowie der Sicherheitsrisiken, die durch clientseitiges Scannen entstehen.

Anfang dieses Monats wurde auch über die Verordnung diskutiert von einer anderen Tagesordnung des Rates gestrichen werdenoffenbar aufgrund der fehlenden qualifizierten Mehrheit.

Es gibt jedoch eine große Anzahl von EU-Ländern, die weiterhin den Vorstoß der Kommission zur flächendeckenden Nachrichtenprüfung unterstützen. Und die derzeitige ungarische Ratspräsidentschaft scheint weiterhin entschlossen zu sein, einen Kompromiss zu finden. Das Risiko ist also nicht verschwunden.

Die Mitgliedstaaten könnten immer noch zu einer Version eines Vorschlags kommen, die ihre Regierungen ausreichend zufriedenstellt, um die Tür zu Gesprächen mit Europaabgeordneten zu öffnen, was im Rahmen der nichtöffentlichen Trilog-Diskussionen der EU alles zur Disposition stellen würde. Daher steht weiterhin viel auf dem Spiel für die Rechte der europäischen Bürger – und für den Ruf der Union als Verfechter des Datenschutzes.

tch-1-tech