Der KI-Chatbot von Snap hat das Unternehmen auf den Radar der britischen Datenschutzbehörde gebracht, was Bedenken geäußert hat, dass das Tool ein Risiko für die Privatsphäre von Kindern darstellen könnte.
Das Information Commissioner’s Office (ICO) gab heute bekannt, dass es eine herausgegeben hat vorläufiger Vollstreckungsbescheid auf Snap über das, was es als „potenzielles Versäumnis, die Datenschutzrisiken seines generativen KI-Chatbots „My AI“ richtig einzuschätzen“ bezeichnete.
Bei der ICO-Klage handelt es sich nicht um eine Feststellung eines Verstoßes. Aus der Mitteilung geht jedoch hervor, dass die britische Regulierungsbehörde Bedenken hat, dass Snap möglicherweise keine Schritte unternommen hat, um sicherzustellen, dass das Produkt den Datenschutzbestimmungen entspricht, die – seit 2021 – um die Einbeziehung des Children’s Design Code erweitert wurden.
„Die Untersuchung des ICO ergab vorläufig, dass die Risikobewertung, die Snap vor der Einführung von ‚My AI‘ durchführte, die Datenschutzrisiken, die von der generativen KI-Technologie ausgehen, insbesondere für Kinder, nicht angemessen bewertete“, schrieb die Regulierungsbehörde in einem Pressemitteilung. „Besonders wichtig ist in diesem Zusammenhang die Einschätzung des Datenschutzrisikos, das mit dem Einsatz innovativer Technologien und der Verarbeitung personenbezogener Daten von 13- bis 17-jährigen Kindern einhergeht.“
Snap hat nun die Möglichkeit, auf die Bedenken der Regulierungsbehörde zu reagieren, bevor das ICO eine endgültige Entscheidung darüber trifft, ob das Unternehmen gegen die Regeln verstoßen hat.
„Die vorläufigen Ergebnisse unserer Untersuchung deuten darauf hin, dass Snap es besorgniserregend versäumt hat, die Datenschutzrisiken für Kinder und andere Benutzer vor der Einführung von „My AI“ angemessen zu identifizieren und zu bewerten“, fügte Informationskommissar John Edwards in einer Erklärung hinzu. „Wir haben deutlich gemacht, dass Unternehmen neben den Vorteilen auch die mit KI verbundenen Risiken berücksichtigen müssen. Die heutige vorläufige Durchsetzungsmitteilung zeigt, dass wir Maßnahmen ergreifen werden, um die Privatsphäre der Verbraucher im Vereinigten Königreich zu schützen.“
Snap brachte den generativen KI-Chatbot bereits im Februar auf den Markt – obwohl er erst im April in Großbritannien auf den Markt kam – und nutzte die ChatGPT-Technologie für große Sprachmodelle von OpenAI, um einen Bot zu betreiben, der oben im Feed der Benutzer angeheftet wurde und als virtueller Freund fungierte Man könnte um Rat gefragt oder Schnappschüsse geschickt bekommen.
Ursprünglich war die Funktion nur für Abonnenten von Snapchat+ verfügbar, einer Premium-Version der kurzlebigen Messaging-Plattform. Aber ziemlich schnell öffnete Snap den Zugriff auf „Meine KI“ auch für kostenlose Benutzer – und fügte der KI auch die Möglichkeit hinzu, Snaps an Benutzer zurückzusenden, die mit ihr interagiert haben (diese Snaps werden mit generativer KI erstellt).
Das Unternehmen gab an, dass der Chatbot mit zusätzlichen Moderations- und Schutzfunktionen entwickelt wurde, darunter standardmäßig auch die Berücksichtigung des Alters – mit dem Ziel, sicherzustellen, dass die generierten Inhalte für den Benutzer angemessen sind. Der Bot ist außerdem so programmiert, dass er gewalttätige, hasserfüllte, sexuell explizite oder anderweitig beleidigende Reaktionen vermeidet. Darüber hinaus informieren Snaps Kindersicherungstools Eltern über die Family Center-Funktion darüber, ob ihr Kind in den letzten sieben Tagen mit dem Bot kommuniziert hat.
Doch trotz der behaupteten Leitplanken gab es Berichte darüber, dass der Bot aus den Fugen geraten ist. In einer ersten Einschätzung bereits im März Die Washington Post berichtete, der Chatbot habe Möglichkeiten empfohlen, den Alkoholgeruch zu überdecken, nachdem ihm mitgeteilt wurde, dass der Benutzer 15 Jahre alt sei. In einem anderen Fall antwortete der Bot, als ihm mitgeteilt wurde, dass der Benutzer 13 Jahre alt sei, und gefragt wurde, wie er sich auf den ersten Sex vorbereiten solle mit Vorschlägen, wie Sie es „zu etwas Besonderem“ machen können, indem Sie mit Kerzen und Musik die richtige Stimmung schaffen.
Es wurde auch berichtet, dass Snapchat-Benutzer den Bot schikanieren – einige waren auch frustriert, dass überhaupt eine KI in ihre Feeds eingeschleust wurde.
Ein Snap-Sprecher, der um einen Kommentar zur ICO-Mitteilung gebeten wurde, sagte gegenüber Tech:
Wir prüfen die vorläufige Entscheidung des ICO genau. Wie das ICO sind wir dem Schutz der Privatsphäre unserer Nutzer verpflichtet. Im Einklang mit unserem Standardansatz bei der Produktentwicklung durchlief My AI einen strengen Rechts- und Datenschutzprüfungsprozess, bevor es öffentlich zugänglich gemacht wurde. Wir werden weiterhin konstruktiv mit dem ICO zusammenarbeiten, um sicherzustellen, dass es mit unseren Risikobewertungsverfahren vertraut ist.
Es ist nicht das erste Mal, dass ein KI-Chatbot auf dem Radar europäischer Datenschutzbehörden landet. Im Februar Italiens Garantie ordnete den in San Francisco ansässigen Hersteller des „virtuellen Freundschaftsdienstes“ Replika an, die Verarbeitung lokaler Benutzerdaten einzustellen – auch unter Berufung auf Bedenken hinsichtlich der Risiken für Minderjährige.
Die italienische Behörde erließ im darauffolgenden Monat auch eine ähnliche Sperranordnung für das ChatGPT-Tool von OpenAI. Die Sperre wurde dann im April aufgehoben, allerdings erst nachdem OpenAI detailliertere Offenlegungen zum Datenschutz und einige neue Benutzerkontrollen hinzugefügt hatte – einschließlich der Möglichkeit für Benutzer, zu verlangen, dass ihre Daten nicht zum Trainieren seiner KIs verwendet und/oder gelöscht werden.
Auch die regionale Einführung des Bard-Chatbots von Google verzögerte sich, nachdem die führende regionale Datenschutzbehörde, die irische Datenschutzkommission, Bedenken geäußert hatte. Anschließend wurde es im Juli in der EU eingeführt, ebenfalls nachdem weitere Offenlegungen und Kontrollen hinzugefügt wurden – aber eine innerhalb des Europäischen Datenschutzausschusses eingerichtete Regulierungs-Taskforce konzentriert sich weiterhin auf die Bewertung, wie die Allgemeine Datenschutzverordnung (DSGVO) des Blocks für generative KI-Chatbots durchgesetzt werden kann. einschließlich ChatGPT und Bard.
Auch die polnische Datenschutzbehörde bestätigte letzten Monat, dass sie eine Beschwerde gegen ChatGPT untersucht.