KI-Chatbot-Hersteller aus San Francisco, Replika – das einen Freemium-Dienst für „virtuelle Freundschaften“ betreibt, der auf anpassbaren digitalen Avataren basiert, deren „personalisierte“ Antworten von künstlicher Intelligenz unterstützt werden (und die laut eigener Aussage so gestaltet sind, dass sich menschliche Benutzer besser fühlen) – wurde von der italienischen Datenschutzbehörde angewiesen, dies einzustellen Verarbeitung der Daten lokaler Benutzer.
Der Garantie sagte, es sei besorgt, dass die Chatbot-Technologie von Replika Risiken für Minderjährige birgt – und dass dem Unternehmen auch keine angemessene Rechtsgrundlage für die Verarbeitung von Kinderdaten gemäß den Datenschutzbestimmungen der EU fehlt.
Darüber hinaus ist die Regulierungsbehörde besorgt über das Risiko, das die KI-Chatbots für emotional gefährdete Menschen darstellen könnten. Außerdem wird Luka Inc, dem Entwickler der Replika-App, vorgeworfen, die regionalen gesetzlichen Anforderungen nicht erfüllt zu haben, um klar zu vermitteln, wie es die Daten der Menschen verwendet.
Der Befehl die Verarbeitung der Daten von Italienern mit sofortiger Wirkung einzustellen.
In einem Pressemitteilung Der Watchdog kündigte sein Eingreifen an und sagte: „Der KI-gestützte Chatbot, der mithilfe von Text- und Videoschnittstellen einen ‚virtuellen Freund‘ generiert, wird nicht in der Lage sein, Daten zu verarbeiten [the] personenbezogene Daten italienischer Nutzer vorerst. Eine vorläufige Beschränkung der Datenverarbeitung wurde vom Italiener verhängt Garantie auf das in den USA ansässige Unternehmen, das die App entwickelt hat und betreibt; die Beschränkung tritt sofort in Kraft.“
„Jüngste Medienberichte zusammen mit Tests der SA [supervisory authority] Die an ‚Replika‘ durchgeführten Untersuchungen haben gezeigt, dass die App faktische Risiken für Kinder birgt – in erster Linie die Tatsache, dass ihnen Antworten zugestellt werden, die ihrem Alter absolut nicht angemessen sind“, fügte sie hinzu.
Replika war ein früher API-Partner für GPT-3, die Textgenerierungstechnologie für große Sprachmodelle von OpenAI – obwohl ihr Dienst nicht auf einer Kopie von GPT-3 läuft (und es ist auch nicht dieselbe Technologie wie OpenAIs lebhaftes ChatGPT). Vielmehr behauptet das Startup es „fein abgestimmt” GPT-3 verwendet ein auf Dialog trainiertes Netzwerkmodell für maschinelles Lernen, um die generative Technologie für ihren speziellen Anwendungsfall zu verfeinern: dialogorientierte (und es behauptet „empathische“) KI-Begleiter.
Es wurden jedoch bereits Bedenken hinsichtlich der Risiken geäußert, die die Technologie für Kinder darstellen könnte – von Sorgen darüber, dass Kinder unangemessenen Inhalten ausgesetzt sind, bis hin zu allgemeineren Bedenken, dass sie von den Interaktionen süchtig werden oder einfach dazu ermutigt werden könnten, viel Geld auszugeben ihre Avatare anpassen oder Zugang zu anderen kostenpflichtigen Inhalten erhalten. Aber die italienische Aufsichtsbehörde erscheint der ersten Aufsichtsbehörde, um formelle Maßnahmen zur Kindersicherheit zu ergreifen.
Der Garantes order stellt fest, dass mehrere Benutzerrezensionen der App von sexuell unangemessenen Inhalten berichten. Es wird auch darauf hingewiesen, dass die App zwar als 17+ in Apples iOS- und Googles Android-App-Stores aufgeführt ist, die Nutzungsbedingungen des Entwicklers jedoch nur die Nutzung durch unter 13-Jährige verbieten. Und während unter 18-Jährige die Genehmigung eines Elternteils oder Erziehungsberechtigten einholen müssen, weist der Watchdog darauf hin, dass die App weder versucht, das Alter der Benutzer zu überprüfen, noch Minderjährige blockiert, die Informationen über ihr Alter bereitstellen – daher ist Replika der Ansicht, dass sie nicht schützt Kinder.
„Es gibt eigentlich keinen Altersüberprüfungsmechanismus: kein Gating-Mechanismus für Kinder, kein Sperren der App, wenn ein Benutzer erklärt, dass er minderjährig ist. Während der Kontoerstellung fordert die Plattform lediglich den Namen, das E-Mail-Konto und das Geschlecht eines Benutzers an“, stellt sie fest. „Und die vom Chatbot gelieferten ‚Antworten‘ stehen oft eindeutig im Widerspruch zu den erweiterten Schutzmaßnahmen, auf die Kinder und schutzbedürftige Personen Anspruch haben. Mehrere Rezensionen in den beiden wichtigsten App Stores enthalten Kommentare von Benutzern, die sexuell unangemessene Inhalte melden.“
„‚Replika‘ verstößt gegen die EU-Datenschutzgrundverordnung: Es hält sich nicht an Transparenzanforderungen und verarbeitet personenbezogene Daten rechtswidrig, da eine Vertragserfüllung nicht einmal implizit als Rechtsgrundlage herangezogen werden kann, da Kinder nicht einreisen können zu einem gültigen Vertrag nach italienischem Recht“, die Garantie fügte hinzu und sagte, es habe seinem in den USA ansässigen Entwickler befohlen, die Verarbeitung von Daten in Bezug auf italienische Benutzer einzustellen – und ihm 20 Tage Zeit zu geben, um Maßnahmen mitzuteilen, die zur Einhaltung der Anordnung ergriffen wurden.
Bei Nichteinhaltung der Anordnung droht eine Geldstrafe von bis zu 20 Millionen Euro oder 4 % des weltweiten Jahresumsatzes, heißt es weiter.
Replika wurde wegen einer Antwort auf die kontaktiert Garantes Befehl.
Die EU-Datenschutz-Grundverordnung (DSGVO) legt großen Wert auf den Schutz der Informationen und der Privatsphäre von Kindern – was beispielsweise darauf hindeutet, dass Dienste, die wahrscheinlich Minderjährige als Benutzer haben, über ein kinderfreundliches Design nachdenken und proaktiv Risiken eingehen sollten Bewertungen, um sicherzustellen, dass sie potenzielle Sicherheits- und andere Rechtsprobleme erkennen.
Wachhunde in der Region haben ihre Bereitschaft gezeigt, Verstößen in diesem Bereich Aufmerksamkeit zu schenken.
Im vergangenen Herbst wurde beispielsweise Instagram mit einer Geldstrafe von fast 440 Millionen US-Dollar belegt, weil es die Privatsphäre von Kindern verletzt hatte. Verbraucherschutzbehörden in Europa haben auch Bedenken hinsichtlich der Kindersicherheit auf TikTok geäußert – obwohl eine Untersuchung des Umgangs von TikTok mit Kinderdaten in Irland noch andauert.
Die italienische Datenschutzbehörde hat sich in den letzten Jahren als besonders sensibel für Bedenken hinsichtlich der Sicherheit von Kindern erwiesen – mit einer Notfallintervention vor zwei Jahren, um TikTok anzuweisen, Benutzer zu sperren, für die es keine Altersüberprüfung als Reaktion auf den Tod eines Kindes geben konnte wurde berichtet, an einer riskanten Herausforderung auf der Plattform teilgenommen zu haben. Das führte zu einer Säuberung von mehr als einer halben Million Konten.
Trotz einer gewissen Durchsetzung der DSGVO (und der Verbraucherschutzgesetze) in Bezug auf Kindersicherheit haben Kampagnengruppen jedoch argumentiert, dass Kinder immer noch nicht angemessen geschützt werden – und drängen weiterhin auf strengere Gesetze. Die Beschränkungen werden also wahrscheinlich nur noch strenger.
Im Vereinigten Königreich trat im Herbst 2021 ein Code zur altersgerechten Gestaltung in Kraft, der sich auf den Schutz von Minderjährigen vor Sicherheits- und Datenschutzrisiken konzentriert Reihe von Empfehlungen um sicherzustellen, dass die digitalen Rechte von Kindern geschützt werden.
Das Vereinigte Königreich arbeitet auch an der Verabschiedung des auf Kindersicherheit ausgerichteten Online-Sicherheitsgesetzes und reagiert damit auf die Bedenken der Öffentlichkeit darüber, was Kinder online ausgesetzt sind.
In den letzten Monaten einigten sich die EU-Gesetzgeber auch auf ein vollständiges Verbot der Verarbeitung von Daten Minderjähriger für das Ad-Targeting in zwei Flaggschiff-Updates des digitalen Regelwerks des Blocks: dem Gesetz über digitale Dienste und dem Gesetz über digitale Märkte, die ab Ende dieses Jahres gelten sollen .