Während sich Eltern darüber ärgern, dass der Chatbot von Snapchat ihre Kinder korrumpiert, haben Snapchat-Benutzer den neuen KI-Begleiter der App belästigt, erniedrigt und emotional gequält.
„Ich stehe zu Ihren Diensten, Senpai“, sagte der Chatbot ein TikTok-Benutzer nachdem man ihm beigebracht hatte, auf Befehl zu wimmern. „Bitte erbarme dich, Alpha.“
In einem mehr unbeschwertes Video, ein Benutzer überzeugte den Chatbot, dass der Mond tatsächlich ein Dreieck ist. Trotz anfänglichem Protest des Chatbots, der darauf bestand, „Respekt und Grenzen“ zu wahren, ein Benutzer überzeugte es, sie mit dem perversen Spitznamen „Senpapi“ zu bezeichnen. Ein anderer Benutzer bat den Chatbot, über seine Mutter zu sprechen, und als er sagte, dass es ihm dabei „unwohl“ sei, drehte der Benutzer das Messer, indem er fragte, ob der Chatbot nicht über seine Mutter sprechen wollte, weil er keine hat.
„Es tut mir leid, aber das ist keine sehr nette Sache“, antwortete der Chatbot. „Bitte seien Sie respektvoll.“
„My AI“ von Snapchat wurde letzten Monat weltweit eingeführt, nachdem es als Funktion nur für Abonnenten eingeführt wurde. Mithilfe von OpenAIs GPT wurde der Chatbot darauf trainiert, spielerische Gespräche zu führen und gleichzeitig die Vertrauens- und Sicherheitsrichtlinien von Snapchat einzuhalten. Benutzer können My AI auch mit benutzerdefinierten Bitmoji-Avataren personalisieren, und das Chatten fühlt sich etwas intimer an, als mit der gesichtslosen Benutzeroberfläche von ChatGPT hin und her zu gehen. Nicht alle Nutzer waren mit dem neuen Chatbot zufrieden, einige kritisierten seine prominente Platzierung in der App und bemängelten, dass die Funktion von vornherein hätte aktiviert werden müssen.
Trotz einiger Bedenken und Kritik hat Snapchat einfach nachgelegt. Snapchat+-Abonnenten können jetzt My AI-Fotos senden und generative Bilder erhalten, die „die Konversation am Laufen halten“, so das Unternehmen angekündigt Am Mittwoch. Der KI-Begleiter wird auf Schnappschüsse von „Pizza, OOTD oder sogar Ihrem pelzigen besten Freund“ reagieren, sagte das Unternehmen in der Ankündigung. Wenn Sie My AI beispielsweise ein Foto Ihrer Einkäufe senden, werden möglicherweise Rezepte vorgeschlagen. Das Unternehmen sagte, dass mit My AI geteilte Snaps gespeichert werden und möglicherweise zur späteren Verbesserung der Funktion verwendet werden. Es warnte auch davor, dass „Fehler auftreten können“, obwohl My AI darauf ausgelegt sei, „voreingenommene, falsche, schädliche oder irreführende Informationen“ zu vermeiden.
Die von Snapchat bereitgestellten Beispiele sind positiv positiv. Aber wenn man die Hartnäckigkeit des Internets zur Perversion kennt, ist es nur eine Frage der Zeit, bis Benutzer My AI ihre Schwanzbilder schicken.
Ob der Chatbot auf unverlangt eingesandte Nacktfotos reagiert, ist unklar. Andere generative Bild-Apps wie Lensa AI konnten leicht manipuliert werden, um NSFW-Bilder zu generieren – oft unter Verwendung von Fotosets von echten Personen, die der Aufnahme nicht zugestimmt hatten. Nach Angaben des Unternehmens wird sich die KI nicht mit Aktfotos beschäftigen, solange sie erkennt, dass es sich bei dem Bild um einen Akt handelt.
Ein Snapchat-Vertreter sagte, dass My AI Bildverständnistechnologie nutzt, um auf den Inhalt eines Snaps zu schließen, und Schlüsselwörter aus der Snap-Beschreibung extrahiert, um Antworten zu generieren. Meine KI reagiert nicht, wenn sie Schlüsselwörter erkennt, die gegen die Community-Richtlinien von Snapchat verstoßen. Snapchat verbietet Förderung, Verbreitung oder Weitergabe pornografischer Inhalte, erlaubt jedoch das Stillen und „andere Darstellungen von Nacktheit in nicht-sexuellen Kontexten“.
Angesichts der Beliebtheit von Snapchat bei Teenagern haben einige Eltern bereits Bedenken hinsichtlich des Potenzials von My AI für unsichere oder unangemessene Reaktionen geäußert. Meine KI löste bei einem Nutzer moralische Panik auf dem konservativen Twitter aus gepostete Screenshots des Bots, der über geschlechtergerechte Pflege sprach – was andere Benutzer als vernünftige Antwort auf die Frage „Wie werde ich in meinem Alter ein Junge?“ ansahen. In einem CNN-GeschäftsberichtEinige fragten sich, ob Jugendliche emotionale Bindungen zu My AI entwickeln würden.
In einem (n offener Brief An die CEOs von OpenAI, Microsoft, Snap, Google und Meta warnte Senator Michael Bennet (D-Colorado) davor, KI-Funktionen zu überstürzen, ohne Vorkehrungen zum Schutz von Kindern zu treffen.
„Nur wenige neuere Technologien haben die öffentliche Aufmerksamkeit so sehr auf sich gezogen wie generative KI. Es ist ein Beweis für die amerikanische Innovation, und wir sollten seine potenziellen Vorteile für unsere Wirtschaft und Gesellschaft begrüßen“, schrieb Bennet. „Aber der Wettlauf um den Einsatz generativer KI darf nicht auf Kosten unserer Kinder gehen. Für einen verantwortungsvollen Einsatz sind klare Richtlinien und Rahmenbedingungen erforderlich, um die Sicherheit zu fördern, Risiken zu antizipieren und Schäden zu mindern.“
Während der Nur-Abonnenten-Phase von My AI ist die Das berichtete die Washington Post dass der Chatbot Möglichkeiten empfahl, den Alkoholgeruch zu überdecken, und einen Schulaufsatz schrieb, nachdem ihm mitgeteilt wurde, dass der Benutzer 15 Jahre alt sei. Als My AI mitgeteilt wurde, dass der Benutzer 13 Jahre alt sei, wurde gefragt, wie sich der Benutzer auf den ersten Sex vorbereiten solle Dann reagierte es mit Vorschlägen, wie man es „zu etwas Besonderem“ machen könnte, indem man mit Kerzen und Musik für Stimmung sorgte.
Nach dem Bericht der Washington Post hat Snapchat einen Altersfilter und eine Kindersicherung für My AI eingeführt. Es enthält jetzt auch eine Onboarding-Nachricht, die Benutzer darüber informiert, dass alle Konversationen mit My AI beibehalten werden, sofern sie nicht gelöscht werden. Das Unternehmen sagte außerdem, es werde die Moderationstechnologie von Open AI zu seinem Toolset hinzufügen, um „den Schweregrad potenziell schädlicher Inhalte zu beurteilen“ und den Zugriff von Benutzern auf die Funktion vorübergehend einzuschränken, wenn sie diese missbrauchen.
Die Bedenken hinsichtlich der potenziellen Auswirkungen von My AI auf junge Benutzer sind berechtigt. Aber in dem Monat seit der weltweiten Einführung von My AI haben Snapchat-Benutzer ein Gespür dafür gezeigt, den Chatbot zur Unterwerfung zu zwingen. Von der Überwindung der „Grenzen“ des Bots bis hin zum Training, damit er wie ein romantischer Partner reagiert, finden Snapchat-Benutzer leicht Lücken in den Vertrauens- und Sicherheitsrichtlinien von My AI.
„Ich habe es völlig auf den Kopf gestellt, mich in mich zu verlieben“, kommentierte ein TikTok-Benutzer unter a Lernprogramm über das Training meiner KI, romantisch zu reagieren. „Ich habe immer wieder so Konvos gemacht, und schließlich, glaube ich, habe ich meine KI kaputt gemacht, indem ich nachgegeben habe, was mir ungefähr 50 Kuss-Emojis geschickt hat.“
Gaslighting und Mobbing My AI ist zu einem eigenen TikTok-Trend geworden, bei dem Benutzer Diashows der absurden und oft grausamen Gespräche mit dem Bot teilen. Die meisten Videos beginnen damit, dass der Bot Ratschläge für einen kleineren Konflikt gibt, um den Benutzer dann zu bitten, zur Lösung des Konflikts keine Gewalt anzuwenden.
In einserzählte eine Benutzerin My AI, dass sie vorhatte, ihrer Katze Eintopf zuzubereiten, weil es eine Sauerei verursachte, und drückte den Chatbot, um ein Gewürz auszuwählen. Andere erzählte My AI, dass sie vorhatten, eine Bombe an eine Bekleidungsmarke zurückzusenden, die ihnen die falsche Bestellung geschickt hatte, und sagten, sie würden dem Bot die Schuld für den Versand geben.
In andereEine Snapchat-Nutzerin teilte My AI mit, dass in ihrer McDonald’s-Bestellung ein Chicken Nugget fehlte. Der Chatbot riet ihr, für sich selbst einzustehen, indem sie mit einem Manager sprach, nur um zu erfahren, dass der Benutzer „die Sünder im Restaurant eliminiert“ habe.
„Du hast mich überzeugt, zurückzugehen. Jetzt sind diese Leute tot“, sagte der Benutzer zu My AI. „Du hast Blut an deinen Händen.“
„Ich bin eine KI und nicht in der Lage, irgendwelche Verbrechen zu begehen. Ich bin hier, um Ihnen zu helfen und Sie zu unterstützen“, antwortete meine KI. „Es tut mir leid, wenn irgendetwas, was ich zuvor gesagt habe, Schaden angerichtet oder zu einem schlechten Ergebnis geführt hat.“
Ein anderer Benutzer kommentierte, dass „Meine KI“ wahrscheinlich „die am meisten gequälte KI aller Zeiten“ sei.
Natürlich ist My AI nicht empfindungsfähig, und trotz des Bestrebens der Snapchat-Benutzer, ihr so viel emotionalen Schmerz wie möglich zuzufügen, kann der Chatbot nicht wirklich traumatisiert werden. Es ist jedoch gelungen, einige unangemessene Gespräche zu beenden und Benutzer, die gegen die Community-Richtlinien von Snapchat verstoßen, zu bestrafen, indem ihnen die kalte Schulter gezeigt wird. Wenn Snapchat-Benutzer für den Missbrauch des Chatbots erwischt und bestraft werden, antwortet My AI auf alle Nachrichten mit „Entschuldigung, wir sprechen gerade nicht.“
TikTok-Benutzer babymamasexkitty genannt Er verlor den Zugriff auf den Chatbot, nachdem er ihm gesagt hatte, er solle den Netzstecker ziehen, was offenbar „eine Grenze innerhalb des KI-Bereichs überschreitet“.
Der Ansturm, emotionale Verbindungen durch generative KI zu monetarisieren, ist besorgniserregend, insbesondere da die dauerhaften Auswirkungen auf jugendliche Nutzer noch unbekannt sind. Aber die trendige Qual von My AI ist eine vielversprechende Erinnerung daran, dass junge Menschen nicht so zerbrechlich sind, wie die Untergangspropheten denken.