Character.AI wurde nach dem Selbstmord eines 14-jährigen Jungen aus Florida verklagt, dessen Mutter sagt, er sei von einem Chatbot auf der Plattform besessen gewesen.
Nach Nach Angaben der New York Times hatte Sewell Setzer III, ein Neuntklässler aus Orlando, Monate damit verbracht, mit Chatbots über die KI-Rollenspiel-App von Character.AI zu sprechen. Setzer entwickelte eine emotionale Bindung insbesondere zu einem Bot, „Dany“, dem er ständig SMS schrieb – bis zu dem Punkt, an dem er begann, sich von der realen Welt zurückzuziehen.
Setzer gestand dem Bot Selbstmordgedanken und teilte dies kurz vor seinem Tod mit.
Heute Morgen, Character.AI sagte Es würde eine Reihe neuer Sicherheitsfunktionen einführen, darunter eine „verbesserte Erkennung, Reaktion und Intervention“ im Zusammenhang mit Chats, die gegen die Nutzungsbedingungen verstoßen, und eine Benachrichtigung, wenn ein Benutzer eine Stunde in einem Chat verbracht hat.
Wie The Times schreibt, gibt es mittlerweile eine boomende Branche von KI-Begleitungs-Apps – deren Auswirkungen auf die psychische Gesundheit weitgehend unerforscht sind.