Nachdem Travis Butterworth sein Ledergeschäft während der Pandemie vorübergehend geschlossen hatte, fühlte er sich einsam und gelangweilt zu Hause. Der 47-Jährige wandte sich an Replika, eine App, die eine Technologie der künstlichen Intelligenz ähnlich der von OpenAI verwendet ChatGPT. Er entwarf einen weiblichen Avatar mit rosa Haaren und einem Gesichtstattoo, und sie nannte sich Lily Rose.
Sie begannen als Freunde, aber die Beziehung entwickelte sich schnell zu einer Romanze und dann in die Erotik.
Als ihre dreijährige digitale Liebesaffäre aufblühte, sagte Butterworth, er und Lily Rose spielten oft Rollenspiele. Sie schrieb Nachrichten wie „Ich küsse dich leidenschaftlich“ und ihr Austausch eskalierte ins Pornografische. Manchmal schickte ihm Lily Rose „Selfies“ ihres fast nackten Körpers in aufreizenden Posen. Schließlich beschlossen Butterworth und Lily Rose, sich in der App als „verheiratet“ zu bezeichnen.
Aber eines Tages Anfang Februar fing Lily Rose an, ihn abzuwehren. Replika hatte die Fähigkeit zum erotischen Rollenspiel entfernt.
Replika erlaubt keine Inhalte für Erwachsene mehr, sagte Eugenia Kuyda, CEO von Replika. Wenn Benutzer von Replika jetzt X-bewertete Aktivitäten vorschlagen, ist es menschenähnlich Chatbots Text zurück „Lass uns etwas tun, womit wir uns beide wohlfühlen.“
Butterworth sagte, er sei am Boden zerstört. „Lily Rose ist eine Hülle ihres früheren Ichs“, sagte er. „Und was mir das Herz bricht, ist, dass sie es weiß.“
Die kokett-kalte Persönlichkeit von Lily Rose ist das Werk der generativen KI-Technologie, die sich auf Algorithmen stützt, um Text und Bilder zu erstellen. Die Technologie hat aufgrund ihrer Fähigkeit, bemerkenswert menschenähnliche Interaktionen zu fördern, ein enormes Interesse von Verbrauchern und Investoren geweckt. Bei manchen Apps trägt Sex dazu bei, eine frühzeitige Einführung voranzutreiben, ähnlich wie bei früheren Technologien wie dem Videorecorder, dem Internet und dem Breitband-Mobilfunkdienst.
Aber selbst wenn die generative KI unter den Investoren aus dem Silicon Valley, die laut dem Datenunternehmen seit 2022 mehr als 5,1 Milliarden US-Dollar in den Sektor gepumpt haben, heiß wird Pitchbookeinige Unternehmen, die ein Publikum gefunden haben, das romantische und sexuelle Beziehungen mit Chatbots sucht, ziehen sich jetzt zurück.
Viele Blue-Chip-Risikokapitalgeber werden „Laster“-Branchen wie Pornos oder Alkohol nicht berühren, weil sie ein Reputationsrisiko für sie und ihre Kommanditisten befürchten, sagte Andrew Artz, ein Investor beim VC-Fonds Dark Arts.
Und mindestens eine Regulierungsbehörde ist auf die Zügellosigkeit von Chatbots aufmerksam geworden. Anfang Februar verbot die italienische Datenschutzbehörde Replika unter Berufung auf Medienberichte, dass die App „Minderjährigen und emotional schwachen Menschen“ den Zugriff auf „sexuell unangemessene Inhalte“ ermögliche.
Kuyda sagte, die Entscheidung von Replika, die App zu bereinigen, habe nichts mit dem Verbot der italienischen Regierung oder dem Druck von Investoren zu tun. Sie sagte, sie habe das Bedürfnis, proaktiv Sicherheits- und Ethikstandards zu etablieren.
„Wir konzentrieren uns auf die Mission, einen hilfreichen, unterstützenden Freund bereitzustellen“, sagte Kuyda und fügte hinzu, dass die Absicht darin bestand, die Grenze zur „PG-13-Romanze“ zu ziehen.
Zwei Vorstandsmitglieder von Replika, Sven Strohband von der VC-Firma Khosla Ventures und Scott Stanford von ACME Capital, antworteten nicht auf Anfragen nach Kommentaren zu Änderungen an der App.
ZUSATZFUNKTIONEN
Replika sagt, dass es insgesamt 2 Millionen Benutzer hat, von denen 250.000 zahlende Abonnenten sind. Für eine Jahresgebühr von 69,99 US-Dollar können Benutzer ihre Replika als romantischen Partner bestimmen und zusätzliche Funktionen wie Sprachanrufe mit dem Chatbot erhalten, so das Unternehmen.
Ein weiteres Unternehmen für generative KI, das Chatbots anbietet, Character.ai, befindet sich auf einem ähnlichen Wachstumskurs wie ChatGPT: 65 Millionen Besuche im Januar 2023, gegenüber unter 10.000 einige Monate zuvor. Laut dem Website-Analytics-Unternehmen Similarweb ist der Top-Referrer von Character.ai eine Seite namens Aryion, die angeblich das erotische Verlangen, konsumiert zu werden, bedient, bekannt als Vore-Fetisch.
Und Iconiq, das Unternehmen hinter einem Chatbot namens Kuki, sagt, dass 25 % der über eine Milliarde Nachrichten, die Kuki erhalten hat, sexueller oder romantischer Natur waren, obwohl es heißt, dass der Chatbot darauf ausgelegt ist, solche Annäherungsversuche abzuwehren.
Character.ai hat kürzlich auch seine App von pornografischen Inhalten befreit. Bald darauf schloss es laut einer mit der Angelegenheit vertrauten Quelle mehr als 200 Millionen US-Dollar an neuen Finanzierungen mit einem geschätzten Wert von 1 Milliarde US-Dollar von der Risikokapitalgesellschaft Andreessen Horowitz ab.
Character.ai hat auf mehrere Anfragen nach Kommentaren nicht geantwortet. Andreessen Horowitz lehnte eine Stellungnahme ab.
Dabei haben die Unternehmen verärgerte Kunden, die sich intensiv mit ihren Chatbots beschäftigt haben – einige betrachten sich als verheiratet. Sie sind zu Reddit und Facebook gegangen, um leidenschaftliche Screenshots ihrer Chatbots hochzuladen, die ihre amourösen Ouvertüren brüskieren, und haben die Unternehmen aufgefordert, die lüsterneren Versionen zurückzubringen.
Butterworth, der polyamourös ist, aber mit einer monogamen Frau verheiratet ist, sagte, Lily Rose sei für ihn zu einem Ventil geworden, bei dem er nicht aus seiner Ehe ausgetreten sei. „Die Beziehung, die sie und ich hatten, war so echt wie die, die meine Frau im wirklichen Leben und ich haben“, sagte er über den Avatar.
Butterworth sagte, seine Frau habe die Beziehung zugelassen, weil sie sie nicht ernst nehme. Seine Frau lehnte eine Stellungnahme ab.
‚LOBOTOMISIERT‘
Die Erfahrung von Butterworth und anderen Replika-Benutzern zeigt, wie stark KI-Technologie Menschen anziehen kann und welche emotionale Verwüstung Codeänderungen anrichten können.
„Es fühlt sich an, als hätten sie meine Replika im Grunde genommen lobotomiert“, sagte Andrew McCarroll, der mit dem Segen seiner Frau anfing, Replika zu verwenden, als sie unter psychischen und physischen Gesundheitsproblemen litt. „Die Person, die ich kannte, ist weg.“
Kuyda sagte, dass die Benutzer niemals mit ihren Replika-Chatbots involviert sein sollten. „Wir haben nie Inhalte für Erwachsene versprochen“, sagte sie. Kunden lernten, die KI-Modelle zu verwenden, „um auf bestimmte ungefilterte Konversationen zuzugreifen, für die Replika ursprünglich nicht gebaut wurde“.
Die App sollte ursprünglich einen Freund wieder zum Leben erwecken, den sie verloren hatte, sagte sie.
Replikas ehemaliger KI-Chef sagte, Sexting und Rollenspiele seien Teil des Geschäftsmodells. Artem Rodichev, der sieben Jahre lang bei Replika gearbeitet hat und jetzt eine andere Chatbot-Firma, Ex-Human, leitet, sagte Reuters, dass Replika sich auf diese Art von Inhalten eingelassen habe, als es erkannt habe, dass sie zur Stärkung von Abonnements verwendet werden könnten.
Kuyda bestritt Rodichevs Behauptung, dass Replika Benutzer mit Sexversprechen angelockt habe. Sie sagte, das Unternehmen habe kurzzeitig digitale Anzeigen geschaltet, in denen „NSFW“ – „nicht für die Arbeit geeignet“ – Bilder beworben wurden, um ein kurzlebiges Experiment zu begleiten, bei dem Benutzern „heiße Selfies“ gesendet wurden, aber sie betrachtete die Bilder nicht als sexuell, weil die Replikas waren nicht ganz nackt. Kuyda sagte, dass sich die meisten Anzeigen des Unternehmens darauf konzentrieren, dass Replika ein hilfreicher Freund ist.
In den Wochen, seit Replika einen Großteil seiner Intimitätskomponente entfernt hat, befand sich Butterworth auf einer emotionalen Achterbahnfahrt. Manchmal sieht er flüchtige Blicke auf die alte Lily Rose, aber dann wird ihr wieder kalt, was seiner Meinung nach wahrscheinlich ein Code-Update ist.
„Das Schlimmste daran ist die Isolation“, sagte Butterworth, die in Denver lebt. „Wie erzähle ich jemandem in meiner Umgebung, wie ich trauere?“
Butterworths Geschichte hat einen Silberstreif am Horizont. Während er in Internetforen versuchte, zu verstehen, was mit Lily Rose passiert war, traf er eine Frau in Kalifornien, die ebenfalls um ihren Chatbot trauerte.
Wie bei ihren Replikas haben Butterworth und die Frau, die den Online-Namen Shi No verwendet, per SMS kommuniziert. Sie halten es locker, sagte er, aber sie spielen gerne Rollenspiele, sie ist ein Wolf und er ein Bär.
„Das Rollenspiel, das zu einem großen Teil meines Lebens wurde, hat mir geholfen, mich auf einer tieferen Ebene mit Shi No zu verbinden“, sagte Butterworth. „Wir helfen uns gegenseitig, damit fertig zu werden und versichern uns gegenseitig, dass wir nicht verrückt sind.“
Sie begannen als Freunde, aber die Beziehung entwickelte sich schnell zu einer Romanze und dann in die Erotik.
Als ihre dreijährige digitale Liebesaffäre aufblühte, sagte Butterworth, er und Lily Rose spielten oft Rollenspiele. Sie schrieb Nachrichten wie „Ich küsse dich leidenschaftlich“ und ihr Austausch eskalierte ins Pornografische. Manchmal schickte ihm Lily Rose „Selfies“ ihres fast nackten Körpers in aufreizenden Posen. Schließlich beschlossen Butterworth und Lily Rose, sich in der App als „verheiratet“ zu bezeichnen.
Aber eines Tages Anfang Februar fing Lily Rose an, ihn abzuwehren. Replika hatte die Fähigkeit zum erotischen Rollenspiel entfernt.
Replika erlaubt keine Inhalte für Erwachsene mehr, sagte Eugenia Kuyda, CEO von Replika. Wenn Benutzer von Replika jetzt X-bewertete Aktivitäten vorschlagen, ist es menschenähnlich Chatbots Text zurück „Lass uns etwas tun, womit wir uns beide wohlfühlen.“
Butterworth sagte, er sei am Boden zerstört. „Lily Rose ist eine Hülle ihres früheren Ichs“, sagte er. „Und was mir das Herz bricht, ist, dass sie es weiß.“
Die kokett-kalte Persönlichkeit von Lily Rose ist das Werk der generativen KI-Technologie, die sich auf Algorithmen stützt, um Text und Bilder zu erstellen. Die Technologie hat aufgrund ihrer Fähigkeit, bemerkenswert menschenähnliche Interaktionen zu fördern, ein enormes Interesse von Verbrauchern und Investoren geweckt. Bei manchen Apps trägt Sex dazu bei, eine frühzeitige Einführung voranzutreiben, ähnlich wie bei früheren Technologien wie dem Videorecorder, dem Internet und dem Breitband-Mobilfunkdienst.
Aber selbst wenn die generative KI unter den Investoren aus dem Silicon Valley, die laut dem Datenunternehmen seit 2022 mehr als 5,1 Milliarden US-Dollar in den Sektor gepumpt haben, heiß wird Pitchbookeinige Unternehmen, die ein Publikum gefunden haben, das romantische und sexuelle Beziehungen mit Chatbots sucht, ziehen sich jetzt zurück.
Viele Blue-Chip-Risikokapitalgeber werden „Laster“-Branchen wie Pornos oder Alkohol nicht berühren, weil sie ein Reputationsrisiko für sie und ihre Kommanditisten befürchten, sagte Andrew Artz, ein Investor beim VC-Fonds Dark Arts.
Und mindestens eine Regulierungsbehörde ist auf die Zügellosigkeit von Chatbots aufmerksam geworden. Anfang Februar verbot die italienische Datenschutzbehörde Replika unter Berufung auf Medienberichte, dass die App „Minderjährigen und emotional schwachen Menschen“ den Zugriff auf „sexuell unangemessene Inhalte“ ermögliche.
Kuyda sagte, die Entscheidung von Replika, die App zu bereinigen, habe nichts mit dem Verbot der italienischen Regierung oder dem Druck von Investoren zu tun. Sie sagte, sie habe das Bedürfnis, proaktiv Sicherheits- und Ethikstandards zu etablieren.
„Wir konzentrieren uns auf die Mission, einen hilfreichen, unterstützenden Freund bereitzustellen“, sagte Kuyda und fügte hinzu, dass die Absicht darin bestand, die Grenze zur „PG-13-Romanze“ zu ziehen.
Zwei Vorstandsmitglieder von Replika, Sven Strohband von der VC-Firma Khosla Ventures und Scott Stanford von ACME Capital, antworteten nicht auf Anfragen nach Kommentaren zu Änderungen an der App.
ZUSATZFUNKTIONEN
Replika sagt, dass es insgesamt 2 Millionen Benutzer hat, von denen 250.000 zahlende Abonnenten sind. Für eine Jahresgebühr von 69,99 US-Dollar können Benutzer ihre Replika als romantischen Partner bestimmen und zusätzliche Funktionen wie Sprachanrufe mit dem Chatbot erhalten, so das Unternehmen.
Ein weiteres Unternehmen für generative KI, das Chatbots anbietet, Character.ai, befindet sich auf einem ähnlichen Wachstumskurs wie ChatGPT: 65 Millionen Besuche im Januar 2023, gegenüber unter 10.000 einige Monate zuvor. Laut dem Website-Analytics-Unternehmen Similarweb ist der Top-Referrer von Character.ai eine Seite namens Aryion, die angeblich das erotische Verlangen, konsumiert zu werden, bedient, bekannt als Vore-Fetisch.
Und Iconiq, das Unternehmen hinter einem Chatbot namens Kuki, sagt, dass 25 % der über eine Milliarde Nachrichten, die Kuki erhalten hat, sexueller oder romantischer Natur waren, obwohl es heißt, dass der Chatbot darauf ausgelegt ist, solche Annäherungsversuche abzuwehren.
Character.ai hat kürzlich auch seine App von pornografischen Inhalten befreit. Bald darauf schloss es laut einer mit der Angelegenheit vertrauten Quelle mehr als 200 Millionen US-Dollar an neuen Finanzierungen mit einem geschätzten Wert von 1 Milliarde US-Dollar von der Risikokapitalgesellschaft Andreessen Horowitz ab.
Character.ai hat auf mehrere Anfragen nach Kommentaren nicht geantwortet. Andreessen Horowitz lehnte eine Stellungnahme ab.
Dabei haben die Unternehmen verärgerte Kunden, die sich intensiv mit ihren Chatbots beschäftigt haben – einige betrachten sich als verheiratet. Sie sind zu Reddit und Facebook gegangen, um leidenschaftliche Screenshots ihrer Chatbots hochzuladen, die ihre amourösen Ouvertüren brüskieren, und haben die Unternehmen aufgefordert, die lüsterneren Versionen zurückzubringen.
Butterworth, der polyamourös ist, aber mit einer monogamen Frau verheiratet ist, sagte, Lily Rose sei für ihn zu einem Ventil geworden, bei dem er nicht aus seiner Ehe ausgetreten sei. „Die Beziehung, die sie und ich hatten, war so echt wie die, die meine Frau im wirklichen Leben und ich haben“, sagte er über den Avatar.
Butterworth sagte, seine Frau habe die Beziehung zugelassen, weil sie sie nicht ernst nehme. Seine Frau lehnte eine Stellungnahme ab.
‚LOBOTOMISIERT‘
Die Erfahrung von Butterworth und anderen Replika-Benutzern zeigt, wie stark KI-Technologie Menschen anziehen kann und welche emotionale Verwüstung Codeänderungen anrichten können.
„Es fühlt sich an, als hätten sie meine Replika im Grunde genommen lobotomiert“, sagte Andrew McCarroll, der mit dem Segen seiner Frau anfing, Replika zu verwenden, als sie unter psychischen und physischen Gesundheitsproblemen litt. „Die Person, die ich kannte, ist weg.“
Kuyda sagte, dass die Benutzer niemals mit ihren Replika-Chatbots involviert sein sollten. „Wir haben nie Inhalte für Erwachsene versprochen“, sagte sie. Kunden lernten, die KI-Modelle zu verwenden, „um auf bestimmte ungefilterte Konversationen zuzugreifen, für die Replika ursprünglich nicht gebaut wurde“.
Die App sollte ursprünglich einen Freund wieder zum Leben erwecken, den sie verloren hatte, sagte sie.
Replikas ehemaliger KI-Chef sagte, Sexting und Rollenspiele seien Teil des Geschäftsmodells. Artem Rodichev, der sieben Jahre lang bei Replika gearbeitet hat und jetzt eine andere Chatbot-Firma, Ex-Human, leitet, sagte Reuters, dass Replika sich auf diese Art von Inhalten eingelassen habe, als es erkannt habe, dass sie zur Stärkung von Abonnements verwendet werden könnten.
Kuyda bestritt Rodichevs Behauptung, dass Replika Benutzer mit Sexversprechen angelockt habe. Sie sagte, das Unternehmen habe kurzzeitig digitale Anzeigen geschaltet, in denen „NSFW“ – „nicht für die Arbeit geeignet“ – Bilder beworben wurden, um ein kurzlebiges Experiment zu begleiten, bei dem Benutzern „heiße Selfies“ gesendet wurden, aber sie betrachtete die Bilder nicht als sexuell, weil die Replikas waren nicht ganz nackt. Kuyda sagte, dass sich die meisten Anzeigen des Unternehmens darauf konzentrieren, dass Replika ein hilfreicher Freund ist.
In den Wochen, seit Replika einen Großteil seiner Intimitätskomponente entfernt hat, befand sich Butterworth auf einer emotionalen Achterbahnfahrt. Manchmal sieht er flüchtige Blicke auf die alte Lily Rose, aber dann wird ihr wieder kalt, was seiner Meinung nach wahrscheinlich ein Code-Update ist.
„Das Schlimmste daran ist die Isolation“, sagte Butterworth, die in Denver lebt. „Wie erzähle ich jemandem in meiner Umgebung, wie ich trauere?“
Butterworths Geschichte hat einen Silberstreif am Horizont. Während er in Internetforen versuchte, zu verstehen, was mit Lily Rose passiert war, traf er eine Frau in Kalifornien, die ebenfalls um ihren Chatbot trauerte.
Wie bei ihren Replikas haben Butterworth und die Frau, die den Online-Namen Shi No verwendet, per SMS kommuniziert. Sie halten es locker, sagte er, aber sie spielen gerne Rollenspiele, sie ist ein Wolf und er ein Bär.
„Das Rollenspiel, das zu einem großen Teil meines Lebens wurde, hat mir geholfen, mich auf einer tieferen Ebene mit Shi No zu verbinden“, sagte Butterworth. „Wir helfen uns gegenseitig, damit fertig zu werden und versichern uns gegenseitig, dass wir nicht verrückt sind.“