Nachdem das Internet (und uns) mit seiner absurden Natur verzaubert worden war, wurde die KI-generierte „Seinfeld“-Parodie „Nothing, Forever“ für 14 Tage von Twitch gesperrt.
Als Teil seiner Parodie auf „Seinfeld“ zeigt eine der wiederkehrenden Szenen in „Nothing, Forever“ Larry Feinberg – die Figur von Jerry Seinfeld – bei Stand-up-Routinen. Normalerweise gingen Larrys Witze in etwa so: „Was ist ein Bär ohne Zähne? Ein Gummibärchen.“ Aber wie die Macher von „Nothing, Forever“, Mismatch Media, Tech mitteilten, machte das Team einen Fehler mit dem Inhaltsfilter der KI, was dazu führte, dass Larry eine transphobe Standup-Routine ablieferte.
„Nothing, Forever“, das seit Dezember fast ununterbrochen gestreamt wird, generierte die Dialoge der Charaktere zunächst über das Davinci-Modell von GPT-3 plus das Content-Filtering-Protokoll von Open AI. Als Davinci jedoch technische Probleme hatte, wechselte das Team zum weniger ausgefeilten Curie-Modell. Nach dem Modellwechsel haben die Ersteller das KI-Moderationstool nicht angemessen integriert. Bald spuckte Larry transphobe Witze aus und „Nothing, Forever“ wurde ausgesetzt.
„Lassen Sie mich zunächst sagen, dass der von uns erstellte Text ein Fehler war, uns sehr peinlich ist und dass die erstellten generativen Inhalte in keiner Weise die Werte oder Meinungen unserer Mitarbeiter widerspiegeln“, schrieb Mitschöpfer Skyler Hartle in einer E-Mail an Tech . „Wir bedauern dies sehr und hoffen, bald wieder auf Sendung zu sein, mit allen angemessenen Sicherheitsvorkehrungen.“
Hartle sagte auch, dass das Team ein sekundäres Inhaltsmoderationssystem untersucht, das als Redundanz hinzugefügt werden kann, nur für den Fall, dass ihre Inhaltsmoderationsfilter während der Live-Übertragung ins Stocken geraten.
Twitch reagierte nicht auf die Anfrage nach einem Kommentar. Hartle sagte, er habe auch keine direkte Kommunikation mit Twitch gehabt. Die Macher glauben jedoch, dass die Suspendierung aufgrund des Zeitpunkts der Suspendierung auf Larrys transphobe Kommentare zurückzuführen ist.
Twitchs Community-Richtlinien verbieten Sie hasserfüllte Rhetorik über bestimmte Identitätsgruppen, einschließlich Diskriminierung oder Belästigung aufgrund der Geschlechtsidentität. Die Content-Moderationssysteme der Plattform scheinen die transphobe Rhetorik von Larry, einer KI, ziemlich schnell erfasst zu haben. Aber während die Systeme von Twitch schnell reagierten, um eine KI von der Plattform zu entfernen, war es nicht so konsequent erfolgreich, die absichtliche Belästigung von Transgender-Personen einzudämmen.
Vor etwa anderthalb Jahren wurde die Plattform von böswilligen „Hassüberfällen“ heimgesucht, die sich insbesondere gegen Schwarze und Transgender-Ersteller richteten. Nach einer von den Erstellern geleiteten kollektiven Aktion führte Twitch neue Sicherheitsfunktionen ein, um Streamer vor diesen gewalttätigen Cyberangriffen zu schützen. Letztes Jahr als Transgender Twitch-Streamer Keffals bekannt wurde, weil sie über LGBTQ+-Themen sprach, wurde sie so hart belästigt, dass sie in ihrem eigenen Haus gezielt wurde, was sie dazu veranlasste, hineinzugehen versteckt. (Ein Großteil dieser Belästigung stammte von anderen Websites, aber ab 2021 können die Community-Richtlinien von Twitch Twitch-Benutzer für Belästigungen außerhalb der Plattform zur Rechenschaft ziehen.)
Die Macher von „Nothing, Forever“ sagen, dass sie nicht die Absicht hatten, transphobe Kommentare auszustrahlen, und dass sie diese Ansichten nicht unterstützen. Doch diese missliche Lage zeigt, wie schnell generative KI-Unterhaltung schiefgehen kann, wenn sie nicht kontrolliert wird. Schließlich wird GPT-3 im Internet selbst trainiert, sodass es einige der abscheulichsten Rhetoriken aus dem gesamten Web wiedergeben kann.
Dieser Vorfall hat etwas dunkles Ironisches: Ein inhaltsfilternder Snafu trieb die Twitch-Suspendierung dessen voran, was im Grunde ein Roboter ist. Inzwischen hat Dave Chappelle gerade einen Grammy für sein Comedy-Album „The Closer“ gewonnen, das wegen seiner Transphobie heftig kritisiert wurde. Doch selbst innerhalb des KI-generierten Universums von „Nothing, Forever“ fand das KI-generierte Publikum Larrys Witze nicht sehr lustig.
„Hier sind ungefähr 50 Leute und niemand lacht. Hat jemand Vorschläge?” Die KI begann mit ihrem Comedy-Set, bevor sie ihre kurze transphobische Tirade fortsetzte. Dann beendete Larry sein Set: „Niemand lacht, also höre ich auf. Danke, dass du heute Abend rausgekommen bist. Bis zum nächsten Mal. Wo sind alle hingegangen?“