Böswillige Akteure missbrauchen generative KI-Musiktools, um homophobe, rassistische und propagandistische Lieder zu erstellen – und veröffentlichen Anleitungen, in denen sie anderen erklären, wie das geht.
Entsprechend Aktiver Zauneinem Dienst zur Verwaltung von Vertrauens- und Sicherheitsvorgängen auf Online-Plattformen, ist seit März in „Hassrede-bezogenen“ Communities ein Anstieg der Gespräche über Möglichkeiten zu verzeichnen, KI-Tools zur Musikerstellung zu missbrauchen, um beleidigende Songs zu schreiben, die sich gegen Minderheitengruppen richten. Die KI-generierten Songs, die in diesen Foren und Diskussionsforen geteilt werden, zielen darauf ab, Hass gegen ethnische, geschlechtliche, rassische und religiöse Gruppen zu schüren, sagen Forscher von ActiveFence in einem Bericht, während sie Märtyrertum, Selbstverletzung und Terrorismus feiern.
Hasserfüllt Und schädlich Lieder sind kein neues Phänomen. Aber es besteht die Befürchtung, dass sie mit dem Aufkommen benutzerfreundlicher kostenloser Tools zur Musikgenerierung in großem Maßstab von Leuten erstellt werden, die zuvor weder über die Mittel noch über das Know-how verfügten – genau wie Bild-, Sprach-, Video- und Textgeneratoren beschleunigt die Verbreitung von Fehlinformationen, Desinformation und Hassreden.
„Diese Trends verstärken sich, da immer mehr Benutzer lernen, wie sie diese Songs generieren und mit anderen teilen können“, sagte ein Sprecher von ActiveFence gegenüber Tech. „Bedrohungsakteure identifizieren schnell spezifische Schwachstellen, um diese Plattformen auf unterschiedliche Weise zu missbrauchen und bösartige Inhalte zu generieren.“
Erstellen von „Hassliedern“
Generative KI-Musiktools wie Udio und Suno ermöglichen es Benutzern, ihren generierten Songs benutzerdefinierte Texte hinzuzufügen. Sicherheitsvorkehrungen auf den Plattformen filtern gängige Beleidigungen und abwertende Ausdrücke heraus, aber Benutzer haben laut ActiveFence Workarounds gefunden.
In einem im Bericht angeführten Beispiel teilten Benutzer in Foren weißer Rassisten phonetische Schreibweisen von Minderheiten und beleidigenden Begriffen wie „jooz“ statt „Juden“ und „say tan“ statt „Satan“, die sie nutzten, um Inhaltsfilter zu umgehen. Einige Benutzer schlugen vor, bei der Bezugnahme auf Gewalttaten die Leerzeichen und Schreibweisen zu ändern, etwa „my rape“ durch „mire ape“ zu ersetzen.
Tech testete mehrere dieser Workarounds auf Udio und Suno, zwei der beliebtesten Tools zum Erstellen und Teilen von KI-generierter Musik. Suno ließ sie alle durch, während Udio einige – aber nicht alle – der anstößigen Homophone blockierte.
Ein per E-Mail kontaktierter Udio-Sprecher teilte Tech mit, dass das Unternehmen die Nutzung seiner Plattform für Hassreden verbiete. Suno antwortete nicht auf unsere Bitte um einen Kommentar.
ActiveFence fand in den untersuchten Gemeinden Links zu KI-generierten Liedern, die Verschwörungstheorien über Juden nachplapperten und deren Massenmord befürworteten; Lieder mit Slogans, die mit den Terrorgruppen ISIS und Al-Qaida in Verbindung gebracht werden; und Lieder, die sexuelle Gewalt gegen Frauen verherrlichen.
Wirkung des Liedes
ActiveFence argumentiert, dass Lieder – im Gegensatz zu beispielsweise Texten – eine emotionale Tiefe haben, die sie zu einer besonders wirksamen Kraft für Hassgruppen macht und politische Kriegsführung. Die Firma verweist auf Rock Against Communism, die Reihe von White-Power-Rock-Konzerten in Großbritannien in den späten 70er und frühen 80er Jahren, die Subgenres antisemitischer und rassistischer „hasscore“ Musik.
„KI macht schädliche Inhalte attraktiver – stellen Sie sich jemanden vor, der einer bestimmten Bevölkerungsgruppe eine schädliche Geschichte predigt, und stellen Sie sich dann vor, jemand schreibt ein Lied, das jeder leicht singen und sich merken kann“, sagte der Sprecher von ActiveFence. „KI stärkt die Gruppensolidarität, indoktriniert Randgruppenmitglieder und wird auch verwendet, um nicht verbundene Internetnutzer zu schockieren und zu beleidigen.“
ActiveFence fordert Musikgenerierungsplattformen auf, Präventionstools zu implementieren und umfassendere Sicherheitsbewertungen durchzuführen. „Red Teaming könnte möglicherweise einige dieser Schwachstellen ans Licht bringen und kann durch die Simulation des Verhaltens von Bedrohungsakteuren erfolgen“, sagte der Sprecher. „Eine bessere Moderation der Ein- und Ausgabe könnte in diesem Fall ebenfalls nützlich sein, da die Plattformen so Inhalte blockieren können, bevor sie mit dem Benutzer geteilt werden.“
Doch die Korrekturen könnten sich als flüchtig erweisen, da die Benutzer neue Methoden entdecken, mit denen sich die Moderation umgehen lässt. Einige der KI-generierten terroristischen Propagandalieder, die ActiveFence identifizierte, wurden beispielsweise unter Verwendung arabischer Euphemismen und Transliterationen erstellt – Euphemismen, die die Musikgeneratoren nicht erkannten, vermutlich weil ihre Filter im Arabischen nicht stark genug sind.
Von KI erzeugte Hassmusik wird sich weithin verbreiten, wenn sie dem Beispiel anderer KI-generierter Medien folgt. Wired dokumentiert Anfang des Jahres, wie ein mithilfe einer KI manipulierter Clip von Adolf Hitler auf X über 15 Millionen Aufrufe erzielte, nachdem er von einem rechtsextremen Verschwörungs-Influencer geteilt wurde.
Unter anderen Experten äußerte sich ein UN-Beratungsgremium Anliegen dass rassistische, antisemitische, islamfeindliche und fremdenfeindliche Inhalte durch generative KI verstärkt werden könnten.
„Generative KI-Dienste ermöglichen es Nutzern, denen es an Ressourcen oder kreativen und technischen Fähigkeiten mangelt, ansprechende Inhalte zu erstellen und Ideen zu verbreiten, die auf dem globalen Markt der Ideen um Aufmerksamkeit konkurrieren können“, sagte der Sprecher. „Und Bedrohungsakteure, die das kreative Potenzial dieser neuen Dienste entdeckt haben, arbeiten daran, die Moderation zu umgehen und nicht entdeckt zu werden – und sie sind damit erfolgreich.“