Generative KI weist eine Fülle gut dokumentierter Missbräuche auf, von der Erstellung wissenschaftlicher Arbeiten bis hin zu Künstler kopieren. Und jetzt scheint es bei staatlichen Einflussoperationen aufzutauchen.
Eine kürzlich durchgeführte Kampagne wurde laut a „sehr wahrscheinlich“ durch kommerzielle KI-Sprachgenerierungsprodukte unterstützt, darunter auch öffentlich veröffentlichte Technologien des angesagten Startups ElevenLabs Aktueller Bericht vom in Massachusetts ansässigen Threat-Intelligence-Unternehmen Recorded Future.
Der Bericht beschreibt eine von Russland gelenkte Kampagne mit dem Namen „Operation Undercut“, die darauf abzielt, die Unterstützung Europas für die Ukraine zu untergraben und bei der vor allem KI-generierte Voice-Overs für gefälschte oder irreführende „Nachrichten“-Videos zum Einsatz kommen.
Die Videos, die sich an ein europäisches Publikum richteten, griffen unter anderem ukrainische Politiker als korrupt an oder stellten den Nutzen der Militärhilfe für die Ukraine in Frage. In einem Video hieß es beispielsweise, dass „nicht einmal Störsender amerikanische Abrams-Panzer retten können“, und bezog sich dabei auf Vorrichtungen, mit denen US-Panzer ankommende Raketen abwehren – was den Standpunkt untermauert, dass es sinnlos ist, High-Tech-Panzer in die Ukraine zu schicken.
In dem Bericht heißt es, dass die Videoersteller „sehr wahrscheinlich“ sprachgenerierte KI, einschließlich ElevenLabs-Technologie, verwendet haben, um ihre Inhalte legitimer erscheinen zu lassen. Um dies zu überprüfen, übermittelten die Forscher von Recorded Future die Clips an ElevenLabs KI-Sprachklassifikator, Dadurch kann jeder „erkennen, ob ein Audioclip mit ElevenLabs erstellt wurde“ und eine Übereinstimmung erhalten.
ElevenLabs antwortete nicht auf Anfragen nach Kommentaren. Obwohl Recorded Future auf den wahrscheinlichen Einsatz mehrerer kommerzieller KI-Sprachgenerierungstools hinwies, wurden außer ElevenLabs keine weiteren genannt.
Die Nützlichkeit der KI-Stimmenerzeugung wurde versehentlich von den Organisatoren der Einflusskampagne selbst demonstriert, die – ziemlich schlampig – einige Videos mit echten menschlichen Sprechern veröffentlichten, die „einen erkennbaren russischen Akzent“ hatten. Im Gegensatz dazu sprachen die KI-generierten Voiceovers in mehreren europäischen Sprachen wie Englisch, Französisch, Deutsch und Polnisch, ohne fremd klingende Akzente.
Laut Recorded Future ermöglichte die KI auch die schnelle Veröffentlichung der irreführenden Clips in mehreren in Europa gesprochenen Sprachen wie Englisch, Deutsch, Französisch, Polnisch und Türkisch (übrigens in allen Sprachen). unterstützt von ElevenLabs.)
Recorded Future führte die Aktivität auf die Social Design Agency zurück, eine in Russland ansässige Organisation der US-Regierung sanktioniert im März dieses Jahres, weil er „ein Netzwerk von über 60 Websites betrieben hat, die sich als echte Nachrichtenorganisationen in Europa ausgaben und dann gefälschte Social-Media-Konten nutzten, um den irreführenden Inhalt der gefälschten Websites zu verstärken“. All dies sei „im Auftrag der Regierung der Russischen Föderation“ geschehen, teilte das US-Außenministerium damals mit.
Die Gesamtwirkung der Kampagne auf die öffentliche Meinung in Europa sei minimal, kam Recorded Future zu dem Schluss.
Dies ist nicht das erste Mal, dass die Produkte von ElevenLabs wegen angeblichen Missbrauchs zur Verantwortung gezogen werden. Die Technologie des Unternehmens steckte hinter einem Robocall, der sich als Präsident Joe Biden ausgab und die Wähler dazu aufforderte, während einer Vorwahl im Januar 2024 nicht zur Wahl zu gehen, kam ein Unternehmen zur Erkennung von Sprachbetrug zu dem Schluss: laut Bloomberg. Als Reaktion darauf gab ElevenLabs bekannt, dass es neue Sicherheitsfunktionen wie die automatische Blockierung von Stimmen von Politikern eingeführt habe.
ElfLabs Verbote „unerlaubter, schädlicher oder irreführender Identitätswechsel“ und sagt Um dies durchzusetzen, werden verschiedene Tools eingesetzt, beispielsweise sowohl automatisierte als auch menschliche Moderation.
ElevenLabs hat seit seiner Gründung im Jahr 2022 ein explosionsartiges Wachstum erlebt. Der ARR stieg kürzlich von 25 Millionen US-Dollar im Vorjahr auf 80 Millionen US-Dollar und könnte bald einen Wert von 3 Milliarden US-Dollar haben, berichtete Tech zuvor. Zu seinen Investoren zählen Andreessen Horowitz und der ehemalige Github-CEO Nat Friedman.