Sie wissen, dass Sie es vermasselt haben, wenn Sie gleichzeitig das Weiße Haus, die TIME-Person des Jahres und die tollwütigste Fangemeinde der Popkultur verärgert haben. Das ist letzte Woche X passiert, der Elon Musk-eigenen Plattform, die früher Twitter hieß, als KI-generierte, pornografische Deepfake-Bilder von Taylor Swift viral gingen.
Einer der am weitesten verbreiteten Posts der nicht einvernehmlichen, expliziten Deepfakes wurde mehr als 45 Millionen Mal aufgerufen und erhielt Hunderttausende Likes. Dabei sind noch nicht einmal alle Konten berücksichtigt, die die Bilder in separaten Beiträgen erneut geteilt haben – sobald ein Bild so weit verbreitet ist, ist es im Grunde unmöglich, es zu entfernen.
X fehlt die Infrastruktur, um missbräuchliche Inhalte schnell und in großem Umfang zu identifizieren. Selbst zu Twitter-Zeiten war es schwierig, dieses Problem zu beheben, aber es ist viel schlimmer geworden, seit Musk so viele Twitter-Mitarbeiter entlassen hat, darunter auch den Großteil seiner Mitarbeiter Vertrauen und Sicherheit Mannschaften. Also nahm die riesige und leidenschaftliche Fangemeinde von Taylor Swift die Sache selbst in die Hand und überflutete die Suchergebnisse mit Suchanfragen wie „Taylor Swift Ai“ und „Taylor Swift Deepfake“, um es den Benutzern zu erschweren, die beleidigenden Bilder zu finden. Als Pressesprecher des Weißen Hauses rief den Kongress auf Um etwas zu unternehmen, hat X einfach den Suchbegriff „Taylor Swift“ für ein paar Tage gesperrt. Wenn Benutzer nach dem Namen des Musikers suchten, sahen sie einen Hinweis, dass ein Fehler aufgetreten war.
Dieses Versagen bei der Moderation von Inhalten wurde zu einer landesweiten Schlagzeile, denn Taylor Swift ist Taylor Swift. Aber wenn soziale Plattformen eine der berühmtesten Frauen der Welt nicht schützen können, wen können sie dann schützen?
„Wenn Ihnen passiert, was mit Taylor Swift passiert ist, wie es so vielen Menschen passiert ist, werden Sie wahrscheinlich nicht das gleiche Maß an Unterstützung aufgrund Ihrer Schlagkraft erhalten, was bedeutet, dass Sie keinen wirklichen Zugang dazu haben Wichtige Pflegegemeinschaften“, sagte Dr. Carolina Are, Fellow am Centre for Digital Citizens der Northumbria University im Vereinigten Königreich, gegenüber Tech. „Und auf diese Betreuungsgemeinschaften müssen die meisten Benutzer in solchen Situationen zurückgreifen, was das Versagen der Inhaltsmoderation deutlich zeigt.“
Das Verbot des Suchbegriffs „Taylor Swift“ ist so, als würde man ein Stück Klebeband auf ein geplatztes Rohr kleben. Es gibt viele offensichtliche Problemumgehungen, beispielsweise die Art und Weise, wie TikTok-Benutzer nach „Seggs“ statt nach Sex suchen. Der Suchblock war etwas, das X implementieren konnte, um es so aussehen zu lassen, als würden sie etwas tun, aber es hält die Leute nicht davon ab, stattdessen einfach nach „t Swift“ zu suchen. Copia Institute und Techdirt-Gründer Mike Masnick angerufen die Anstrengung „eine Vorschlaghammerversion von Vertrauen und Sicherheit“.
„Plattformen sind scheiße, wenn es darum geht, Frauen, nicht-binären Menschen und queeren Menschen Entscheidungsfreiheit über ihren Körper zu geben, sodass sie Offline-Systeme des Missbrauchs und des Patriarchats nachbilden“, sagte Are. „Wenn Ihre Moderationssysteme nicht in der Lage sind, in einer Krise zu reagieren, oder wenn Ihre Moderationssysteme nicht in der Lage sind, auf die Bedürfnisse der Benutzer zu reagieren, wenn diese melden, dass etwas nicht stimmt, haben wir ein Problem.“
Was hätte X also überhaupt tun sollen, um das Taylor-Swift-Fiasko zu verhindern?
Are stellt diese Fragen als Teil von ihr Forschung, und schlägt vor, dass soziale Plattformen ihre Art und Weise, wie sie mit der Moderation von Inhalten umgehen, komplett überarbeiten müssen. Kürzlich führte sie eine Reihe von Diskussionsrunden mit 45 Internetnutzern aus der ganzen Welt durch, die von Zensur und Missbrauch betroffen sind, um Plattformen Empfehlungen für die Umsetzung von Veränderungen zu geben.
Eine Empfehlung besteht darin, dass Social-Media-Plattformen gegenüber einzelnen Nutzern transparenter über Entscheidungen bezüglich ihres Kontos oder ihrer Berichte über andere Konten sein sollten.
„Sie haben keinen Zugriff auf eine Fallakte, auch wenn Plattformen Zugriff auf dieses Material haben – sie wollen es einfach nicht veröffentlichen“, sagte Are. „Ich denke, wenn es um Missbrauch geht, brauchen die Menschen eine persönlichere, kontextbezogenere und schnellere Reaktion, die, wenn nicht persönliche Hilfe, so doch zumindest direkte Kommunikation beinhaltet.“
X kündigte diese Woche an, 100 Content-Moderatoren einzustellen, die in einem neuen „Trust and Safety“-Zentrum in Austin, Texas, arbeiten sollen. Aber unter Musks Einfluss hat die Plattform keinen starken Präzedenzfall für den Schutz marginalisierter Nutzer vor Missbrauch geschaffen. Es kann auch schwierig sein, Musk für bare Münze zu nehmen, da der Mogul eine lange Erfolgsbilanz darin hat, seine Versprechen nicht einzuhalten. Als er Twitter zum ersten Mal kaufte, erklärte Musk, er werde einen Content-Moderationsrat bilden, bevor er wichtige Entscheidungen treffe. Dies ist nicht geschehen.
Bei KI-generierten Deepfakes liegt die Verantwortung nicht nur auf sozialen Plattformen. Es liegt auch an den Unternehmen, die verbraucherorientierte generative KI-Produkte entwickeln.
Laut einer Untersuchung von 404 MedienDie beleidigenden Darstellungen von Swift stammten von einer Telegram-Gruppe, die sich der Erstellung nicht einvernehmlicher, expliziter Deepfakes widmete. Die Benutzer in der Gruppe verwenden häufig Microsoft Designer, der auf DALL-E 3 von Open AI basiert, um Bilder basierend auf eingegebenen Eingabeaufforderungen zu generieren. In einem Schlupfloch Microsoft hat sich inzwischen damit befasst, dass Benutzer Bilder von Prominenten erstellen könnten, indem sie Eingabeaufforderungen wie „Taylor, „Sänger“ Swift“ oder „Jennifer, „Schauspieler“ Aniston“ schreiben.
Shane Jones, leitender Software-Engineering-Leiter bei Microsoft schrieb einen Brief an den Generalstaatsanwalt des US-Bundesstaates Washington und erklärte, er habe im Dezember Schwachstellen in DALL-E 3 gefunden, die es ermöglichten, „einige der Leitplanken zu umgehen, die das Modell daran hindern sollen, schädliche Bilder zu erstellen und zu verbreiten“.
Jones machte Microsoft und OpenAI auf die Schwachstellen aufmerksam, hatte jedoch nach zwei Wochen keinen Hinweis darauf erhalten, dass die Probleme behoben wurden. Deshalb veröffentlichte er einen offenen Brief auf LinkedIn, in dem er OpenAI dazu drängte, die Verfügbarkeit von DALL-E 3 auszusetzen. Jones machte Microsoft auf seinen Brief aufmerksam, wurde jedoch umgehend aufgefordert, ihn zu entfernen.
„Wir müssen Unternehmen für die Sicherheit ihrer Produkte und ihre Verantwortung zur Offenlegung bekannter Risiken gegenüber der Öffentlichkeit zur Verantwortung ziehen“, schrieb Jones in seinem Brief an den Generalstaatsanwalt. „Besorgte Mitarbeiter wie ich sollten sich nicht zum Schweigen einschüchtern lassen.“
Da die einflussreichsten Unternehmen der Welt stark auf KI setzen, müssen Plattformen einen proaktiven Ansatz verfolgen, um missbräuchliche Inhalte zu regulieren – aber selbst in einer Zeit, in der es nicht so einfach war, Prominenten-Deepfakes zu machen, entzog sich verletzendes Verhalten leicht der Moderation.
„Es zeigt wirklich, dass Plattformen unzuverlässig sind“, sagte Are. „Marginalisierte Gemeinschaften müssen ihren Followern und Mitnutzern mehr vertrauen als den Menschen, die technisch gesehen für unsere Online-Sicherheit verantwortlich sind.“