Sie erinnern sich vielleicht an früher in diesem Jahr, als viele Social-Media-Nutzer davon überzeugt waren, dass Bilder eines „protzigen“ Papst Franziskus – ausgestattet mit einer weißen Steppjacke und einer tief hängenden Kette, die einem Musikvideo von Hype Williams würdig wären – echt seien (sie). waren nicht).
Diese Bilder waren das Produkt der generativen KI, einem Begriff, der sich auf jedes Tool bezieht, das auf einem Deep-Learning-Softwaremodell basiert und auf der Grundlage der Daten, auf denen es trainiert wird, Text oder visuelle Inhalte generieren kann. Von besonderer Bedeutung für Open-Source-Forscher sind KI-generierte Bilder.
DALL-E, Stable Diffusion und Midjourney – Letzteres wurde benutzt B. um die gefälschten Francis-Fotos zu erstellen – sind nur einige der Werkzeuge, die in den letzten Jahren aufgetaucht sind und in der Lage sind, Bilder zu erzeugen, die realistisch genug sind, um das menschliche Auge zu täuschen. KI-gestützte Desinformation wird direkte Auswirkungen auf die Open-Source-Forschung haben – ein einziges unentdecktes gefälschtes Bild könnte beispielsweise eine ganze Untersuchung gefährden.
Anfang dieses Jahres berichtete die New York Times geprüft Fünf Tools zur Erkennung dieser KI-generierten Bilder. Die Tools analysieren die in Bildern enthaltenen Daten – manchmal Millionen von Pixeln – und suchen nach Hinweisen und Mustern, die ihre Authentizität bestimmen können. Die Übung zeigte positive Fortschritte, stellte aber auch Mängel fest – zwei Tools hielten beispielsweise ein gefälschtes Foto von Elon Musk, der einen Android-Roboter küsst, für echt.
Bellingcat versuchte, dieses Experiment mit Blick auf die Open-Source-Forschung zu wiederholen. Wir haben eines dieser Tools – AI of Not – an 200 Bildern getestet: die Hälfte davon echt, die andere Hälfte KI-generiert. Insbesondere wollten wir verstehen, wie effektiv das Tool bei der Erkennung von Bildern mit Wasserzeichen und komprimierten Bildern ist – zwei spezifische Herausforderungen, mit denen Open-Source-Forscher häufig konfrontiert sind: Die Ergebnisse zeigen, dass sich eine Technologie zum Navigieren in Wasserzeichen eignet, bei komprimierten Bildern jedoch Probleme bereitet.
Das Werkzeug
Das Werkzeug heißt KI oder nicht. Entwickelt von Optikein amerikanisches Technologieunternehmen Gegründet Laut dem ehemaligen Google-Produktdirektor Andrey Doronichev „nutzt es fortschrittliche Algorithmen und Techniken des maschinellen Lernens, um Bilder zu analysieren und Anzeichen der KI-Generierung zu erkennen.“ Es wurde auf DALL-E, Midjourney, Stable Diffusion, generative gegnerische Netzwerke und Gesichtsbildgeneratoren trainiert.
Das Unternehmen gibt an, dass das Tool darauf ausgelegt ist, äußerst genaue Ergebnisse zu liefern.
Die Methode
Für den Test hat Bellingcat 100 echte Bilder und 100 Midjourney-generierte Bilder in AI or Not eingespeist. Die realen Bilder bestanden aus verschiedenen Arten von Fotografien, realistischen und abstrakten Gemälden, Standbildern aus Kino- und Animationsfilmen sowie Screenshots aus Videospielen. Die von Midjourney generierten Bilder bestanden aus fotorealistischen Bildern, Gemälden und Zeichnungen. Midjourney wurde so programmiert, dass einige der im Echtbilddatensatz verwendeten Gemälde nachgebildet wurden.
Der AI-Bilddatensatz ist verfügbar Hier. Der reale Bilddatensatz ist verfügbar Hier. Was folgt, sind die Ergebnisse.
AI or Not war in der ersten Identifizierungsrunde sehr genau.
Es war besonders gut darin, KI-generierte Bilder zu identifizieren – sowohl fotorealistische Bilder als auch Gemälde und Zeichnungen.
AI or Not hat visuell anspruchsvolle Bilder erfolgreich als von KI erstellt identifiziert.
Jemand ohne professionelle Kunstausbildung könnte beispielsweise Schwierigkeiten haben, dieses Wandgemälde im modernistischen Stil korrekt als von Midjourney geschaffen zu identifizieren:
AI or Not war auch erfolgreich bei der Identifizierung fotorealistischerer Midjourney-Bilder, wie etwa dieses fotorealistische Luftbild von einem angeblich zugefrorenen Lake Winnipeg in Manitoba, Kanada.
Es identifizierte auch erfolgreich KI-generierte realistische Gemälde und Zeichnungen, wie zum Beispiel die Midjourney-Nachbildung des berühmten Gemäldes „Die Botschafter“ aus dem 16. Jahrhundert von Hans Holbein dem Jüngeren.
Das echte Gemälde ist in der National Gallery in London, Großbritannien, ausgestellt.
Insgesamt hat die KI alle 100 von Midjourney generierten Bilder, die ihr ursprünglich übermittelt wurden, nicht korrekt erkannt.
Das Tool hielt auch eine hohe Erkennungsrate für echte Bilder aufrecht, erzeugte jedoch auch falsch positive Ergebnisse: echte Bilder wurden fälschlicherweise als von KI erzeugt identifiziert.
AI or Not hat die folgenden echten Bilder erfolgreich identifiziert:
AI or Not erzeugte einige Fehlalarme, als es 20 von Teilnehmern des Fotowettbewerbs erstellte Fotos erhielt. Von 20 Fotos wurden sechs fälschlicherweise als von KI erstellt identifiziert, beim siebten konnte keine Entscheidung getroffen werden.
Alle Fotos, die AI oder Not fälschlicherweise als KI-generiert identifizierte, waren Gewinner oder ehrenvolle Erwähnungen des Wettbewerbs „Canadian Photos of the Year“ 2022 und 2021, der von der Zeitschrift Canadian Geographic durchgeführt wird. Es war nicht sofort klar, warum einige dieser Bilder fälschlicherweise als KI identifiziert wurden.
Generell hatten die Fotos eine hohe Auflösung, waren sehr scharf, hatten auffällig leuchtende Farben und enthielten viele Details. Einige hatten eine ungewöhnliche Beleuchtung oder eine große Schärfentiefe, und eines wurde mit Langzeitbelichtung aufgenommen.
Basierend auf dem obigen Test kamen wir zu dem Schluss, dass AI or Not ziemlich gut darin ist, echte Bilder zu identifizieren – es hat erfolgreich echte Gemälde und Zeichnungen und die meisten echten Fotos identifiziert, obwohl es bei einigen qualitativ hochwertigen Fotos Probleme haben könnte.
Während AI or Not auf den ersten Blick bei der Identifizierung von KI-Bildern erfolgreich ist, gibt es hinsichtlich seiner Zuverlässigkeit einen Vorbehalt.
Jedes digitale Bild enthält Millionen von Pixeln, von denen jedes potenzielle Hinweise auf die Herkunft des Bildes enthält.
Aber was passiert, wenn ein Teil dieser wertvollen Daten verloren geht oder verfälscht wird? Während der ersten Testrunde mit 100 KI-Bildern wurden AI or Not alle diese Bilder in ihrem Originalformat (PNG) und ihrer Größe zugeführt, die zwischen 1,2 und etwa 2,2 Megabyte lagen. Wenn Open-Source-Forscher mit Bildern arbeiten, haben sie es oft mit deutlich kleineren Bildern zu tun, die komprimiert sind.
Wenn die Größe eines Bildes geändert oder verzerrt wird oder wenn seine Auflösung verringert wird, werden die darin enthaltenen Pixel verändert und das „digitale Signal“, das einem Detektor hilft, die Herkunft des Bildes zu identifizieren, geht verloren, Kevin Guo, der Gründer des Bilderkennungstools Hive , erzählt Die New York Times.
Hive bietet Deep-Learning-Modelle für Unternehmen, die diese zur Inhaltsgenerierung und -analyse nutzen möchten, einschließlich eines KI-Bilddetektors. Es gibt auch eine kostenlose Browser-Erweiterung, deren Nutzen für Open-Source-Arbeiten ist jedoch begrenzt. Auf Telegram konnten keine Ergebnisse abgerufen werden, während auf X, der Social-Media-Seite, die früher als Twitter bekannt war, kein kleines Popup-Fenster geöffnet wurde, das die Wahrscheinlichkeit anzeigte, dass ein Bild KI-generiert ist. Das Fenster wurde auf Facebook geöffnet.
Um zu testen, wie gut AI or Not komprimierte AI-Bilder identifizieren kann, hat Bellingcat zehn im Originaltest verwendete Midjourney-Bilder aufgenommen, sie auf eine Größe zwischen 300 und 500 Kilobyte verkleinert und sie dann erneut in den Detektor eingespeist.
Dies führte zu gemischten Ergebnissen. AI or Not identifizierte sieben von zehn Bildern fälschlicherweise als echt, obwohl es sie in unkomprimiertem Zustand korrekt als KI-generiert identifizierte.
Wenn beispielsweise dieses Midjourney-generierte fotorealistische Bild eines Getreidesilos komprimiert wird, erscheint es dem Detektor real.
Von zehn komprimierten Bildern waren sieben fotorealistisch. AI or Not war bei ihnen besonders unscheinbar – es identifizierte alle sieben fälschlicherweise als das Werk eines Menschen. Bei Zeichnungen und Gemälden schnitt es besser ab: Wenn drei gegeben wurden, wurden sie korrekt identifiziert, auch wenn sie komprimiert waren.
Bei echten komprimierten Bildern schnitt AI oder nicht besser ab. Zwei von drei Gemälden wurden fälschlicherweise als KI-generiert identifiziert. Es gelang jedoch, sechs von sieben Fotos erfolgreich als von einem Menschen erstellt zu identifizieren. Es konnte nicht festgestellt werden, ob das siebte Bild von einer KI oder einem Menschen erstellt wurde.
Bellingcat hat auch getestet, wie gut AI oder Not abschneidet, wenn ein Bild verzerrt, aber nicht komprimiert ist. In der Open-Source-Forschung ist eine der häufigsten Arten von Bildverzerrungen ein Wasserzeichen auf einem Bild. Ein von einem Telegram-Kanal heruntergeladenes Bild kann beispielsweise ein markantes Wasserzeichen aufweisen.
Bellingcat nahm zehn Bilder aus demselben 100-KI-Bilddatensatz auf, fügte ihnen markante Wasserzeichen hinzu und leitete die modifizierten Bilder dann an AI or Not weiter. Die Bilder wurden nicht komprimiert.
AI or Not hat alle zehn mit Wasserzeichen versehenen Bilder erfolgreich als KI-generiert identifiziert. Die Wasserzeichen haben den Detektor nicht aus der Fassung gebracht.
Basierend auf diesem Beispielsatz scheint es, dass Bildverzerrungen wie Wasserzeichen die Fähigkeit der KI, KI-Bilder zu erkennen, nicht wesentlich beeinträchtigen oder nicht. Die Kompression hingegen spielt eine wesentliche Rolle. Je größer die Dateigröße des Bildes ist und je mehr Daten der Detektor analysieren kann, desto höher ist seine Genauigkeit.
AI or Not schien beeindruckend gut zu funktionieren, wenn hochwertige, große KI-Bilder analysiert werden mussten. Seine Leistung scheint durch Wasserzeichen nicht beeinträchtigt zu werden.
Bei echten Bildern blieb die Erfolgsquote gut, vielleicht mit Ausnahme einiger qualitativ hochwertiger Fotos. Es funktionierte auch gut mit komprimierten Echtbildern.
Allerdings werden die positiven Ergebnisse mit echten Bildern durch eine vergleichsweise unscheinbare Leistung mit komprimierten KI-Bildern gemildert. Dieser Punkt ist insbesondere für Open-Source-Forscher relevant, die selten Zugang zu hochwertigen, großen Bildern mit vielen Daten haben, die es dem KI-Detektor erleichtern würden, seine Bestimmung zu treffen.
Stattdessen arbeiten sie häufig mit stark komprimierten Bildern. Die Tatsache, dass AI or Not bei der Identifizierung komprimierter KI-Bilder, insbesondere fotorealistischer Bilder, eine hohe Fehlerquote aufwies, schränkt seinen Nutzen für Open-Source-Forscher erheblich ein. Obwohl „AI or Not“ einen bedeutenden Fortschritt im Bereich der KI-Bilderkennung darstellt, ist es noch lange nicht der Höhepunkt.
Bellingcat ist eine gemeinnützige Organisation und die Fähigkeit, unsere Arbeit auszuführen, hängt von der freundlichen Unterstützung einzelner Spender ab. Wenn Sie unsere Arbeit unterstützen möchten, können Sie dies hier tun. Sie können auch unseren Patreon-Kanal abonnieren Hier. Abonnieren Sie unsere Newsletter und folgen Sie uns auf Twitter Hier und Mastodon Hier.