Mitten auf der Reise plant die Veröffentlichung eines aktualisierten Web-Tools, mit dem Benutzer alle hochgeladenen Bilder aus dem Web mithilfe der generativen KI von Midjourney bearbeiten können.
Das aktualisierte Tool, von dem David Holtz, CEO von Midjourney, sagte, dass es „Anfang nächster Woche“ veröffentlicht werden soll, wird es Benutzern auch ermöglichen, Objekte in Bildern neu zu texturieren, um ihre Farben und Details entsprechend den Bildunterschriften „neu zu zeichnen“.
Das Bearbeiten bestehender Bilder mit KI ist in letzter Zeit zu einem heißen Thema geworden. Plattformen wie Meta haben mit der Kennzeichnung von Bildern gerungen, die mit KI-Tools bearbeitet oder mit einem KI-Modell von Grund auf neu erstellt wurden, während Unternehmen wie Google neue Bilder veröffentlicht haben leistungsstarke KI-Funktionen Bilder, die keine visuellen Hinweise geben, wurden KI-modifiziert.
Letztes Jahr verpflichtete sich Midjourney zur Verwendung der IPTC-Eigenschaft „Digital Source Type“, einem technischen Standard, der Metadaten in Bilder einbettet, die darauf hinweisen, dass sie KI-generiert wurden. Allerdings ist das Unternehmen eine der wenigen großen KI-Plattformen, die C2PA nicht eingeführt hat, eine Metadatentechnologie, die die vollständige Herkunft eines Bildes zurückverfolgt, einschließlich der zu seiner Erstellung verwendeten Ausrüstung und Software.
In einem Beitrag am Midjourneys offizieller Discord-Serversagte Holz, dass das aktualisierte Bildtool zunächst auf eine „Untergruppe der aktuellen Community“ beschränkt sein wird, mit verstärkter menschlicher Moderation sowie „neuen, fortschrittlicheren KI-Moderatoren“, um zu versuchen, Missbrauch zu verhindern.
„Ehrlich gesagt sind wir uns nicht sicher, wie wir die Bereitstellung dieser Funktion genau einschränken sollen“, sagte er. Midjourney holt mithilfe einer Umfrage das Feedback der Community ein und ermittelt damit, welche Benutzer zuerst Zugriff erhalten.
Die Veröffentlichung dieser Art von Bearbeitungstools ohne angemessene Sicherheitsvorkehrungen birgt Risiken. Sie könnten Urheberrechtsverletzungen in großem Umfang begünstigen oder die Verbreitung irreführender Deepfakes fördern.
Deepfakes verbreiten sich wie ein Lauffeuer in den sozialen Medien und machen es schwieriger, Wahrheit von Desinformation zu unterscheiden. Zuletzt gefälschte generative KI-Bilder von Zerstörung und menschlichem Leid überschwemmte das Internet nach dem Hurrikan Helene.
Nach Angaben von Clarity, einem Deepfake-Erkennungsunternehmen, wurden in diesem Jahr 900 % mehr Deepfakes erstellt und veröffentlicht als im gleichen Zeitraum des Vorjahres. Es löst verständlicherweise Alarm aus. Das ergab eine aktuelle Umfrage von YouGov 85 % der Amerikaner waren besorgt über irreführende Deepfakes, die sich online verbreiten.
Da es in den USA kein Gesetz gibt, das Deepfakes auf Bundesebene unter Strafe stellt, haben mehr als zehn Bundesstaaten Gesetze gegen KI-gestützten Identitätswechsel erlassen. Das derzeit ins Stocken geratene kalifornische Gesetz wäre das erste, das Richtern die Befugnis geben würde, die Plakate von Deepfakes anzuweisen, sie zu entfernen, andernfalls drohen möglicherweise Geldstrafen.
Midjourney war nicht gerade ein leuchtendes Beispiel für den verantwortungsvollen Einsatz von KI. (Sie wird beispielsweise wegen der angeblichen Verwendung urheberrechtlich geschützter Inhalte zum Trainieren ihrer generativen KI-Modelle verklagt.) Doch in den letzten Monaten hat die Plattform Schritte unternommen, um die Verbreitung von Deepfakes einzudämmen, einschließlich Filtern für politische Persönlichkeiten im Vorfeld der US-Präsidentschaftswahl Wahl.