Photoshop erhält heute eine Infusion generativer KI mit einer Reihe von Firefly-basierten Funktionen, die es Benutzern ermöglichen, Bilder mit von Firefly generierten Hintergründen über ihre Grenzen hinaus zu erweitern, generative KI zum Hinzufügen von Objekten zu Bildern zu verwenden und eine neue generative Füllung zu verwenden Mit dieser Funktion können Sie Objekte weitaus präziser entfernen als mit der zuvor verfügbaren inhaltsbezogenen Füllung.
Diese Funktionen sind vorerst nur in der Beta-Version von Photoshop verfügbar. Adobe stellt einige dieser Funktionen auch Firefly-Beta-Benutzern im Internet zur Verfügung (Firefly-Benutzer haben übrigens mittlerweile über 100 Millionen Bilder mit dem Dienst erstellt).
Bildnachweis: Adobe
Das Schöne daran ist, dass diese Integration es Photoshop-Benutzern ermöglicht, Textansagen in natürlicher Sprache zu verwenden, um die Art von Bild oder Objekt zu beschreiben, die Firefly erstellen soll. Wie bei allen generativen KI-Tools können die Ergebnisse gelegentlich etwas unvorhersehbar sein. Standardmäßig stellt Adobe den Benutzern für jede Eingabeaufforderung drei Variationen zur Verfügung. Anders als bei der Firefly-Web-App gibt es derzeit jedoch keine Option, eine davon zu iterieren, um ähnliche Variationen eines bestimmten Ergebnisses anzuzeigen.
Um all dies zu erreichen, sendet Photoshop Teile eines bestimmten Bildes an Firefly – nicht das gesamte Bild, obwohl das Unternehmen auch damit experimentiert – und erstellt eine neue Ebene für die Ergebnisse.
Maria Yap, Vizepräsidentin für digitale Bildbearbeitung bei Adobe, gab mir vor der heutigen Ankündigung eine Demo dieser neuen Funktionen. Wie bei allen generativen KI-Themen ist es oft schwer vorherzusagen, was das Modell zurückgeben wird, aber einige der Ergebnisse waren überraschend gut. Als Firefly beispielsweise gebeten wurde, eine Pfütze unter einem laufenden Corgi zu erzeugen, schien er die Gesamtbeleuchtung des Bildes zu berücksichtigen und sogar eine realistische Reflexion zu erzeugen. Nicht jedes Ergebnis funktionierte ganz so gut – eine leuchtend violette Pfütze war auch eine Option –, aber das Modell scheint beim Hinzufügen von Objekten und insbesondere beim Erweitern bestehender Bilder über ihren Rahmen hinaus ziemlich gute Arbeit zu leisten.
Angesichts der Tatsache, dass Firefly mit den in Adobe Stock verfügbaren Fotos (sowie anderen kommerziell sicheren Bildern) trainiert wurde, ist es vielleicht keine Überraschung, dass es besonders gut mit Landschaften zurechtkommt. Ähnlich wie die meisten generativen Bildgeneratoren hat Firefly Probleme mit Text.
Adobe stellte außerdem sicher, dass das Modell sichere Ergebnisse liefert. Dies ist teilweise auf das verwendete Trainingsset zurückzuführen, Adobe hat jedoch auch zusätzliche Sicherheitsvorkehrungen implementiert. „Wir haben das mit einer Reihe von schnellen technischen Dingen kombiniert, die wir kennen“, erklärte Yap. „Wir schließen bestimmte Begriffe aus, bestimmte Wörter, die unserer Meinung nach nicht sicher sind. Und dann beschäftigen wir uns sogar mit einer anderen Hierarchie: „Wenn Maria einen Bereich auswählt, in dem sich viel Haut befindet, vielleicht gerade jetzt – und Sie werden manchmal tatsächlich Warnmeldungen sehen –, werden wir dazu keine Eingabeaufforderung erweitern.“ Erstens, nur weil es unvorhersehbar ist. Wir wollen einfach nicht an einen Ort gehen, an dem wir uns nicht wohl fühlen.“
Wie bei allen Firefly-Bildern wendet Adobe seine Inhaltsanmeldeinformationen automatisch auf alle Bilder an, die diese KI-basierten Funktionen nutzen.
Viele dieser Funktionen wären auch in Lightroom sehr nützlich. Yap stimmte zu und obwohl sie sich nicht auf einen Zeitplan festlegen wollte, bestätigte sie, dass das Unternehmen plant, Firefly auch in sein Fotoverwaltungstool zu integrieren.