Benutzer werden in nur wenigen Monaten die erste Gelegenheit bekommen, Adobes KI-Modell zur Videogenerierung auszuprobieren. Das Unternehmen sagt, dass Funktionen, die auf Adobes Firefly-Videomodell basieren, vor Ende 2024 in der Beta-App von Premiere Pro und auf einer kostenlosen Website verfügbar sein werden.
Laut Adobe befinden sich drei Funktionen – Generative Extend, Text to Video und Image to Video – derzeit in einer privaten Betaphase, werden aber bald öffentlich verfügbar sein.
Generative Extend, mit dem Sie jedes Eingabevideo um zwei Sekunden verlängern können, wird später in diesem Jahr in die Beta-App von Premiere Pro integriert. Die Modelle „Text to Video“ und „Image to Video“ von Firefly, die aus Eingabeaufforderungen oder Eingabebildern fünfsekündige Videos erstellen, werden später in diesem Jahr ebenfalls auf der speziellen Website von Firefly verfügbar sein. (Das Zeitlimit kann sich erhöhen, merkte Adobe an.)
Adobes Software ist seit Jahrzehnten bei Kreativen beliebt, aber generative KI-Tools wie diese könnten genau die Branche, in der das Unternehmen tätig ist, auf den Kopf stellen – im Guten wie im Schlechten. Firefly ist Adobes Antwort auf die jüngste Welle generativer KI-Modelle, darunter Sora von OpenAI und Gen-3 Alpha von Runway. Die Tools haben das Publikum gefesselt, indem sie in Minuten Clips erstellt haben, für deren Erstellung ein Mensch Stunden gebraucht hätte. Diese frühen Versuche mit Tools gelten jedoch im Allgemeinen als zu unvorhersehbar für den Einsatz in professionellen Umgebungen.
Aber bei der Steuerbarkeit glaubt Adobe, dass es sich von anderen abheben kann. Ely Greenfield, CTO für digitale Medien bei Adobe, sagt gegenüber Tech, dass es einen „riesigen Appetit“ auf die KI-Tools von Firefly gibt, wenn sie bestehende Arbeitsabläufe ergänzen oder beschleunigen können.
Greenfield sagt beispielsweise, dass Fireflys generative Füllfunktion, die letztes Jahr zu Adobe Photoshop hinzugefügt wurde, „eine der am häufigsten verwendeten Funktionen ist, die wir im letzten Jahrzehnt eingeführt haben.“
Adobe wollte den Preis dieser KI-Videofunktionen nicht bekannt geben. Für andere Firefly-Tools teilt Adobe Creative Cloud-Kunden eine bestimmte Anzahl „generativer Credits“ zu, wobei ein Credit normalerweise ein Generierungsergebnis ergibt. Teurere Pläne bieten natürlich mehr Credits.
In einer Demo mit Tech präsentierte Greenfield die Firefly-basierten Funktionen, die später in diesem Jahr erscheinen.
Generative Extend kann dort weitermachen, wo das Originalvideo endet, und fügt relativ nahtlos zwei zusätzliche Sekunden Filmmaterial hinzu. Die Funktion nimmt die letzten paar Frames einer Szene und lässt sie durch Fireflys Videomodell laufen, um die nächsten paar Sekunden vorherzusagen. Für den Ton der Szene reproduziert Generative Extend Hintergrundgeräusche wie Verkehr oder Naturgeräusche, aber keine Stimmen oder Musik von Menschen. Greenfield sagt, dies diene der Einhaltung der Lizenzanforderungen der Musikindustrie.
In einem Beispiel zeigte Greenfield einen Videoclip eines Astronauten, der in den Weltraum blickt und der mit dieser Funktion modifiziert wurde. Ich konnte den Moment erkennen, in dem er verlängert wurde, kurz nachdem ein ungewöhnlicher Linseneffekt auf dem Bildschirm erschien, aber die Kamerafahrt und die Objekte in der Szene blieben gleich. Ich könnte mir vorstellen, dass es nützlich ist, wenn Ihre Szene einen Moment zu früh endet und Sie sie für den Übergang oder die Ausblendung etwas länger in die Länge ziehen müssen.
Die Funktionen „Text zu Video“ und „Bild zu Video“ von Firefly sind bekannter. Sie ermöglichen die Eingabe eines Text- oder Bildbefehls und die Ausgabe von bis zu fünf Sekunden Video. Benutzer können auf diese KI-Videogeneratoren zugreifen unter firefly.adobe.comwahrscheinlich mit Ratenbegrenzungen (obwohl Adobe keine Angaben dazu gemacht hat).
Adobe sagt auch, dass die Text-zu-Video-Funktionen von Firefly Wörter recht gut richtig buchstabieren, etwas, womit KI-Videomodelle oft Probleme haben.
In puncto Sicherheitsvorkehrungen geht Adobe von Anfang an eher zu vorsichtig vor. Laut Greenfield haben Fireflys Videomodelle Blockaden bei der Generierung von Videos, die Nacktheit, Drogen und Alkohol enthalten. Außerdem, so fügte er hinzu, sind Adobes Videogenerierungsmodelle nicht auf Persönlichkeiten des öffentlichen Lebens wie Politiker und Prominente trainiert. Dasselbe kann man von einigen Mitbewerbern sicherlich nicht behaupten.