Beim Erstellen ansprechender Videos geht es nicht nur um die visuelle Darstellung. Der Reiz guter Videoinhalte liegt zum großen Teil im Ton, doch die richtigen Audioeffekte zu finden (oder vielleicht sogar zu erstellen) kann ein zeitaufwändiger Prozess sein. Auf seiner jährlichen MAX-Konferenz stellt Adobe Project Super Sonic vor, eine experimentelle Prototyp-Demo, die zeigt, wie Sie eines Tages Text-to-Audio, Objekterkennung und sogar Ihre eigene Stimme nutzen könnten, um schnell Hintergrundaudio und Audioeffekte für Ihr Unternehmen zu generieren Videoprojekte.
Die Möglichkeit, Audioeffekte aus einer Textaufforderung zu generieren, macht Spaß, aber angesichts der Tatsache, dass ElevenLabs und andere dies bereits kommerziell anbieten, ist es möglicherweise nicht ganz so bahnbrechend.
Interessanter ist hier, dass Adobe noch einen Schritt weiter geht und zwei zusätzliche Modi zum Erstellen dieser Soundtracks hinzufügt. Die erste besteht darin, mithilfe der Objekterkennungsmodelle auf einen beliebigen Teil eines Videobilds zu klicken, eine Aufforderung für Sie zu erstellen und dann den Ton zu erzeugen. Das ist eine clevere Möglichkeit, mehrere Modelle in einem einzigen Workflow zu kombinieren.
Der eigentliche Wow-Moment kommt jedoch mit dem dritten Modus, in dem Sie sich selbst aufnehmen können, indem Sie die Sounds nachahmen, die Sie suchen (zeitgesteuert zum Video), und Project Super Sonic dann automatisch den entsprechenden Ton generieren lässt.
Justin Salamon, Leiter Sound Design AI bei Adobe, erzählte mir, dass das Team mit dem Text-to-Audio-Modell begann – und er wies darauf hin, dass das Team wie alle generativen KI-Projekte von Adobe nur lizenzierte Daten verwendete.
„Wir wollten unseren Benutzern wirklich die Kontrolle über den Prozess geben. Wir möchten, dass dies ein Werkzeug für YouTuber, Sounddesigner und alle ist, die ihr Video mit Ton aufwerten möchten. Deshalb wollten wir über den anfänglichen Text-to-Sound-Workflow hinausgehen und haben deshalb an der Stimmsteuerung gearbeitet, die einem wirklich die präzise Kontrolle über Energie und Timing gibt und es zu einem wirklich ausdrucksstarken Werkzeug macht“, erklärte Salamon.
Für die Stimmsteuerung analysiert das Tool tatsächlich die verschiedenen Eigenschaften der Stimme und das Spektrum des von Ihnen erzeugten Klangs und nutzt diese zur Steuerung des Erzeugungsprozesses. Salamon bemerkte, dass in der Demo zwar Stimme zum Einsatz kommt, Benutzer aber auch in die Hände klatschen oder ein Instrument spielen könnten.
Es ist erwähnenswert, dass Adobe MAX immer eine Reihe sogenannter „Sneaks“ bietet. Diese sollen, wie Project Super Sonic, einige der experimentellen Funktionen vorstellen, an denen das Unternehmen derzeit arbeitet. Obwohl viele dieser Projekte ihren Weg in die Creative Suite von Adobe finden, gibt es keine Garantie dafür. Und während Project Super Sonic sicherlich eine nützliche Ergänzung zu etwas wie Adobe Premiere wäre, besteht auch die Möglichkeit, dass wir es nie wieder sehen werden.
Ein Grund, warum ich glaube, dass dieses Projekt in Produktion gehen wird, ist, dass dieselbe Gruppe auch am Audioteil von Generative Extend gearbeitet hat, einer Funktion ihres generativen KI-Modells Firefly, das kurze Videoclips um einige Sekunden verlängert – einschließlich ihrer Audiospur. Allerdings bleibt Project Super Sonic vorerst eine Demoversion.
Tech hat einen KI-fokussierten Newsletter! Melden Sie sich hier an um es jeden Mittwoch in Ihrem Posteingang zu erhalten.