Wonder Dynamics bringt ein Full-Service-CG-Charakterstudio in eine Webplattform

Die Werkzeuge der Moderne Kino ist für unabhängige und sogar Amateurfilmer zunehmend zugänglich geworden, aber realistische CG-Charaktere (ob sie ihnen gefallen oder nicht) sind die Domäne von Projekten mit großem Budget geblieben. Wunder Dynamik zielt darauf ab, dies mit einer Plattform zu ändern, mit der Entwickler einen CG-Charakter buchstäblich per Drag-and-Drop in jede Szene ziehen können, als wäre er professionell aufgenommen und bearbeitet worden.

Ja, das klingt ein bisschen nach Übertreibung. Ihre Skepsis ist berechtigt, aber als Skeptiker muss ich sagen, dass ich sehr beeindruckt war von dem, was das Startup von Wonder Studio, dem webbasierten Editor des Unternehmens, zeigte. Dies ist kein Spielzeug wie ein AR-Filter – es ist ein vollwertiges Werkzeug, nach dem sich die Mitbegründer Nikola Todorovic und Tye Sheridan gesehnt haben. Und vor allem soll es die Arbeit von Künstlern erleichtern, nicht sie komplett ersetzen.

„Das Ziel war die ganze Zeit, ein Werkzeug herzustellen für Künstler, um sie zu stärken. Jemand, der große Träume hat, hat nicht immer die Mittel, sie zu verwirklichen“, sagte Sheridan, den viele in Spielbergs Verfilmung gesehen haben werden Bereit Spieler Eins – seine Vertrautheit mit der Komplexität der CG-unterstützten Produktion und der Bewegungserfassung kommt also aus erster Hand.

Todorovic und Sheridan kennen und arbeiten seit Jahren miteinander und stießen häufig an diese Grenze: „Sowohl Tye als auch ich haben Filme geschrieben, die wir uns nicht leisten konnten“, sagte Todorovic. Ihr Unternehmen, das bisher hauptsächlich im Verborgenen operierte, sammelte Anfang 2021 eine Seed-Runde in Höhe von 2,5 Millionen US-Dollar und später in diesem Jahr eine weitere A-Runde in Höhe von 10 Millionen US-Dollar.

Die Sache ist die, obwohl Software zum Erstellen von 3D-Modellen, Bearbeiten, Compositing und Kolorieren (neben anderen Schritten im Filmherstellungsprozess) heutzutage viel einfacher zu kaufen und zu verwenden ist, ist der Prozess, eine CG-Figur tatsächlich in eine Szene einzufügen, immer noch sehr kompliziert .

Angenommen, Sie möchten einen Roboter-Begleiter für eine Szene in Ihrem Science-Fiction-Film einbauen. Ein Künstler, der ein Modell und Texturen und so weiter macht, ist nur der allererste Schritt. Sofern Sie es nicht von Hand animieren möchten (nicht empfohlen!), benötigen Sie ein Motion-Capture-Studio oder Ausrüstung am Set, Reflektorkugeln, grüne Bildschirme und alles. Von diesen müssen Bewegungsprimitive auf das CG-Skelett angewendet und der Charakter durch den Schauspieler ersetzt werden. Aber dann muss das 3D-Modell der Richtung und Farbe der Beleuchtung, der Besetzung und Körnung des Films und mehr entsprechen. Hoffentlich haben Sie auch Leute eingestellt, um diese zu erfassen und zu charakterisieren.

Es sei denn, sie sind Experten in alle dieser einzelnen Vor- und Nachproduktionsprozesse und verdammt viel Zeit zur Verfügung haben, ist es für die meisten Filmemacher einfach außerhalb des Rahmens und Budgets. Am Ende des Tages könnten Sie bis zu 20.000 US-Dollar pro Sekunde für größere VFX-Arbeiten erwarten, wie das Hinzufügen eines Drachen oder Superhelden, ganz zu schweigen von tagelanger technischer Arbeit. Daher haben Indie-Filme in der Regel überhaupt keine auffälligen VFX, geschweige denn vollständig animierte Charaktere.

Wonder Studio ist eine Plattform, die diesen Vorgang so einfach macht wie die Auswahl eines Filters oder Pinsels in Photoshop. Es klingt zu schön, um wahr zu sein, aber Sheridan und Todorovic arbeiten seit drei Jahren daran und die Ergebnisse zeigen es. „Wir wollten etwas Grundlegendes aufbauen – deshalb hat es so lange gedauert“, sagte Sheridan.

„Wir haben etwas gebaut, das diesen ganzen Prozess automatisiert, ihn live animiert, Bild für Bild, es ist kein Mocap erforderlich. Es erkennt automatisch Schauspieler basierend auf einer einzigen Kamera. Es macht Kamerabewegung, Beleuchtung, Farbe und ersetzt den Schauspieler vollständig durch CG“, erklärte Todorovic.

Aber entscheidend ist, dass es dies nicht einfach live in der Kamera tut, indem es à la TikTok dort eingefügt wird, oder ein fragwürdiges „endgültiges“ Produkt ausspuckt. Alle eigentlichen Teile, die VFX-Künstler normalerweise erstellen oder mit denen sie interagieren würden, werden immer noch generiert. Und er betonte sorgfältig, dass nichts davon an der bestehenden Arbeit von Künstlern geschult wurde.

Endgültige Aufnahme, Mocap-Daten, Maske und 3D-Umgebung, generiert von Wonder Studio. Bildnachweis: Wunder Dynamik

„Sie erhalten Mocap, saubere Platte, Masken, Blender-Szene, es analysiert das Rauschen und die Körnung“, fuhr er fort. Das heißt: Animations- und Bewegungsdaten (einschließlich Hände und Gesicht), die Aufnahme ohne Schauspieler oder Ersatz, Umrisse von Charakteren und Objekten Bild für Bild, eine 3D-Darstellung der Umgebung mit Gelände und anderen Merkmalen. Und alles wird automatisch an die Qualität der Aufnahme angepasst – oder Aufnahmen, da es Schauspieler über eine ganze Szene mit mehreren Blickwinkeln verfolgen kann.

Hier ist ein Blick darauf, wie der Prozess in Aktion funktioniert:

Viele weitere Beispiele und Details sind zu sehen am Firmenstandort.

Vieles davon ist Routinearbeit, vieles davon Plackerei, die als Teil des gesamten VFX-Prozesses immer wieder auf die gleiche Weise erledigt wird. Diese „objektiven, nicht kreativen“ Aufgaben – so genannt, weil sie eher technische Notwendigkeiten als aussagekräftige Ergebnisse sind – würden definitiv unter „dull“ in „schmutzig, langweilig und gefährlich“ fallen: die drei Ds der Automatisierung.

„Man kann Künstler nicht durch KI ersetzen, es geht uns darum, sie zu verbessern und zu stärken. Dies stört nicht, was sie tun; es automatisiert 80-90 % der objektiven VFX-Arbeit und überlässt ihnen die subjektive Arbeit“, erklärte Todorovic. „Das Schöne an KI ist, etwas so Kompliziertes zu vereinfachen und zu vereinfachen.“

Damit Sie sich keine Sorgen darüber machen, ob dies viele Menschen arbeitslos machen wird, scheint es nicht wahrscheinlich. Die VFX-Branche ist geradezu mit Arbeit überhäuft, zumal Unternehmen wie Marvel und Netflix auf regelmäßigen Veröffentlichungen unglaublich anspruchsvoller CG-Arbeiten bestehen, die von Dutzenden unabhängiger VFX-Häuser erledigt werden müssen. Einer macht die Umhänge, ein anderer die Explosionen, ein anderer das digitale Make-up, wieder ein anderer verformbare Oberflächen. Und sie sind alle seit Jahren ausgebucht. Sicher, sie zahlen die Rechnungen, aber wenn sie doppelt so viele Jobs übernehmen könnten, weil sie halb so viel Zeit damit verbringen, einen Zieldarsteller für jedes Bild manuell zu skizzieren, würden sie es wahrscheinlich in einer Sekunde erledigen.

Alles hängt natürlich von der Qualität der Ergebnisse ab, und da scheitert die Automatisierung dieser Prozesse. Sicher, Sie können ein Tool erhalten, das automatisch Bewegungen im ausgewählten Schauspieler erkennt und eine grobe Animation für ein Modell ausgibt. Aber Sie müssen ihm in jeder Einstellung sagen, welcher Schauspieler, und wenn Sie das alles haben, wird es nicht auf magische Weise zu einer CG-Figur; es muss zum nächsten Team, das weiß, was mit einem Haufen Koordinaten und Bezier-Kurven anzufangen ist.

Bildnachweis: Wunder Dynamik

Sheridan und Todorovic wollten, dass Wonder Studio ein System ist, das einfach genug für ein Kind zu bedienen, aber leistungsstark genug für einen VFX-Profi ist – daher die Rohdatenausgabe, wenn Sie es wollen, aber die Drag-and-Drop-Funktionalität ist sofort einsatzbereit.

Wonder Studio wird standardmäßig mit einer Reihe von Beispielmodellen geliefert, aber es wird von niemandem erwartet, dass sie diese einfach in ihrem Film verwenden – es ist eher eine Reihe von CG-Charakterarchetypen, die Sie in Aktion sehen können: ein Vater und eine Tochter im Pixar-Stil, ein paar Roboter unterschiedlicher Ernsthaftigkeit, ein verdächtig Gollum-ähnlicher „Sam“ (kleiner außerirdischer Mann) und mehr.

„Wir wollen, dass Künstler ihre eigenen schaffen. Du bekommst deine FBX [a common 3D media format] und Ihre Texturen und es wird auf der Plattform zusammengestellt, genau wie Sie es in Blender oder Unreal oder was auch immer importieren würden“, sagte Todorovic. Auf der Plattform können auch Modelle zum Kauf angeboten werden.

Bildnachweis: Wunder Dynamik

Selbst diese Grundelemente könnten jedoch für einen Pitch, einen Rohschnitt oder eine Vorabvisualisierung ausreichen, wobei letzteres oft von Stuntmitarbeitern mit fast keinerlei VFX durchgeführt wird. Wäre es nicht toll zu sehen, wie das Wolverine-Kostüm oder das schleimige Kanalmonster tatsächlich in einer von Ihnen vorgeschlagenen Kampfchoreografie aussehen würden, anstatt nur in den Storyboards? Wie wäre es mit einem Fantasiedorf mit echten Vogelmenschen statt schlechtem Make-up? Oder ein kurzer Sci-Fi-Film, der nur einen Kassierer oder eine mutierte Straßenkehrmaschine braucht, um ihm ein lässiges futuristisches Flair zu verleihen – im Moment ist das nicht einmal eine Option. CG-Charaktere der Einstiegsklasse eröffnen ganze Genres, die hinter großen Budgets gesperrt waren.

Weitere Funktionen sind geplant, von CG-Umgebungen, in die Charaktere zusammengesetzt werden können, bis hin zur Erfassung von Kamerabewegungen beliebiger Medien, damit sie simuliert, untersucht, optimiert und wiederverwendet werden können.

„Dies ist ein großer erster Schritt, aber das große Ganze ist, dass wir eine Plattform haben wollen, auf der jedes Kind sitzen und Filme drehen kann, indem es an seinem Computer sitzt und tippt“, sagte Sheridan. Eine kostenlose Stufe wird für jeden zum Ausprobieren angeboten, und erweiterte Funktionen für Profis und Vielbenutzer werden in verschiedenen kostenpflichtigen Plänen verfügbar sein. Sie planen, direkt mit VFX-Häusern zusammenzuarbeiten, um Integrationen und Workflows zu erstellen und zu verbessern.

Ihre Hoffnung ist, dass dies die Kluft zwischen Low- und No-Budget-Filmemachen und der Art von grenzenlosen fantasievollen Höhenflügen überbrückt, die nur jemand mit James Camerons Ressourcen konzipieren, geschweige denn ausführen kann.

Die Plattform befindet sich jetzt in der Beta-Form, wird aber bereits von den gefeierten Action-Regisseuren der Russo Brothers für einen kommenden Netflix-Film mit Millie Bobby Brown und Chris Pratt verwendet. Kein Wort darüber, wer durch was ersetzt wird, aber es ist dennoch eine starke Bestätigung.

„Ich bin vielleicht voreingenommen, aber das Filmemachen muss einer der coolsten Jobs sein, den man jemals haben kann“, sagte Sheridan in einer Veröffentlichung, in der das Debüt von Wonder Studio angekündigt wurde. „Wir sind im Herzen Geschichtenerzähler, und wir bauen Technologie nur als Mittel, um uns dabei zu helfen, bessere Geschichten zu erzählen. KI stellt eine riesige Chance dar, mehr Filme zu machen und mehr Stimmen zu hören.“