Der Prozess des Komponierens oder das Platzieren von Schauspielern vor einem Hintergrund, der nicht wirklich vorhanden ist, ist so alt wie das Filmemachen selbst – und es war schon immer mühsam. Netflix verfügt über eine neue Technik, die auf maschinellem Lernen basiert, um einen Teil der harten Arbeit zu erledigen, erfordert jedoch die Beleuchtung der Schauspieler in einem grellen Magenta.
Jahrzehntelang war die einfachste Compositing-Methode das Chroma-Keying, bei dem Schauspieler vor einem leuchtend farbigen Hintergrund (ursprünglich blau, später grün) stehen, der leicht zu erkennen und durch alles von einer Wetterkarte bis hin zu einem Kampf mit Thanos ersetzt werden kann. Der Vordergrund soll „mattiert“ sein und der Hintergrund ist ein transparenter „Alpha“-Kanal, der zusammen mit den roten, grünen und blauen Kanälen manipuliert wird.
Es ist einfach und günstig, hat aber auch ein paar Nachteile, darunter Probleme mit transparenten Objekten, feinen Details wie Haaren und natürlich allem, was eine ähnliche Farbe wie der Hintergrund hat. Normalerweise ist es jedoch so gut, dass Versuche, es durch ausgefeiltere und teurere Methoden (wie eine Lichtfeldkamera) zu ersetzen, ins Stocken geraten sind.
Netflix-Forscher versuchen es jedoch mit einer Kombination aus Alt und Neu, die ein einfaches, makelloses Compositing ermöglichen könnte – auf Kosten einer höllischen Beleuchtung am Set.
Wie in einem kürzlich veröffentlichten Artikel beschriebenIhr „Magenta Green Screen“ liefert beeindruckende Ergebnisse, indem er die Schauspieler im Wesentlichen in ein Lichtsandwich steckt. Dahinter hellgrün (aktiv beleuchtet, kein Hintergrund); Vorne eine Mischung aus Rot und Blau, die für einen dramatischen Farbkontrast sorgt.
In Magenta beleuchtete Schauspieler vor einem grünen Bildschirm. Bildnachweis: Netflix
Der daraus resultierende Look am Set dürfte selbst den erfahrensten Postproduktionskünstler abschrecken. Normalerweise möchten Sie Ihre Schauspieler mit einem einigermaßen natürlichen Licht hell beleuchten. Auch wenn sie hier und da ein wenig nachbessern müssen, ist ihr Erscheinungsbild vor der Kamera relativ normal. Wenn sie jedoch ausschließlich mit rotem und blauem Licht beleuchtet werden, verfälscht dies dieses Erscheinungsbild völlig, da bei normalem Licht natürlich kein großer Teil seines Spektrums ausgeblendet wird.
Aber die Technik ist auch insofern clever, als sie den Prozess der Trennung der beiden vereinfacht, indem sie den Vordergrund nur rot/blau und den Hintergrund nur grün macht. Eine normale Kamera, die normalerweise diese Farben erfassen würde, erfasst stattdessen Rot, Blau und Alpha. Dadurch sind die resultierenden Matten äußerst präzise und es fehlen die Artefakte, die entstehen, wenn eine Eingabe mit vollem Spektrum von einem Key-Hintergrund mit begrenztem Spektrum getrennt werden muss.
Natürlich scheinen sie nur eine Schwierigkeit durch eine andere ersetzt zu haben: Der Compositing-Prozess ist jetzt einfach, aber die Wiederherstellung des grünen Kanals bei den magentabeleuchteten Motiven ist schwierig.
Dies muss systematisch und anpassungsfähig erfolgen, da Motive und Kompositionen unterschiedlich sind, ein „naiver“ linearer Ansatz beim Einspritzen von Grün jedoch zu einem verwaschenen, gelblichen Aussehen führt. Wie kann es automatisiert werden? KI zur Rettung!
Das Team trainierte ein maschinelles Lernmodell anhand eigener Trainingsdaten, im Wesentlichen „Probe“-Aufnahmen ähnlicher Szenen, jedoch mit normaler Beleuchtung. Das Faltungs-Neuronale Netzwerk erhält Patches des Vollspektrumbilds zum Vergleich mit den magentafarbenen Bildern und entwickelt einen Prozess zur schnellen Wiederherstellung des fehlenden grünen Kanals auf intelligentere Weise als ein einfacher Algorithmus.
Ein einfacher Algorithmus führt zu schlechten Ergebnissen (oben), während ein ausgefeilteres ML-Modell Farben erzeugt, die der Grundwahrheit sehr ähnlich sind. Bildnachweis: Netflix
Daher kann die Farbe in der Nachbearbeitung überraschend gut wiederhergestellt werden (sie ist „praktisch nicht zu unterscheiden“ von einer in der Kamera enthaltenen Grundwahrheit) – aber es gibt immer noch das Problem, dass die Schauspieler und das Bühnenbild auf diese schreckliche Art und Weise ausgeleuchtet werden müssen. Viele Schauspieler beschweren sich bereits darüber, wie unnatürlich es ist, vor einem Greenscreen zu arbeiten – stellen Sie sich vor, Sie würden es tun, während es in einem grellen, unmenschlichen Licht beleuchtet wird.
Das Papier befasst sich jedoch mit der Möglichkeit, die Beleuchtung zeitlich zu multiplexen, indem die magenta/grüne Beleuchtung im Wesentlichen mehrmals pro Sekunde ein- und ausgeschaltet wird. Dies ist ablenkend (sogar gefährlich), wenn man es 24 Mal pro Sekunde macht (also mit der Bildrate, mit der die meisten Filme und Fernsehsendungen gedreht werden), aber wenn man das Licht schneller einschaltet – 144 Mal pro Sekunde –, erscheint es „nahezu konstant“.
Dies erfordert jedoch eine komplexe Synchronisation mit der Kamera, die nur in den kurzen Momenten, in denen die Szene magentafarben ist, Licht einfangen darf. Und sie müssen auch fehlende Frames für Bewegung berücksichtigen …
Wie Sie sehen, ist dies noch sehr experimentell. Aber es ist auch eine interessante Möglichkeit, ein uraltes Problem der Medienproduktion mit einem neuen High-Tech-Ansatz anzugehen. Das wäre vor fünf Jahren noch nicht möglich gewesen, und obwohl es vielleicht am Set übernommen wird oder auch nicht, ist es auf jeden Fall einen Versuch wert.