OpenAI ist neu – und das erste! – Das Videogenerierungsmodell Sora kann einige wirklich beeindruckende filmische Leistungen vollbringen. Aber das Modell ist ausgeglichen mehr leistungsfähiger, als OpenAI zunächst vermutete, zumindest aus technischer Sicht Papier heute Abend veröffentlicht.
Das Papier mit dem Titel „Video Generation Models as World Simulators“, das von einer Vielzahl von OpenAI-Forschern mitverfasst wurde, lüftet den Vorhang für Schlüsselaspekte der Sora-Architektur – zum Beispiel enthüllt es, dass Sora Videos mit beliebiger Auflösung und beliebigem Seitenverhältnis erzeugen kann ( bis zu 1080p). Laut dem Artikel ist Sora in der Lage, eine Reihe von Bild- und Videobearbeitungsaufgaben auszuführen, von der Erstellung von sich wiederholenden Videos über die zeitliche Vorwärts- oder Rückwärtsverlängerung von Videos bis hin zur Änderung des Hintergrunds in einem vorhandenen Video.
Am faszinierendsten für diesen Autor ist jedoch Soras Fähigkeit, „digitale Welten zu simulieren“, wie es die OpenAI-Co-Autoren ausdrücken. In einem Experiment ließ OpenAI Sora auf Minecraft los und ließ es die Welt – und ihre Dynamik, einschließlich der Physik – rendern und gleichzeitig den Spieler steuern.
Sora steuert einen Spieler in Minecraft – und rendert dabei die Videospielwelt. Beachten Sie, dass die Körnigkeit durch ein Video-zu-GIF-Konverter-Tool und nicht durch Sora verursacht wurde. Bildnachweis: OpenAI
Wie schafft Sora das? Nun ja, als beobachtet vom leitenden Nvidia-Forscher Jim Fan (über Quarz), Sora ist eher eine „datengesteuerte Physik-Engine“ als ein Kreativer. Es geht nicht nur darum, ein einzelnes Foto oder Video zu erstellen, sondern die Physik jedes Objekts in einer Umgebung zu bestimmen – und auf der Grundlage dieser Berechnungen ein Foto oder Video (oder gegebenenfalls eine interaktive 3D-Welt) zu rendern.
„Diese Fähigkeiten legen nahe, dass die weitere Skalierung von Videomodellen ein vielversprechender Weg zur Entwicklung hochleistungsfähiger Simulatoren der physischen und digitalen Welt sowie der darin lebenden Objekte, Tiere und Menschen ist“, schreiben die Co-Autoren.
Im Videospielbereich gelten nun die üblichen Einschränkungen von Sora. Das Modell kann die Physik grundlegender Wechselwirkungen wie Glassplittern nicht genau annähern. Und selbst bei Interaktionen dürfen Vorbildlich ist Soras oft inkonsistent – zum Beispiel stellt er eine Person dar, die einen Burger isst, aber es gelingt ihm nicht, Bissspuren wiederzugeben.
Dennoch scheint es, wenn ich den Artikel richtig lese, dass Sora den Weg für realistischere – vielleicht sogar fotorealistische – prozedural generierte Spiele ebnen könnte. Das ist gleichermaßen aufregend und erschreckend (denken Sie zum Beispiel an die Deepfake-Implikationen) – was wahrscheinlich der Grund dafür ist, dass OpenAI Sora hinter sich lässt sehr vorerst eingeschränktes Zugangsprogramm.
Wir hoffen, dass wir eher früher als später mehr erfahren.