World Labs, das vom KI-Pionier Fei-Fei Li gegründete Startup, hat enthüllt sein erstes Projekt: ein KI-System, das aus einem einzigen Bild videospielähnliche 3D-Szenen generieren kann.
Viele von KI Systeme kann ein Foto in 3D-Modelle und Umgebungen umwandeln. Aber die Szenen von World Labs sind insofern einzigartig, als sie interaktiv und modifizierbar sind.
„[Our tech] ermöglicht es Ihnen, in jedes Bild einzutauchen und es in 3D zu erkunden“, so World Labs schrieb in einem Blogbeitrag. „Über das Eingabebild hinaus wird alles generiert.“
Die von der KI generierten Szenen, die jeder mit Tastatur und Maus in einer Demo auf der Website von World Labs erkunden kann, sehen beeindruckend aus, wenn auch etwas cartoonhaft. Sie werden live im Browser gerendert und verfügen über eine steuerbare Kamera mit einstellbarer simulierter Schärfentiefe (DoF). Je stärker der DoF-Effekt ist, desto unschärfer erscheinen Hintergrundobjekte.
Das System von World Labs ist Teil einer aufstrebenden KI-Kategorie namens „Weltmodelle“. Viele von diese Modelle können Spiele und 3D-Umgebungen simulieren – jedoch mit Artefakten und Konsistenzproblemen. Beispielsweise hat das Minecraft-simulierende Weltmodell Oasis des Startup-Unternehmens Decart eine niedrige Auflösung und „vergisst“ schnell die Anordnung der Level.
Im Gegensatz dazu stellt der Ansatz von World Labs sicher, dass Szenen nach ihrer Erstellung gleich bleiben und den Grundgesetzen der Physik gehorchen, was bedeutet, dass sie ein Gefühl von Solidität und Tiefe haben.
Das System von World Labs kann auch interaktive Effekte und Animationen auf Szenen anwenden, etwa die Farbe von Objekten ändern und Hintergründe dynamisch beleuchten.
„Die meisten generativen KI-Tools erstellen 2D-Inhalte wie Bilder oder Videos“, schrieb World Labs. „Stattdessen verbessert die Generierung in 3D die Kontrolle und Konsistenz. Dies wird die Art und Weise verändern, wie wir Filme, Spiele, Simulatoren und andere digitale Manifestationen unserer physischen Welt erstellen.“
Nun gibt es sicherlich Raum für Verbesserungen. Die Szenen von World Labs sind nicht vollständig erkundbar – Ihre Bewegungen sind auf einen kleinen Bereich beschränkt. (Versuchen Sie, sich darüber hinaus zu bewegen, und Sie werden an eine Grenze stoßen.) Und es kommt gelegentlich zu Rendering-Fehlern – zum Beispiel, wenn Objekte auf unnatürliche Weise ineinander übergehen.
Aber World Labs sagt, dass es sich nur um eine „frühe Vorschau“ handelt.
„Wir arbeiten hart daran, die Größe und Wiedergabetreue unserer generierten Welten zu verbessern und mit neuen Möglichkeiten für Benutzer zu experimentieren, mit ihnen zu interagieren“, schrieb das Startup im Blog.
World Labs, das Anfang dieses Jahres gegründet wurde, hat Risikokapital in Höhe von 230 Millionen US-Dollar von Investoren eingesammelt, darunter Andreessen Horowitz (a16z), Ashton Kutcher, Intel Capital, AMD Ventures und Eric Schmidt. Das Unternehmen hat einen Wert von über einer Milliarde US-Dollar und hofft, sein erstes Produkt im Jahr 2025 fertigzustellen.
Über interaktive Szenen hinaus plant World Labs die Entwicklung von Tools, die für Fachleute wie Künstler, Designer, Entwickler, Filmemacher und Ingenieure nützlich sein könnten. Es richtet sich an Kunden, die von Videospielentwicklern bis hin zu Filmstudios reichen.
„Wir haben bereits die Möglichkeit, virtuelle, interaktive Welten zu erschaffen, aber das kostet Hunderte und Aberhunderte Millionen Dollar und eine Menge Entwicklungszeit“, sagte Justin Johnson, Mitbegründer von World Labs, kürzlich in einer Pressemitteilung Folge des a16z-Podcasts. „[World models] Damit erhalten Sie nicht nur ein Bild oder einen Clip, sondern eine vollständig simulierte, lebendige und interaktive 3D-Welt.“