Das nächste große Das Besondere an VR ist möglicherweise nicht eine höhere Auflösung oder ein immersiverer Klang, sondern ein Erlebnis, das durch physische Empfindungen oder bewegliche Teile verstärkt wird und Ihre Sinne dazu bringt, Virtuelles mit Realität zu verwechseln. Forscher bei SIGGRAPHVon Meta bis hin zu internationalen Studentengruppen stellten sie ihre neuesten Versuche vor, VR und AR überzeugender zu machen.
Die Konferenz über Computergrafik und verwandte Bereiche findet diese Woche in Los Angeles statt und alle von Meta über Epic bis hin zu Universitäten und Filmstudios stellten ihre Produkte vor.
Es ist das 50. SIGGRAPH, daher war ein unverhältnismäßig großer Teil der Veranstaltung Retrospektiven und Ähnlichem gewidmet, obwohl die Ausstellungshalle voll mit der neuesten VFX-, virtuellen Produktions- und Motion-Capture-Hardware und -Software war.
In der „Emerging Technologies“-Halle oder Höhle, wie sich der abgedunkelte, schwarz drapierte Raum anfühlte, schienen Dutzende experimenteller Ansätze an den Grenzen der VR den Stand der Technik zu beschreiben: visuell beeindruckend, aber die Immersion beruhte fast ausschließlich darauf. Was könnte getan werden, um die Illusion vollständiger zu machen? Für viele liegt die Antwort nicht in der virtuellen Welt mit besserem Sound oder besserer Grafik, sondern in der physischen Welt.
Das Varifokal-VR-Headset von Meta verändert Ihre Perspektive im wahrsten Sinne des Wortes
Meta war mit seiner ersten Demonstration im Raum stark vertreten zwei experimentelle Headsets mit den Namen Butterscotch und Flamera. Flamera verfolgt einen interessanten Ansatz für „Passthrough“-Videos, aber es ist der „varifokale“ Ansatz von Butterscotch, der die Dinge in der virtuellen Welt wirklich verändert.
VR-Headsets bestehen im Allgemeinen aus einem Paar winziger, hochauflösender Displays, die an einem Linsenstapel befestigt sind und den Eindruck erwecken, dass sie das Sichtfeld des Trägers ausfüllen. Das funktioniert ziemlich gut, wie jeder bestätigen kann, der kürzlich ein Headset ausprobiert hat. Aber es gibt einen Nachteil in der einfachen Tatsache, dass man die Dinge nicht wirklich besser sehen kann, wenn man näher heranrückt. Sie behalten die gleiche Auflösung, und auch wenn Sie vielleicht etwas mehr erkennen können, ist es doch nicht so, als würde man ein Objekt in die Hand nehmen und es im wirklichen Leben genau untersuchen.
Metas Butterscotch-Prototyp-Headset, in Einzelteilen.
Metas Butterscotch-Prototyp, den ich getestet und die Forscher befragt habe, reproduziert dieses Erlebnis, indem er Ihren Blick innerhalb des Headsets verfolgt und wenn Ihr Blick auf etwas näheres fällt, körperlich gleitend die Displays näher an Ihre Augen. Das Ergebnis ist schockierend für jeden, der sich an die schlechte Annäherung daran gewöhnt hat, etwas in VR „aus der Nähe zu betrachten“.
Das Display bewegt sich nur über eine Spanne von etwa 14 Millimetern, sagte mir ein Forscher am Meta-Stand, und das ist in diesem Bereich mehr als genug, um nicht nur ein klareres Bild des Objekts aus der Nähe zu erzeugen – bemerkenswert klar, muss ich sagen – sondern um es den Augen zu ermöglichen, ihre „Akkommodation“ und „Konvergenz“, also die Art und Weise, wie sie Objekte auf natürliche Weise verfolgen und fokussieren, natürlicher zu ändern.
Während der Prozess bei mir sehr gut funktionierte, scheiterte er völlig bei einem Teilnehmer (von dem ich vermute, dass er in der VR-Abteilung von Sony in einer höheren Position war, aber seine Erfahrung schien echt zu sein), der sagte, dass der optische Ansatz im Widerspruch zu seiner eigenen Sehbehinderung stünde. und das Einschalten der Funktion ließ tatsächlich alles schlimmer aussehen. Es ist schließlich ein Experiment, und andere, mit denen ich gesprochen habe, fanden es überzeugender. Leider sind die wechselnden Displays bei einem Consumer-Modell möglicherweise etwas unpraktisch, sodass es ziemlich unwahrscheinlich ist, dass diese Funktion in absehbarer Zeit bei Quest verfügbar sein wird.
Rumble- (und Tumble-)Packs
An anderer Stelle auf der Demo-Etage testen andere weitaus ausgefallenere physikalische Methoden, um Ihre Wahrnehmung zu täuschen.
Einer von Sony-Forschern treibt das Konzept eines Rumble Packs auf die Spitze: ein an einer Art Stab montierter Controller, in dessen Inneren sich ein Gewicht befindet, das von Motoren auf und ab bewegt werden kann, um den Schwerpunkt zu verändern oder Bewegungen zu simulieren.
Im Einklang mit den anderen haptischen Experimenten, die ich ausprobiert habe, fühlt es sich außerhalb des VR-Kontexts nicht besonders an, aber in Kombination mit einem visuellen Reiz ist es äußerst überzeugend. Eine schnelle Reihe von Demos brachte mich zunächst dazu, einen virtuellen Regenschirm zu öffnen – natürlich kein Spiel, das man lange spielen würde, aber eine hervorragende Möglichkeit zu zeigen, wie eine Änderung des Schwerpunkts einen vorgetäuschten Gegenstand real erscheinen lassen kann. Die Bewegung der Schirmöffnung fühlte sich richtig an, und dann vermittelte das Gewicht (an seiner äußersten Grenze) das Gefühl, als hätte sich die Masse tatsächlich bis zum Ende des Griffs bewegt.
Als nächstes wurde ein zweiter Schlagstock senkrecht zum ersten befestigt, sodass eine pistolenartige Form entstand, und tatsächlich sah ich in der Demo, wie ich Aliens mit einer Schrotflinte und einer Pistole beschoss, wobei jeder von ihnen aufgrund der Art und Weise, wie sie programmiert waren, ein eigenes „Gefühl“ hatte Gewichte zum Bewegen und Simulieren von Rückstoß und Nachladen. Zuletzt habe ich ein virtuelles Lichtschwert auf ein nahegelegenes Monster gerichtet, das eine taktile Rückmeldung gab, wenn der Strahl Kontakt aufnahm. Der Forscher, mit dem ich gesprochen habe, sagte, es gebe keine Pläne, es zu kommerzialisieren, aber die Resonanz sei sehr positiv gewesen und man arbeite an Verfeinerungen und neuen Anwendungen.
Eine ungewöhnliche und clevere Umsetzung dieser Idee der Gewichtsverlagerung war SomatoShift, ausgestellt an einem Stand von Forschern der Universität Tokio. Dort wurde ich mit einem angetriebenen Armband ausgestattet, an dem sich zwei sich drehende Kreisel gegenüberstanden, deren Ausrichtung jedoch geändert werden konnte, um eine Kraft zu erzeugen, die der Bewegung der Hand entweder entgegenwirkte oder diese beschleunigte.
Bildnachweis: Devin Coldewey / Tech
Der Mechanismus ist etwas schwer zu verstehen, aber rotierende Gewichte wie dieses wollen im Wesentlichen „aufrecht“ bleiben und durch die Änderung ihrer Ausrichtung relativ zur Schwerkraft oder dem Objekt, an dem sie montiert sind, kann diese Tendenz, sich aufzurichten, recht präzise Kraftvektoren erzeugen. Die Technologie wird seit Jahrzehnten in Satelliten eingesetzt, wo sie als „Reaktionsräder“ bekannt sind, und das Prinzip funktionierte auch hier, indem es die Bewegungen meiner Hand zwischen zwei Knöpfen verzögerte oder unterstützte. Die beteiligten Kräfte sind gering, aber spürbar, und man kann sich vorstellen, dass die Kreisel geschickt eingesetzt werden, um alle möglichen subtilen, aber überzeugenden Stöße und Züge zu erzeugen.
Das Konzept wurde ein paar Meter entfernt am Stand der University of Chicago auf die Spitze getrieben, wo den Teilnehmern ein großer, angetriebener Rucksack mit einem motorisierten Gewicht zur Verfügung stand, das sich schnell auf und ab bewegen konnte. Dies wurde verwendet, um die Illusion eines höheren oder niedrigeren Sprungs zu erzeugen, da man durch die Gewichtsverlagerung im richtigen Moment leichter oder nach oben beschleunigt oder abwechselnd nach unten gedrückt zu werden scheint – wenn im zugehörigen Sprungspiel ein Fehler gemacht wird.
Unsere Kollegen bei Engadget hat die Einzelheiten der Technologie vor ihrem Debüt letzte Woche geschrieben.
Während der sperrige Mechanismus und der enge Anwendungsbereich es wie die anderen als Proof of Concept kennzeichnen, zeigt es, dass die Wahrnehmung von Körperbewegungen, nicht nur die eines Objekts oder eines Gliedmaßes, durch den umsichtigen Einsatz von Gewalt beeinflusst werden kann.
Stringtheorie
Wenn es um das Gefühl geht, Dinge zu halten, sind aktuelle VR-Controller ebenfalls unzureichend. Während die Bewegungsverfolgungsfunktionen der neuesten Quest- und PlayStation VR2-Headsets geradezu erstaunlich sind, hat man nie das Gefühl, wirklich mit den Objekten in einer virtuellen Umgebung zu interagieren. Das Team des Tokyo Institute of Technology hat eine geniale – und unglaublich umständliche – Methode entwickelt Simuliert das Gefühl, einen Gegenstand mit den Fingerspitzen zu berühren oder zu halten.
Der Benutzer trägt an jeder Hand vier kleine Ringe, einen für jeden Finger mit Ausnahme des kleinen Fingers. Jeder Ring ist oben mit einem winzigen kleinen Motor ausgestattet, und von jedem Motor hängt eine winzige Fadenschlaufe herab, die um die Fingerkuppe jeder Fingerspitze gelegt wird. Die Positionen der Hände und Finger werden mit einem Tiefensensor verfolgt, der (knapp) am Headset angebracht ist.
In einer VR-Simulation wird eine Tischplatte mit verschiedenen Würfeln und anderen Formen bedeckt. Wenn der Tracker erkennt, dass Ihre virtuelle Hand die Kante eines virtuellen Blocks schneidet, dreht sich der Motor ein wenig und zieht an der Schlaufe – was sich fast so anfühlt, als würde etwas Ihre Fingerkuppen berühren!
Bildnachweis: Devin Coldewey / Tech
Das klingt alles sehr abgedreht, und das war es auf jeden Fall – aber die Grundidee und das Gefühl waren es wert, erlebt zu werden, und die Einrichtung war offensichtlich nicht zu teuer. Haptische Handschuhe, die einen Widerstand simulieren können, sind rar gesät und zudem recht kompliziert (tatsächlich hat ein anderer anwesender Forscher daran gearbeitet). Dieses Gerät, eine komplexere Version eines ähnlichen Prinzips). Eine verfeinerte Version dieses Systems könnte für weniger als 100 US-Dollar hergestellt werden und ein grundlegendes Erlebnis bieten, das dennoch transformativ ist.
SIGGRAPH und dieser Saal im Besonderen waren voll von diesen und weiteren Erlebnissen, die sich auf der Grenze zwischen dem Physischen und dem Digitalen bewegten. Während sich VR noch nicht im Mainstream durchgesetzt hat, meinen viele daraus, dass sie ihre Anstrengungen zur Verbesserung und Erweiterung verdoppeln sollten, anstatt sie als tote Plattform aufzugeben.
Die Konferenz zeigte auch viele Überschneidungen zwischen Gaming, VFX, Kunst, virtueller Produktion und zahlreichen anderen Bereichen – die Köpfe hinter diesen Experimenten und den etablierteren Produkten auf der Ausstellungsfläche haben eindeutig das Gefühl, dass die Branche konvergiert und gleichzeitig diversifiziert, und a Multimodales, multimediales und multisensorisches Erlebnis ist die Zukunft.
Aber es ist nicht unvermeidlich – jemand muss es schaffen. Also machen sie sich an die Arbeit.