Hands-On: Metas Varifokal-Prototyp mit Netzhautauflösung

Bei SIGGRAPH 2023 habe ich einen Meta-Forschungsprototyp mit nahezu retinaler Winkelauflösung, dynamischem Fokus und dynamischer Verzerrungskorrektur ausprobiert.

Butterscotch Varifocal basiert auf dem ursprünglichen Butterscotch-Prototyp Meta enthüllt letztes Jahr. Die Butterscotch-Prototypen liefern eine Winkelauflösung von 56 Pixeln pro Grad (PPD) Ihrer Sicht, knapp unter den 60 Pixeln pro Grad, die allgemein als das angesehen werden, was das menschliche Auge wahrnehmen kann. Das ist fast das Dreifache der zentralen Winkelauflösung von Quest Pro und das Doppelte von Bigscreen Beyond.

Die Forscher von Meta erreichten diese Winkelauflösung jedoch nicht mit irgendeiner bahnbrechenden oder speziellen Technologie. Die Butterscotch-Headsets verwenden handelsübliche 2880×2880-LCD-Displays, die in einem typischen VR-Headset etwa 30 PPD liefern würden, kombinieren sie jedoch mit Objektiven mit etwa der Hälfte des Sichtfelds. Der Zweck hier besteht darin, zu zeigen, wie sich eine Netzhautauflösung anfühlt, um letztendlich als Grundlage für zukünftige Produktprioritäts- und Kompromissentscheidungen zu dienen. Der Prototyp soll keine spezifische neue Technologie vorschlagen, um eine Netzhautauflösung bei einem akzeptablen Sichtfeld zu erreichen.

Varjo verfolgt einen ähnlichen Ansatz, um in seinen bestehenden Business-Headsets für mehr als 5000 US-Dollar eine Netzhautauflösung in einem noch kleineren Sichtfeld genau in der Mitte des Sichtfelds zu erreichen, und kombiniert ihn dann mit einem peripheren Display mit viel geringerer Winkelauflösung.

Wie der Name schon sagt, ist Butterscotch Varifocal jedoch nicht nur eine Demonstration der Netzhautauflösung. Darin ist auch die Gleitsicht-Technologie von Meta aus dem Jahr 2018 enthalten Half-Dome-Prototyp.

In VR erhält jedes Auge eine eigene Perspektive, sodass es zu Stereounterschieden kommt, aber das ist nur ein Hinweis, den Ihr Gehirn verwendet, um die Tiefe zu bestimmen. Alle aktuellen Headsets auf dem Markt verfügen über Objektive mit festem Fokus. Das Bild wird auf einen festen Abstand fokussiert, normalerweise einige Meter. Ihre Augen werden auf virtuelle Objekte gerichtet (konvergieren), können sich aber nicht wirklich auf die virtuelle Entfernung zu ihnen konzentrieren (sich anpassen). Dies wird als Vergenz-Akkommodations-Konflikt bezeichnet und führt zu einer Überanstrengung der Augen und kann dazu führen, dass virtuelle Objekte aus der Nähe verschwommen aussehen.

Der Half-Dome-Prototyp präsentierte eine Lösung: Verfolgen Sie, auf welches virtuelle Objekt Ihre Augen blicken, und bewegen Sie die Anzeigefelder schnell mechanisch nach hinten oder vorne, um den Fokus dynamisch an die Entfernung anzupassen. Butterscotch Varifocal verfügt über die gleiche Augenverfolgung und die gleichen mechanischen Aktuatoren.

Das Ergebnis dieser Kombination aus Winkelauflösung nahezu der Netzhaut und dynamischer Fokusanpassung war ein Blick in eine virtuelle Welt ohne sichtbare Pixelierung oder Aliasing, in der ich selbst kleinste Details in den kleinsten Objekten erkennen und Text jeder Größe lesen konnte konnte in der physischen Welt lesen. Die virtuellen Tablets und Telefone, die Artikel mit kleinem Text anzeigen, mussten nicht einmal die Compositor-Ebenen verwenden. John Carmack betont wiederholt, dass Entwickler bei aktuellen Headsets unerlässlich sind. Die Pixeldichte war hier einfach so hoch, dass solche Tricks nicht mehr nötig sind.

Der limitierende Faktor für das Erkennen feiner Details war nun mein Sehvermögen, nicht das Anzeigesystem des Headsets. Die Situation ist heute genau umgekehrt wie bei VR-Headsets, und es war ein verlockender Blick auf die visuelle Qualität, die VR den Verbrauchern eines Tages bieten wird.

Dies war das erste Mal, dass ich ein Gleitsicht-Headset ausprobiert habe – nur sehr wenige Leute außerhalb von Meta haben es – und ich konnte es per Knopfdruck ein- und ausschalten. Bei eingeschalteter Funktion blieben virtuelle Objekte sogar dann scharf, wenn sie unglaublich nahe an meine Augen gebracht wurden, und zwar bis zu einem Minimum von 20 Zentimetern. Das hat praktische Vorteile, aber es gab noch etwas subtileres, das mir auffiel, als die Gleitsichtbrille eingeschaltet war. Durch den richtigen Fokus sahen die virtuelle Welt und die darin enthaltenen Objekte plötzlich „realer“ aus und fühlten sich auch so an. Tatsächlich waren einige der Demoobjekte so detailliert, dass ich sogar sagen würde, sie fühlten sich an vollständig real.

Ich habe Douglas Lanman, Forschungsdirektor für Display-Systeme bei Meta, dazu befragt. Er erzählte mir, dass Meta-Forscher zwar über diesen Effekt Bescheid wissen und ihn diskutieren, das subjektive Gefühl der „Realität“ jedoch viel schwieriger zu quantifizieren und zu beurteilen sei als andere Aspekte von Displays.

Es gab eine kleine Latenz zwischen dem Betrachten eines Objekts und dem Bewegen der Displays, um den Fokus anzupassen, aber wie beim Aspekt der Netzhautauflösung besteht der Zweck dieses Prototyps darin, zu zeigen, wie sich Gleitsichtbrillen anfühlen, und nicht darin, eine bestimmte Technologie für die praktische Umsetzung zu beanspruchen. Butterscotch Varifocal verwendet tatsächlich die ursprünglichen Half-Dome-Aktuatoren und Ende 2019 enthüllte Meta Half-Dome 2 mit schnelleren und zuverlässigeren Aktuatoren und Half-Dome 3 ohne bewegliche Teile, stattdessen ändert sich der Fokus mit abstimmbaren Linsenschichten.

Dynamische Verzerrungskorrektur

In Butterscotch Varifocal ist außerdem eine dritte Technologie enthalten, die nicht so viel Beachtung gefunden hat, aber auch für eine visuell überzeugende VR von entscheidender Bedeutung ist: die dynamische Verzerrungskorrektur.

Neben der beeindruckenden Winkelauflösung und dem dynamischen Fokus war mir auch aufgefallen, dass Butterscotch Varifocal hervorragende optische Grundlagen lieferte, ohne Pupillenschwimmen oder andere geometrische Verzerrungen. Nach der Demo stellte ich fest, dass das an der dynamischen Verzerrungskorrektur lag.

Moderne VR-Headset-Objektive vergrößern eine Anzeige auf ein relativ großes Sichtfeld, was jedoch zu geometrischen Ergebnissen führt Laufverzerrung. Eine der wichtigsten Neuerungen der ursprünglichen Prototypen von Palmer Luckey bestand darin, dies in der Software zu korrigieren, indem ein Bild mit umgekehrter Verzerrung auf dem Display ausgegeben wurde. Allerdings ändert sich die optische Verzerrung je nach Position Ihres Auges relativ zum Objektiv geringfügig und die Software-Verzerrungskorrektur ist nur für den Totpunkt ausgelegt. Dynamische Verzerrungskorrektur bedeutet, dass das System bei jedem Bild eine neue Korrektur generiert, die auf der Position Ihres Auges basiert und durch Eye-Tracking ermöglicht wird.

Mir wurde gesagt, dass dies eine rechnerisch kostengünstige Technik sei, also fragte ich Lanman, warum sie in Quest Pro nicht verwendet wird, da auch sie über Eye-Tracking verfügt. Er antwortete zwar nicht direkt darauf, sprach aber darüber, wie wichtig es ist, dass die Eye-Tracking-Hardware gut genug ist, damit die dynamische Verzerrungskorrektur gut funktioniert, da sie die genaue Position Ihrer Pupille im 3D-Raum messen muss, nicht nur die Blickrichtung . Bemerkenswert ist, dass Quest Pro nur eine Tracking-Kamera hat, die auf jedes Auge gerichtet ist, während Butterscotch Varifocal genau wie zwei hat Apple Vision Pro.

Wie weit sind Netzhaut und Gleitsichtbrille entfernt?

Letztes Jahr reisten Meta beschrieb die Auflösung der Netzhaut als „auf unserer Produkt-Roadmap“, wie lange wird es also dauern, bis wir etwas davon in tatsächlichen Produkten sehen?

Lanman würde natürlich nicht antworten, da er „nur ein Forscher“ sei, aber er äußerte Skepsis gegenüber der Komplexität von Multi-Display-Ansätzen wie Varjos. Geht man davon aus, dass die Netzhautauflösung durch die Rohpixeldichte erreicht wird, wären für die Erzielung dieser Auflösung in der mittleren Ansicht von Headsets mit Standardsichtfeld etwa 6K-Displays pro Auge erforderlich. Mit der Erweiterung des Sichtfelds wird dieser Bedarf jedoch noch höher – mehr als 10K pro Auge für das gesamte menschliche Sichtfeld und bis zu 16K pro Auge für eine Netzhautauflösung über das gesamte Sichtfeld statt nur in der Mitte.

Apple Vision Pro soll nächstes Jahr mit etwa 3.5K OLED-Mikrodisplays pro Auge auf den Markt kommen, obwohl dies Berichten zufolge der Fall ist äußerst schwierig herzustellen, mit geringer Ausbeute und daher ein wesentlicher Faktor für den Preis von 3500 US-Dollar. Dennoch zeichnet sich die Marktnachfrage nach solch hochauflösenden Mikrodisplays erst jetzt ab, und da Display-Unternehmen darum konkurrieren, bessere Techniken für deren Herstellung zu finden, ist davon auszugehen, dass die Preise im Laufe der Zeit sinken, die Produktion steigt und die Auflösung noch höher wird .

Aber was ist mit der Gleitsichtbrille? In einem Vortrag Anfang 2020 Lanman beschrieben Der elektronische Gleitsichtansatz von Half-Dome 3 gilt als „fast bereit für die Hauptsendezeit“, mit einem höheren „Technology Readiness Level“ als jeder frühere Prototyp. Letztes Jahr Mark Zuckerberg schlug vor Gleitsichtbrillen könnten „in der zweiten Hälfte des Jahrzehnts“ eintreffen, also irgendwo zwischen 2026 und 2029.

Abschließende Überlegungen

Bei der Enthüllung des originalen Butterscotch und Starburst (was wir versucht haben) letztes Jahr beschrieb Lanman das Ziel seines Teams darin, eines Tages ein Anzeigesystem zu liefern, das einen „visuellen Turing-Test“ besteht, was bedeutet, dass es sich anfühlt, als würde man durch eine transparente Glasscheibe schauen, und nicht durch ein Display.

Butterscotch Varifocal würde einen solchen Test nicht vollständig bestehen. Im Gegensatz zu Starburst erreichen die herkömmlichen LCD-Displays nicht annähernd die Helligkeit, den Dynamikumfang und den Kontrast der realen Welt. Aber es kann die Details und die Schärfe liefern, und das allein war atemberaubend anzusehen. Dies ist eine weitere Erinnerung daran, dass Headsets heute noch der Anfang von VR sind und dieser Technologie noch ein langer und vielversprechender Weg bevorsteht.

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
• PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
• PlatoESG. Automobil / Elektrofahrzeuge, Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
• PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
• ChartPrime. Verbessern Sie Ihr Handelsspiel mit ChartPrime. Hier zugreifen.
• BlockOffsets. Modernisierung des Eigentums an Umweltkompensationen. Hier zugreifen.
• Quelle: https://www.uploadvr.com/meta-butterscotch-varifocal-prototype-retinal-hands-on/