Stacking the Optical Deck: Introducing Infinite Display + eine Einführung in die Messung der visuellen Qualität in VR

Wenn es um VR geht, bedeutet „Sehen“ Glauben. Sowohl der Klang als auch die Haptik spielen eine wichtige Rolle, doch für die meisten Menschen ist es die Optik, die den Ausschlag gibt. Und wunderschön gerenderte Low-Poly-Kunst kann genauso atemberaubend sein wie eine hyperrealistische Umgebung. Es gibt einfach nichts Schöneres, als vollständig in eine visuell atemberaubende virtuelle Welt einzutauchen, unabhängig davon, ob sie realistisch, völlig abstrahiert oder irgendwo dazwischen ist.

Aber VR ist immer noch eine aufstrebende Technologie, und es gibt nicht viel gemeinsames Verständnis darüber, was zur Schaffung dieses visuellen Erlebnisses beiträgt und welche komplexen Technologien zusammenkommen müssen, um das zu erzeugen, was Sie im Headset sehen. Darüber hinaus gibt es branchenweit einige Unstimmigkeiten in der Art und Weise, wie visuelle Qualität in VR heute definiert wird.

Wenn es um visuelle Qualität geht, wenden viele Menschen dieselben Prinzipien und Standards an, die wir traditionell für 2D-Displays wie Mobiltelefone und Fernseher verwenden. Aber VR unterscheidet sich erheblich von diesen anderen Verbrauchergeräten. Anstatt aus größerer Entfernung auf einen großen Bildschirm zu blicken, blicken VR-Benutzer auf einen kleineren Bildschirm, der viel näher an ihren Augen liegt und durch eine Reihe von Linsen innerhalb eines optischen Stapels vergrößert wird. Es ist, als würde man durch die Linse einer Kamera auf einen Fernseher schauen – was man sieht, wird nicht nur durch die Auflösung des Bildschirms bestimmt, sondern auch durch die optischen Eigenschaften der Linse, wie Vergrößerung und Schärfe.

Auch im Gegensatz zu Fernsehern und Mobiltelefonen folgt das Display im Wesentlichen Ihren Kopfbewegungen – und da es sich so nah an Ihren Augen befindet, die über einen großen Bereich blicken können, muss die Optik über alle Betrachtungswinkel hinweg eine konsistente geometrische und optische Leistung bieten sorgen für ein hochwertiges visuelles Erlebnis. Dies weist darauf hin, dass die Eye-Tracking-Technologie in Zukunft eine immer wichtigere Rolle für die visuelle Leistung und das Erlebnis in VR spielen wird.

Wir glauben, dass sich die Branche an VR-spezifischen Leistungskennzahlen orientieren muss, die das Gesamtbild besser abbilden. Anstatt uns nur auf die Displayauflösung zu konzentrieren, müssen wir darüber nachdenken, wie Display und Optik als System in einem VR-Headset zusammenarbeiten. Die visuelle Klarheit in VR wird durch eine Reihe von Faktoren bestimmt. Die wichtigsten davon sind die Systemauflösung (gemessen in Pixel pro Grad oder PPD), die Schärfe (gemessen durch die Modulationsübertragungsfunktion (MTF) eines Objektivs), das Kontrastverhältnis und die Farbe . In diesem Beitrag werfen wir einen genaueren Blick auf alle vier und wie sie mit dem neu eingeführten Infinite Display-Optikstapel von Meta Quest Pro zusammenhängen.

Systemauflösung

Wenn man über die Qualität eines VR-Headsets nachdenkt, ist es verlockend, sich ausschließlich auf die Bildschirmauflösung zu konzentrieren, da dies der Maßstab ist, nach dem wir 2D-Anzeigen tendenziell beurteilen. Stattdessen sollten wir die Auflösung des gesamten optischen Systems bewerten, die in PPD gemessen wird – einer kombinierten Metrik, die das Zusammenwirken von Display und Optik berücksichtigt. PPD ist eine Winkelmessung und misst die Anzahl der Pixel, die innerhalb von 1° des Sichtfelds (FOV) gepackt sind. Je höher der PPD, desto besser ist die Systemauflösung des VR-Headsets.

Bei der Entwicklung und Herstellung unserer VR-Headsets achten wir genau auf PPD, um ein qualitativ hochwertiges Erlebnis zu gewährleisten. Und dank der höheren Pixeldichte des Meta Quest Pro-Displays und der anschließenden Vergrößerung durch die Pancake-Optik des Headsets konnten wir die Gesamtsystemauflösung für Meta Quest Pro (22 PPD) im Vergleich zu Meta Quest 10 (2 PPD) um 20 % erhöhen. . Obwohl dies nicht der höchste PPD aller derzeit auf dem Markt erhältlichen VR-Headsets ist, ist dies ein wichtiger Meilenstein bei der Einführung hochwertiger VR- und Mixed-Reality-fähiger Headsets in großem Maßstab.

Und wir investieren, um dies noch weiter voranzutreiben. Unser Display Systems Research-Team bei Reality Labs Research hat es kürzlich vorgestellt Butterscotch-Prototyp, das das Sichtfeld auf etwa die Hälfte des Sichtfelds von Meta Quest 2 begrenzt und 3K-LCD-Panels mit einer neuen Art von Hybridlinse verwendet, um eine Gesamtsystemauflösung von 55 PPD zu erreichen – was einer Auflösung der Netzhaut nahekommt (allgemein wird mit etwa 60 PPD gerechnet). reicht aus, um die 20/20-Linie auf einer Sehtafel darzustellen) und ebnet möglicherweise den Weg zu einem neuen Industriestandard. Während Butterscotch ein Forschungsprototyp mit einer technischen Konfiguration ist, die es möglicherweise nicht in ein zukünftiges Produkt schafft, entwickeln wir gleichzeitig Displays mit hoher Dichte und hochauflösende optische Systeme, um auf unserer Produkt-Roadmap eine Netzhautauflösung zu erreichen.

Sharpness

Während PPD unter Berücksichtigung der Komponenten des optischen Systems einen Grundwert für die Gesamtsystemauflösung festlegt, gibt es eine weitere entscheidende Messgröße, die in den heutigen Diskussionen über die visuelle Klarheit von VR nicht genügend Beachtung findet: die Schärfe.

Gemessen durch MTF, das Auflösung und Kontrast kombiniert, bestimmt die Schärfe, wie viele Details von einem optischen System wiedergegeben werden können. Je höher die MTF, desto feiner die Bilddetails. Da VR-Displays durch eine Linse betrachtet und somit vergrößert werden, muss unser Team das Design und die Herstellung unserer Optik optimieren, um durch die Linse verursachte Artefakte zu vermeiden. Es ist auch wichtig zu beachten, dass die Schärfe bei einem flachen 2D-Display wie einem Fernseher gleichmäßig ist. In VR ist dies nicht der Fall – Sie haben unterschiedliche Schärfegrade in der Mitte und am Rand des Objektivs. Das Ziel besteht also darin, sowohl im Zentrum als auch in der Peripherie eine höhere MTF zu erreichen.

Bei Meta Quest Pro beträgt die Mittenschärfe 0.98 und die Randschärfe 0.85* – eine Verbesserung von 25 % bzw. 50 % gegenüber Meta Quest 2.

Kontrast-Funktion

Das Kontrastverhältnis ist das Verhältnis zwischen der Leuchtdichte des hellsten Weiß und des dunkelsten Schwarz, die ein optisches Anzeigesystem erzeugen kann. Je höher das Verhältnis, desto besser ist der Kontrast.

Um den Kontrast zu maximieren, ist das Display mit hoher Pixeldichte des Meta Quest Pro mit einer speziellen lokalen Dimmtechnologie ausgestattet, die über 500 einzelne LED-Blöcke unabhängig voneinander steuern kann. Dies führt zu einem um 75 % höheren Kontrast, tieferen Schwarztönen und einem deutlich verbesserten Seherlebnis.

Darüber hinaus nutzt die Pancake-Optik des Meta Quest Pro ein einzigartiges Design aus drei Polarisationsfilmstapeln – einen auf dem Display und einen auf jedem der beiden Linsenelemente –, um Geisterbilder zu minimieren, insbesondere von der mittleren Peripherie bis zum Rand des Sichtfelds. Dies trägt auch zu einem insgesamt verbesserten Kontrast bei.

Farbe

Schließlich wird die Qualität der Farbe eines VR-Headsets anhand des Farbumfangs und der Farbgenauigkeit gemessen. Der Farbumfang ist der Farbbereich innerhalb eines Spektrums, der vom Gesamtsystem reproduziert werden kann. Unter Farbgenauigkeit versteht man die Fähigkeit des visuellen Systems, Farben und Schattierungen wie beabsichtigt wiederzugeben. Zusammen sind sie von entscheidender Bedeutung, um ein lebensechtes, immersives Erlebnis zu bieten.

Meta Quest Pro verfügt über einen breiten DCI-P3-Farbraum, der 1.3-mal so groß ist wie der von Meta Quest 2. Wir haben in Meta Quest Pro außerdem eine fortschrittliche Farbkalibrierungstechnologie entwickelt, um die Farbgenauigkeit und Helligkeitsunterschiede zwischen zwei Augen sicherzustellen. Mit satten und lebendigen Farben ist Meta Quest Pro in der Lage, im gesamten Sichtfeld erstklassige visuelle Klarheit zu bieten.

Verkürzung des optischen Stapels

Meta Quest Pro verfügt über eine Zwei-Element-Linse und mehr als 10 Schichten funktionaler optischer Folien. Das ursprüngliche Konzept wurde von Reality Labs Research im Laufe von etwa zwei Jahren entwickelt und stellt einen äußerst erfolgreichen Hardware-Technologietransfer von der Forschung zum Produkt in VR dar. Es gab jedoch noch mehr Arbeit zu leisten, um Pancake-Linsen und Polarisationsoptiken zu entwerfen, die im Produkt funktionieren würden – ein Prozess, der etwa vier Jahre dauerte, darunter mehr als ein Jahr, in dem die Produkt- und Forschungsteams als ein einziges integriertes Team arbeiteten, um dies sicherzustellen ein gelungener und effizienter Transfer.

Während unsere Forschungsteams in der Lage sind, Zeitmaschinen zu bauen – Prototypen, die zeigen, was in fünf bis zehn Jahren oder mehr in der Zukunft möglich sein könnte, ohne Rücksicht auf Einschränkungen wie Kosten, Gewicht und mehr – müssen unsere Produktteams ein tragfähiges Design liefern, das dies kann im Maßstab produziert werden. Weit entfernt von Produkten von der Stange hat das Produktteam wirklich einzigartige Linsen und Polarisationsstapel entwickelt. Während Pancake-Linsen und Polarisationsoptiken an sich nichts Neues sind, stellt ihre Anwendung für VR einzigartige Herausforderungen bei der Produktion im großen Maßstab dar. Es gab keinen Hersteller, der die Teile herstellte, was eine unglaublich präzise Herstellung und Integration von Linsen und Polarisationsfolien erforderte. Daher mussten unsere Produktteams im Laufe der Jahre eng mit der Industrie zusammenarbeiten, um die Lieferkette von Grund auf neu zu erstellen und ihren Stand der Dinge voranzutreiben -Kunst Herstellungsfähigkeiten. Wir gehörten zu den ersten, die mit Tier-10-Industriepartnern zusammengearbeitet haben, um einen verkürzten optischen Stapel und eine Pancake-Optik wie die von Meta Quest Pro zu entwickeln – und wir haben es in großem Maßstab gemacht.

Insgesamt hält Meta derzeit mehr als 350 Patente im Zusammenhang mit optischen Technologien, darunter solche, die sich auf die Minimierung der Größe bei gleichzeitiger Optimierung der Sehleistung konzentrieren.

Alles addieren

Wenn Sie all diese Innovationen und Technologien in einem einzigen Verbrauchergerät vereinen, erhalten Sie ein VR-Headset mit einem visuellen System, das schärferen Text, klarere Bilder, lebendigere Farben und ein insgesamt komfortableres Erlebnis ermöglicht – egal, ob Sie gerade E-Mails lesen Ihren Schreibtisch rein Eingetaucht, Erstellen eines Physikspiels in Figmin XR, oder mit Freunden gegen Monster kämpfen Demo.

Es handelt sich um eine Designherausforderung zur Systemoptimierung, bei der unsere Produktteams das visuelle VR-System als Ganzes betrachten müssen, anstatt sich nur auf einzelne Komponenten zu konzentrieren. Letztendlich ist es unser Ziel, das ganzheitliche Benutzererlebnis zu maximieren. Es ist vielleicht nicht perfekt, aber die Kompromisse, die wir eingegangen sind, sollen das bestmögliche visuelle Erlebnis gewährleisten. Und das ist erst der Anfang. Da sich unsere Infinite Display-Technologie weiter verbessert und wir die innovativen Pancake-Linsen und Polarisationsoptiken von Meta Quest Pro mit noch höher auflösenden Displays kombinieren können, sollten wir deutliche Sprünge in der visuellen Qualität sehen – gemessen am PPD und darüber hinaus.

*MTF wird hier mit 5 lp/mm (Linienpaare pro Millimeter) gemessen.