Stapla det optiska däcket: Infinite Display + en primer för att mäta visuell kvalitet i VR

När det kommer till VR är att se att tro. Ljud och haptik spelar båda en viktig roll, men för de flesta är det det visuella som förseglar affären. Och vackert återgiven lågpolykonst kan vara lika hisnande som en hyperrealistisk miljö. Det finns bara ingenting som är helt insvept i en visuellt fantastisk virtuell värld, oavsett om den är genomsyrad av realism, helt abstraherad eller någonstans däremellan.

Men VR är fortfarande en framväxande teknik, och det finns inte mycket delad förståelse för vad som krävs för att skapa den visuella upplevelsen och de komplexa teknikerna som måste kombineras för att producera det du ser inuti headsetet. Det finns också en viss inkonsekvens inom branschen i hur visuell kvalitet i VR definieras idag.

När man tänker på visuell kvalitet använder många människor samma principer och standarder som vi traditionellt använder för att tänka på 2D-skärmar, som mobiltelefoner och TV-apparater. Men VR skiljer sig mycket från dessa andra konsumentenheter. Istället för att titta på en stor skärm på längre avstånd, tittar VR-användare på en mindre skärm, mycket närmare ögonen och förstorad av en uppsättning linser i en optisk stack. Det är som att titta på en TV genom en kameralins – vad du kommer att se bestäms inte bara av skärmens upplösning, utan också av objektivets optiska egenskaper, som förstoring och skärpa.

Till skillnad från TV-apparater och mobiltelefoner följer skärmen dig i princip när du rör på huvudet – och eftersom den är så nära dina ögon, som kan titta över ett stort område, måste optiken ge en konsekvent geometrisk och optisk prestanda över dessa betraktningsvinklar för att ge en visuell kvalitetsupplevelse. Detta pekar på den allt viktigare roll som eyetracking-teknik kommer att spela när det kommer till visuell prestanda och upplevelse i VR i framtiden.

Vi tror att branschen måste anpassa sig efter VR-specifika prestandamått som bättre visar hela bilden. Istället för att fokusera på enbart skärmupplösning måste vi överväga hur skärm och optik fungerar tillsammans som ett system i ett VR-headset. Visuell klarhet i VR bestäms av ett antal faktorer, av vilka de viktigaste är systemupplösning (mätt i pixlar per grad, eller PPD), skärpa (mätt av en lins moduleringsöverföringsfunktion eller MTF), kontrastförhållande och färg . I det här inlägget ska vi titta närmare på alla fyra och hur de förhåller sig till Meta Quest Pros nyintroducerade Infinite Display optiska stack.

Systemupplösning

Det är frestande att enbart fokusera på bildskärmsupplösning när man tänker på VR-headsetkvalitet, eftersom det är det mått som vi tenderar att bedöma 2D-skärmar efter. Men istället bör vi utvärdera det fullständiga optiska systemets upplösning, som mäts i PPD – ett kombinerat mått som tar hänsyn till att displayen och optiken fungerar tillsammans. En vinkelmätning, PPD mäter antalet pixlar som är packade inom 1° från synfältet (FOV). Ju högre PPD, desto bättre systemupplösning för VR-headsetet.

Vi tittar noga på PPD i designen och tillverkningen av våra VR-headset för att säkerställa en kvalitetsupplevelse. Och tack vare den högre pixeltätheten på Meta Quest Pros skärm och dess efterföljande förstoring av headsetets pannkaksoptik kunde vi öka den totala systemupplösningen för Meta Quest Pro (22 PPD) med 10 % jämfört med Meta Quest 2 (20 PPD) . Även om det inte är den högsta PPD av något VR-headset på marknaden idag, är detta en viktig milstolpe i lanseringen av högkvalitativa VR och mixed reality-aktiverade headset i stor skala.

Och vi investerar för att driva detta ännu längre. Vårt Display Systems Research-team på Reality Labs Research presenterade nyligen sin Butterscotch prototyp, vilket begränsar synfältet till ungefär hälften av det för Meta Quest 2 och använder 3K LCD-paneler med en ny typ av hybridlins för att uppnå en total systemupplösning på 55 PPD – närmar sig näthinneupplösning (vanligtvis anses vara runt 60 PPD, vilket är tillräckligt för att avbilda 20/20-linjen på ett ögondiagram) och potentiellt banar vägen för en ny industristandard. Medan Butterscotch är en forskningsprototyp med en teknisk konfiguration som kanske inte blir en framtida produkt, utvecklar vi högdensitetsskärmar och högupplösta optiska system i tandem för att uppnå näthinneupplösning på vår produktfärdplan.

Skärpa

Medan PPD sätter en baslinje för övergripande systemupplösning, med hänsyn till komponenterna i det optiska systemet, finns det ett annat avgörande mått som inte får tillräckligt med uppmärksamhet i dagens diskussioner om visuell klarhet i VR: skärpa.

Mätt med MTF, som kombinerar upplösning och kontrast, avgör skärpan hur mycket detaljer som kan återges av ett optiskt system. Ju högre MTF, desto finare bilddetalj. Eftersom VR-skärmar ses genom och därmed förstoras av en lins, måste vårt team optimera designen och tillverkningen av vår optik för att undvika artefakter som orsakas av linsen. Det är också viktigt att erkänna att skärpan är enhetlig med en platt 2D-skärm som en TV. I VR är det inte det – du har olika grader av skärpa i mitten och kanten av objektivet. Målet är alltså att uppnå en högre MTF i både centrum och periferin.

På Meta Quest Pro är mittskärpan 0.98 och kantskärpan 0.85*—en 25 % respektive 50 % förbättring jämfört med Meta Quest 2.

Däremot

Kontrastförhållandet är förhållandet mellan luminansen för det ljusaste vita och det mörkaste svarta som ett optiskt displaysystem kan producera. Ju högre förhållande, desto bättre kontrast.

För att maximera kontrasten är Meta Quest Pros skärm med hög pixeltäthet utrustad med specialiserad lokal dimningsteknik som kan styra över 500 individuella LED-block oberoende av varandra. Detta resulterar i 75 % mer kontrast, vilket ger djupare svärta och en mycket förbättrad tittarupplevelse.

Dessutom använder Meta Quest Pros pannkaksoptik en unik design av tre polarisationsfilmstaplar – en på skärmen och en på vart och ett av de två linselementen – för att minimera spökbilder, särskilt från mitten av periferin till kanten av FOV. Detta bidrar också till dess övergripande förbättrade kontrast.

Färg

Slutligen mäts kvaliteten på ett VR-headsets färg genom färgomfång och färgnoggrannhet. Färgomfång är det spektrum av färger inom ett spektrum som kan reproduceras av det övergripande systemet. Färgnoggrannhet avser det visuella systemets förmåga att återge färger och nyanser som avsett. Tillsammans är de avgörande för att ge en verklighetstrogen uppslukande upplevelse.

Meta Quest Pro har ett brett DCI-P3 färgomfång, vilket är 1.3 gånger så mycket som Meta Quest 2. Vi har också utvecklat avancerad färgkalibreringsteknik i Meta Quest Pro för att säkerställa färgnoggrannheten och ljusstyrkans skillnader mellan två ögon. Med rika och levande färger kan Meta Quest Pro ge förstklassig visuell klarhet över hela synfältet.

Förkortning av den optiska stapeln

Meta Quest Pro har en lins med två element och 10+ lager av funktionella optiska filmer. Det ursprungliga konceptet utvecklades av Reality Labs Research under cirka två år, och det representerar en mycket framgångsrik hårdvarutekniköverföring från forskning till produkt i VR. Det fanns dock mer arbete att göra för att designa pannkakslinser och polarisationsoptik som skulle fungera i produkten – en process som tog ungefär fyra år, inklusive mer än ett år under vilken produkt- och forskningsteamen arbetade som ett enda integrerat team för att säkerställa en framgångsrik och effektiv överföring.

Medan våra forskarteam kan bygga tidsmaskiner – prototyper som visar vad som kan vara möjligt fem till 10 år eller mer in i framtiden, utan hänsyn till begränsningar som kostnad, vikt och mer – måste våra produktteam leverera en hållbar design som kan produceras i stor skala. Långt ifrån vanliga produkter, designade produktteamet helt unika linser och polarisationsstaplar. Medan pannkakslinser och polarisationsoptik i sig inte är något nytt, ställer deras applikation för VR unika utmaningar i produktion i stor skala. Det fanns ingen tillverkare som tillverkade delarna, vilket krävde otroligt exakt lins- och polarisationsfilmtillverkning och integrering, så våra produktteam var tvungna att arbeta nära industrin under flera år för att skapa försörjningskedjan från grunden och förbättra deras status -konsttillverkningsförmåga. Vi var bland de första som arbetade med industripartners på nivå 1 för att skapa en förkortad optisk stack och pannkaksoptik som Meta Quest Pros — och vi gjorde det i stor skala.

Sammantaget har Meta för närvarande 350+ patent relaterade till optisk teknologi, inklusive de som fokuserar på att minimera storleken samtidigt som den visuella prestanda optimeras.

Lägger till allt

När du kombinerar all denna innovation och teknik till en enda konsumentenhet får du ett VR-headset med ett visuellt system som möjliggör skarpare text, tydligare bilder, mer levande färger och en överlag bekvämare upplevelse – oavsett om du läser e-post på ditt skrivbord in nedsänkt, skapa ett fysikspel i Figmin XR, eller slåss mot monster med vänner i Demeus.

Det är en designutmaning för systemoptimering – som kräver att våra produktteam tar det visuella VR-systemet som en helhet, snarare än att fokusera enbart på enskilda komponenter. I slutet av dagen är vårt mål att maximera den holistiska användarupplevelsen. Det kanske inte är perfekt, men de avvägningar vi har gjort är avsedda att bevara den bästa möjliga visuella upplevelsen. Och det här är bara början. Eftersom vår Infinite Display-teknik fortsätter att förbättras och vi kan kombinera Meta Quest Pros innovativa pannkakslinser och polarisationsoptik med skärmar med ännu högre upplösning borde vi se betydande steg i visuell kvalitet – mätt med PPD och vidare.

*MTF här mäts till 5 lp/mm (linjepar per millimeter).