Hands-On: Metas genprojektionsfrie gennemløbsprototype

Hands-On: Metas genprojektionsfrie gennemløbsprototype

Tidsstempel: 1. september 2023 kl. 5

På SIGGRAPH 2023 prøvede jeg Flamera, Metas forskningsprototype af reprojektionsfri passthrough AR.

Uigennemsigtige headset som Quest Pro, Apple Vision Pro og Quest 3 bruger højopløsningskameraer på fronten til at vise dig den virkelige verden. Men da disse kameraer er i en anden position end dine øjne, bruges billedbehandlingsalgoritmer til at omprojektere kameravisningerne for at vise, hvad dine øjne ville se.

Denne reprojektion er en ufuldkommen proces, der tilføjer latens og resulterer i billedbehandlingsartefakter – selvom det bliver bedre med nyere hardware som kameraer og chipsæt til at behandle dem forbedres.

[Indlejret indhold]

Flamera sigter på at omgå genprojektionstilgangen helt med et fra bunden hardwaredesign bygget fra bunden med gennemgang i tankerne.

Den har 53 linser foran hvert øje, hver med en blænde, der kun lukker lys ind fra dens specifikke vinkel i forhold til dit øje. Lyset fra disse linser fokuseres derefter til en traditionel billedsensor, der fremstår som 53 cirkler. Softwaren "omarrangerer derefter pixels og estimerer et groft dybdekort for at muliggøre en dybdeafhængig rekonstruktion", en proces, som Meta siger, er væsentligt mindre beregningsmæssigt dyr end reprojektion, så den har lavere latenstid og resulterer i næsten ingen visuelle artefakter.

Så hvordan var det?

Det mærkelige ved Metas Flamera-headset er, at display system den bruger er ret forfærdelig. Det er en 60Hz fuld-persistens-skærm af den slags, der typisk findes i gennemsigtige AR-systemer, med et synsfelt kun omkring halvdelen af ​​en Quest. Dette er noget ironisk, da Flamera, ligesom Butterscotch Varifocal, præsenteres af Metas "Display Systems Research"-team.

Men Flameras displaysystem blev valgt for at opnå den minimale headsettykkelse med hyldekomponenter. Og demoen handler ikke om displaysystemet, det handler om det nye optagelsessystem.

Hands-On: Metas genprojektionsfrie gennemløbsprototype PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

Det, jeg så, var en gennemgangsvisning i den virkelige verden uden forvrængning eller forskydning af nogen art, hvor geometrien af ​​objekter, jeg så gennem skærmen, var identisk med, hvad jeg så, da jeg løftede den op. Flamera lever op til sit løfte.

Alligevel var det forfærdelige displaysystem en vedvarende distraktion fra at værdsætte de sande fordele ved, hvad Flamera præsenterer. Opdateringshastigheden betød for eksempel, at latensen var iboende høj, og opløsningen og farvegengivelsen førte til et sløret udvasket billede.

I de kommende år håber jeg at se Meta parre Flameras optagelsessystem med det også tynde "Holocake" linser det teased sidste år for at se, hvordan denne optagelsesmetode virkelig kan se ud parret med det rigtige displaysystem.

Men er det praktisk?

Metas Display Systems Research (DSR)-team ser ud til at være fokuseret på to forskellige opgaver: at undersøge følelsen af ​​specifikke langsigtede XR-skærmfunktioner og lejlighedsvis finde ud af specifikke teknologier for at opnå disse funktioner.

Det andet headset prøvede jeg hos SIGGRAPH i år, Butterscotch Varifocal, var bestemt den tidligere slags. Det præsenteres ikke som en egentlig praktisk måde at opnå enten varifokal eller retinal opløsning i produkter.

Men Flamera ser ud til at være både en undersøgelse af følelsen af ​​genprojektionsfri passthrough , et forslag til en konkret tilgang. Så det rejser spørgsmålet: vil vi se dette i produkter?

Hands-On: Metas genprojektionsfrie gennemløbsprototype PlatoBlockchain Data Intelligence. Lodret søgning. Ai.
Kameraerne på toppen bruges som en del af demoen til at vise, hvordan Quest 2 & Rift S passthrough er, ikke for det faktiske Flamera-system i brug.

Jeg spurgte Flamera-projektlederen (som også havde den originale idé) Grace Kuo. Jeg lærte, at den eneste fundamentalt dyre del af Flameras tilgang er den ekstremt store billedsensor, der skal til for at fange alle perspektiverne, som også genererer en masse varme – man kan se heatsinks på hver side af headsettet.

Men der er potentielle løsninger på dette, såsom at bruge separate meget mindre billedsensorer til hver linse eller i det mindste grupper af linser.

En anden potentiel fremtidig tilgang ville være et midtpunkt for reprojektion og Flamera, ved at bruge færre linser for at reducere kompleksiteten og komponentomkostningerne og anvende mere skånsom reprojektion end det, der bruges, hvilket resulterer i nogle visuelle artefakter – dog meget mindre alvorlige end den nuværende traditionelle kameratilgang. Denne sammensmeltning af hardware og software er noget Mea er interesseret i at undersøge.

Meta indrømmer, at teknologierne i Flamera "måske aldrig finde vej til et forbruger-vendt produkt". Men selv hvis det er tilfældet, viser det stadig, at ånden bag ny innovation lever og lever i virksomhedens forskningstermer, og det antyder, at der kan være mange ikke-indlysende løsninger på problemerne med VR-headset, som i dag er opfundet i de kommende årtier.

Tidsstempel:

Mere fra UploadVR