Dit is het exacte prestatievoordeel van Foveated Rendering op Quest Pro

Quest Pro ondersteunt Eye Tracked Foveated Rendering, maar hoeveel verbetert het precies de prestaties?

Als u niet bekend bent met de term, is eye-tracked foveated rendering (ETFR) een techniek waarbij: alleen het gebied van het scherm waarnaar u momenteel kijkt, wordt in volledige resolutie weergegeven, waardoor de prestaties worden vrijgemaakt, aangezien de rest een lagere resolutie heeft. Die extra prestaties kunnen worden gebruikt om de grafische betrouwbaarheid van apps te verbeteren of voor een hogere basisresolutie.

Je merkt de lagere resolutie niet in de periferie omdat het menselijk oog zelf alleen een hoge resolutie kan zien in het centrum – de fovea. Dit is de reden waarom je geen pagina tekst kunt lezen zonder je blik te bewegen. Geloof het of niet, dat foveale gebied is slechts ongeveer 3 graden breed.

ETFR wordt al lang overwogen een "heilige graal" voor VR, want als je GPU echt maar 3 graden van je gezichtsveld in volledige resolutie hoeft te renderen, zou het prestatievoordeel in de orde van 20x kunnen liggen. Dat zou beeldschermen met ultrahoge resolutie of ongelooflijk gedetailleerde afbeeldingen mogelijk maken. Maar in werkelijkheid zou het nodig zijn om dit te bereiken: eye-tracking zonder latentie, een absurd hoge verversingssnelheid van het scherm en een reconstructiealgoritme van hoge kwaliteit zodat u geen flikkeringen en glinsteringen opmerkt.

Quest Pro is Meta's eerste verzendheadset met eye-tracking. De end-to-end latentie van deze eerste generatie eye-tracking-technologie is in de orde van 50 milliseconden, en de verversingssnelheid van het scherm is maximaal 90 Hz. Als zodanig zijn de werkelijke besparingen van de foveated-weergave nergens in de buurt van 20x.

Meta's headsets hebben ondersteund vast Foveated-weergave (FFR) – de randen van de . weergeven lens in lagere resolutie – sinds Oculus Go zes jaar geleden. In een lezing die deze week aan ontwikkelaars werd gegeven, heeft Meta de exacte prestatievoordelen van Oog gevolgd Foveated-weergave (ETF) en vergeleek het met FFR.

Beide typen foveated-weergave worden door ontwikkelaars per app mogelijk gemaakt (hoewel beide uiteraard niet tegelijk kunnen worden gebruikt). Ontwikkelaars krijgen drie keuzes voor de resolutiereductie van de periferie: Level 1, Level 2 en Level 3. Met ETFR Level 1 wordt de periferie gerenderd met 4x minder pixels, terwijl bij Level 3 meestal met 16x minder pixels.

Het exacte prestatievoordeel van foveated rendering hangt ook af van de basisresolutie van de app. Hoe hoger de resolutie, hoe groter de besparing.

In Meta's prestatietest-app ontdekten ze dat FFR bij standaardresolutie tussen 26% en 36% prestaties bespaart, afhankelijk van het foveation-niveau, terwijl de nieuwe ETFR tussen 33% en 45% bespaart.

Maar bij 1.5x de standaardresolutie waren de besparingen groter, waarbij FFR 34% tot 43% opleverde en ETFR 36% tot 52% opleverde. Dat is een tot 2x boost ten opzichte van het gebruik van helemaal geen foveation - maar slechts een klein voordeel ten opzichte van FFR.

Wat er natuurlijk echt toe doet, is wat we nog niet weten: hoe? merkbaar zijn elk van deze ETFR-niveaus? En hoe verhoudt dit zich tot hoe merkbaar FFR is? Dit is wat vergeleken moet worden - niet een bepaald niveau van FFR met hetzelfde niveau van ETFR. Dit zullen we in detail testen voor onze Quest Pro review.

Op Quest 2 is FFR Level 1 helemaal niet merkbaar, maar Level 3 wel. En sinds Quest Pro heeft lenzen die scherper zijn zowel in het midden als aan de randen kan FFR meer opvallen dan ooit tevoren, waardoor ETFR nog voordeliger is.

Op PlayStation VR2 is het geclaimde prestatievoordeel van foveated rendering groter. Sony beweert de FFR bespaart ongeveer 60%, terwijl de ETFR ongeveer 72% bespaart. Dit komt waarschijnlijk door de enorm verschillende GPU-architecturen van consoles en pc-GPU's in vergelijking met mobiele GPU's, evenals de hogere resolutie. Het kan ook te maken hebben met verschillen in de eye-tracking-technologie - Meta's is intern terwijl Sony gebruikt Tobii's.

Eye Tracking op zowel Quest Pro als PlayStation VR2 is om privacyredenen optioneel. Maar als je het uitschakelt, wordt ETFR natuurlijk ook uitgeschakeld, dus apps zullen terug moeten vallen op FFR.