Eye-tracking is een game-wisselaar voor XR die veel verder gaat dan foveated rendering

Eye-tracking - de mogelijkheid om snel en nauwkeurig te meten in welke richting een gebruiker kijkt terwijl hij zich in een VR-headset bevindt - wordt vaak besproken in de context van foveated rendering en hoe dit de prestatie-eisen van XR-headsets zou kunnen verminderen. En hoewel foveated rendering een opwindende use-case is voor eye-tracking in AR- en VR-headsets, biedt eye-tracking veel meer mogelijkheden.

Bijgewerkt - 2 mei 2023

Er wordt al jaren over eye-tracking gesproken met betrekking tot XR als een verre technologie, maar de hardware wordt eindelijk steeds meer beschikbaar voor ontwikkelaars en klanten. PSVR 2 en Quest Pro zijn de meest zichtbare voorbeelden van headsets met ingebouwde eye-tracking, samen met bijvoorbeeld Varjo Aero, Vive Pro Eye en meer.

Met dit momentum zouden we binnen een paar jaar kunnen zien dat eye-tracking een standaardonderdeel wordt van XR-headsets voor consumenten. Wanneer dat gebeurt, is er een breed scala aan functies die de technologie kan inschakelen om de ervaring drastisch te verbeteren.

Foveated weergave

Laten we eerst beginnen met degene die veel mensen al kennen. Foveated rendering is bedoeld om de rekenkracht te verminderen die nodig is voor het weergeven van veeleisende AR- en VR-scènes. De naam komt van de 'fovea' - een klein putje in het midden van het menselijk netvlies dat dicht opeengepakt zit met fotoreceptoren. Het is de fovea die ons een hoge resolutie visie geeft in het midden van ons gezichtsveld; ondertussen is ons perifere zicht eigenlijk erg slecht in het oppikken van details en kleuren, en is het beter afgestemd op het waarnemen van beweging en contrast dan het zien van details. Je kunt het zien als een camera die een grote sensor heeft met maar een paar megapixels, en nog een kleinere sensor in het midden met veel megapixels.

Het gebied van uw zicht waarin u zeer gedetailleerd kunt zien, is in feite veel kleiner dan de meesten denken - slechts een paar graden over het midden van uw zicht. Het verschil in oplossend vermogen tussen de fovea en de rest van het netvlies is zo drastisch dat je zonder je fovea de tekst op deze pagina niet zou kunnen onderscheiden. U kunt dit eenvoudig zelf zien: als u uw ogen gericht houdt dit woord en probeer slechts twee zinnen hieronder te lezen, je zult merken dat het bijna onmogelijk is om te onderscheiden wat de woorden zeggen, ook al kun je zien iets lijken op woorden. De reden dat mensen het foveale gebied van hun gezichtsvermogen overschatten, lijkt te zijn omdat de hersenen veel onbewuste interpretaties en voorspellingen doen om een ​​model te bouwen van hoe wij denken dat de wereld is.

Foveated rendering heeft tot doel deze eigenaardigheid van onze visie uit te buiten door de virtuele scène alleen in hoge resolutie weer te geven in het gebied dat de fovea ziet, en vervolgens de complexiteit van de scène drastisch te verminderen in ons perifere zicht waar de details toch niet kunnen worden opgelost . Door dit te doen, kunnen we het grootste deel van de verwerkingskracht concentreren waar deze het meest bijdraagt ​​aan details, terwijl verwerkingsbronnen elders worden bespaard. Dat klinkt misschien niet als een groot probleem, maar naarmate de schermresolutie van XR-headsets en het gezichtsveld toenemen, neemt de kracht die nodig is om complexe scènes weer te geven snel toe.

Eye-tracking speelt natuurlijk een rol, omdat we te allen tijde snel en met hoge precisie moeten weten waar het middelpunt van de blik van de gebruiker is om foveated rendering tot stand te brengen. Hoewel het moeilijk is om dit uit te voeren zonder dat de gebruiker het merkt, is het mogelijk en is het behoorlijk effectief gedemonstreerd op recente headsets zoals Quest Pro en PSVR 2.

Automatische gebruikersdetectie en -aanpassing

Naast het detecteren van beweging kan eye-tracking ook worden gebruikt als biometrische identificatie. Dat maakt eye-tracking een geweldige kandidaat voor meerdere gebruikersprofielen op een enkele headset. Wanneer ik de headset opzet, kan het systeem mij onmiddellijk identificeren als een unieke gebruiker en mijn aangepaste omgeving, inhoudsbibliotheek, spelvoortgang en instellingen oproepen. Wanneer een vriend de headset opzet, kan het systeem worden geladen hun voorkeuren en opgeslagen gegevens.

Eye-tracking kan ook worden gebruikt om IPD (de afstand tussen de ogen) nauwkeurig te meten. Het kennen van uw IPD is belangrijk in XR omdat het nodig is om de lenzen en displays in de optimale positie te brengen voor zowel comfort als visuele kwaliteit. Helaas weten veel mensen begrijpelijkerwijs niet wat hun IPD uit hun hoofd is.

Met eye-tracking zou het gemakkelijk zijn om direct de IPD van elke gebruiker te meten en vervolgens de software van de headset de gebruiker te laten helpen de IPD van de headset aan te passen, of gebruikers te waarschuwen dat hun IPD buiten het bereik valt dat door de headset wordt ondersteund.

Bij meer geavanceerde headsets kan dit proces onzichtbaar en automatisch zijn: IPD kan onzichtbaar worden gemeten en de headset kan een gemotoriseerde IPD-aanpassing hebben die de lenzen automatisch in de juiste positie beweegt zonder dat de gebruiker zich hiervan bewust hoeft te zijn, zoals op de Varjo Aero bijvoorbeeld.

Varifocale beeldschermen

De optische systemen die in de huidige VR-headsets worden gebruikt, werken redelijk goed, maar ze zijn eigenlijk vrij eenvoudig en ondersteunen geen belangrijke functie van het menselijk zicht: dynamische focus. Dit komt omdat het scherm in XR-headsets altijd op dezelfde afstand van onze ogen staat, zelfs als de stereoscopische diepte anders suggereert. Dit leidt tot een probleem dat verence-accommodation-conflict wordt genoemd. Als je wat meer diepgaand wilt leren, bekijk dan onze primer hieronder:

Varifocale beeldschermen - die hun scherptediepte dynamisch kunnen veranderen - worden voorgesteld als een oplossing voor dit probleem. Er zijn een aantal benaderingen voor varifocale beeldschermen, waarvan misschien wel de eenvoudigste een optisch systeem is waarbij het beeldscherm fysiek heen en weer wordt bewogen van de lens om de scherptediepte tijdens de vlucht te veranderen.

Om zo'n geactiveerde varifocale weergave te bereiken, is eye-tracking vereist, omdat het systeem precies moet weten waar in de scène de gebruiker kijkt. Door vanuit elk oog van de gebruiker een pad in de virtuele scène te volgen, kan het systeem het punt vinden waar die paden elkaar kruisen, waardoor het juiste brandvlak wordt bepaald waar de gebruiker naar kijkt. Deze informatie wordt vervolgens naar het scherm gestuurd om dienovereenkomstig aan te passen, waarbij de scherptediepte wordt ingesteld op de virtuele afstand van het oog van de gebruiker tot het object.

Een goed geïmplementeerd varifocaal scherm kan niet alleen het conflict tussen accommodatie en accommodatie elimineren, maar stelt gebruikers ook in staat zich te concentreren op virtuele objecten die veel dichterbij zijn dan in bestaande headsets.

En lang voordat we varifocale schermen in XR-headsets plaatsen, zou eye-tracking kunnen worden gebruikt voor gesimuleerde scherptediepte, wat de vervaging van objecten buiten het brandpuntsvlak van de ogen van de gebruiker zou kunnen benaderen.

Vanaf nu is er geen grote headset op de markt met varifocale mogelijkheden, maar er is een groeiende hoeveelheid onderzoek en ontwikkeling proberen uit te zoeken hoe de mogelijkheid compact, betrouwbaar en betaalbaar kan worden gemaakt.

Foveated-displays

Hoewel foveated rendering tot doel heeft de weergavekracht beter te verdelen tussen het deel van ons zicht waar we scherp kunnen zien en ons perifere zicht met weinig details, kan iets soortgelijks worden bereikt voor het daadwerkelijke aantal pixels.

In plaats van alleen de details van de weergave op bepaalde delen van het scherm te veranderen ten opzichte van andere, zijn foveated schermen schermen die fysiek worden verplaatst (of in sommige gevallen "gestuurd") om voor de ogen van de gebruiker te blijven, waar ze ook kijken.

Foveated displays openen de deur naar een veel hogere resolutie in AR- en VR-headsets zonder het probleem bruut te forceren door te proberen pixels met een hogere resolutie over ons hele gezichtsveld te proppen. Dit is niet alleen kostbaar, maar stuit ook op uitdagende kracht- en groottebeperkingen naarmate het aantal pixels de resolutie van het netvlies benadert. In plaats daarvan zouden foveated displays een kleiner, pixeldicht display verplaatsen naar waar de gebruiker ook kijkt op basis van eye-tracking-gegevens. Deze aanpak zou zelfs kunnen leiden tot hogere gezichtsvelden dan anders mogelijk zou zijn met een enkel plat beeldscherm.

Varjo is een bedrijf dat werkt aan een foveated display-systeem. Ze gebruiken een typisch beeldscherm dat een breed gezichtsveld bestrijkt (maar niet erg pixeldicht is), en leggen er vervolgens een microdisplay bovenop dat veel pixeldichter is. De combinatie van beide betekent dat de gebruiker zowel een breed gezichtsveld krijgt voor zijn perifere zicht als een gebied met een zeer hoge resolutie voor zijn foveale zicht.

Toegegeven, dit foveated scherm is nog steeds statisch (het gebied met hoge resolutie blijft in het midden van het scherm) in plaats van dynamisch, maar het bedrijf heeft een aantal methoden overwogen om het scherm te verplaatsen om ervoor te zorgen dat het gebied met hoge resolutie altijd in het middelpunt van uw blik staat.

Vervolg op pagina 2: Betere sociale avatars »

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoAiStream. Web3 gegevensintelligentie. Kennis versterkt. Toegang hier.
• De toekomst slaan met Adryenn Ashley. Toegang hier.
• Bron: https://www.roadtovr.com/why-eye-tracking-is-a-game-changer-for-vr-headsets-virtual-reality/