Eye-tracking je sprememba igre za XR, ki presega upodabljanje s foveated

O sledenju očem – o zmožnosti hitrega in natančnega merjenja smeri, v katero uporabnik gleda, medtem ko je v slušalkah VR – se pogosto govori v kontekstu foveated upodabljanja in o tem, kako bi lahko zmanjšalo zahteve glede zmogljivosti slušalk XR. In medtem ko je foveated upodabljanje razburljiv primer uporabe za sledenje očem v slušalkah AR in VR, sledenje očem prinaša veliko več.

Posodobljeno – 2. maj 2023

O sledenju očem se govori v zvezi z XR kot oddaljeno tehnologijo že vrsto let, vendar strojna oprema končno postaja vse bolj dostopna razvijalcem in strankam. PSVR 2 in Quest Pro sta najbolj vidna primera slušalk z vgrajenim sledenjem očem, skupaj z Varjo Aero, Vive Pro Eye in drugimi.

S tem zagonom bi lahko v samo nekaj letih videli, da bo sledenje očem postalo standardni del potrošniških slušalk XR. Ko se to zgodi, lahko tehnologija omogoči širok nabor funkcij za drastično izboljšanje izkušnje.

Foveated upodabljanje

Začnimo najprej s tistim, ki ga mnogi že poznajo. Foveated upodabljanje želi zmanjšati računalniško moč, potrebno za prikazovanje zahtevnih prizorov AR in VR. Ime izhaja iz "fovee" - majhne jamice v središču človeške mrežnice, ki je gosto napolnjena s fotoreceptorji. To je fovea, ki nam daje visoko ločljiv vid v središču našega vidnega polja; medtem pa je naš periferni vid dejansko zelo slab pri zaznavanju podrobnosti in barv in je bolje prilagojen za opazovanje gibanja in kontrasta kot za opazovanje podrobnosti. Lahko si ga predstavljate kot fotoaparat, ki ima velik senzor z le nekaj megapiksli in še en manjši senzor na sredini z veliko megapiksli.

Območje vašega vida, v katerem lahko vidite zelo podrobno, je pravzaprav veliko manjše, kot si večina misli – le nekaj stopinj čez sredino vašega pogleda. Razlika v moči ločevanja med foveo in ostalim delom mrežnice je tako drastična, da brez vaše fovee ne bi mogli razbrati besedila na tej strani. To lahko zlahka opazite sami: če držite oči osredotočene na ta besedo in poskusite prebrati le dva stavka spodaj, boste ugotovili, da je skoraj nemogoče razbrati, kaj besede pravijo, čeprav lahko vidite Nekaj ki spominjajo na besede. Zdi se, da je razlog, da ljudje precenjujejo fovealno področje svojega vida, ta, da možgani izvajajo veliko nezavednih interpretacij in napovedi, da bi zgradili model tega, kakšen je svet po našem mnenju.

Namen foveated upodabljanja je izkoristiti to posebnost našega vida z upodabljanjem virtualnega prizora v visoki ločljivosti samo v regiji, ki jo vidi fovea, in nato drastično zmanjšati kompleksnost prizora v našem obrobnem vidu, kjer podrobnosti tako ali tako ni mogoče razrešiti . To nam omogoča, da večino procesorske moči usmerimo tja, kjer največ prispeva k podrobnostim, medtem ko prihranimo procesorske vire drugje. To morda ne zveni kot velika stvar, toda z večanjem ločljivosti zaslona slušalk XR in vidnega polja se moč, potrebna za upodabljanje kompleksnih prizorov, hitro poveča.

Sledenje očem seveda pride v poštev, ker moramo vedno hitro in z visoko natančnostjo vedeti, kje je središče uporabnikovega pogleda, da lahko izvedemo foveated upodabljanje. Čeprav je to težko izvesti, ne da bi uporabnik opazil, je to mogoče in je bilo precej učinkovito prikazano na nedavnih slušalkah, kot sta Quest Pro in PSVR 2.

Samodejno zaznavanje in prilagajanje uporabnikov

Poleg zaznavanja gibanja se lahko sledenje očem uporablja tudi kot biometrični identifikator. Zaradi tega je sledenje očem odličen kandidat za več uporabniških profilov v eni slušalki – ko si nadenem slušalko, me lahko sistem takoj prepozna kot edinstvenega uporabnika in prikliče moje prilagojeno okolje, knjižnico vsebin, napredek igre in nastavitve. Ko si prijatelj nadene slušalke, se sistem lahko naloži njihove nastavitve in shranjene podatke.

Eye-tracking se lahko uporablja tudi za natančno merjenje IPD (razdalje med očmi). Poznavanje vašega IPD je pomembno pri XR ker je potrebno premakniti leče in zaslone v optimalen položaj za udobje in vizualno kakovost. Na žalost veliko ljudi razumljivo ne ve, kaj je njihov IPD na vrhu glave.

S sledenjem očem bi bilo enostavno takoj izmeriti IPD vsakega uporabnika, nato pa bi programska oprema slušalk pomagala uporabniku pri prilagajanju IPD slušalk, da se ujemajo, ali opozorila uporabnike, da je njihov IPD zunaj območja, ki ga podpirajo slušalke.

Pri naprednejših slušalkah je ta postopek lahko neviden in samodejen – IPD je mogoče izmeriti nevidno, slušalke pa imajo lahko motorizirano nastavitev IPD, ki samodejno premakne leče v pravilen položaj, ne da bi se uporabnik tega moral zavedati, npr. na Varjo Aero npr.

Varifokalni zasloni

Optični sistemi, ki se uporabljajo v današnjih slušalkah VR, delujejo precej dobro, vendar so pravzaprav precej preprosti in ne podpirajo pomembne funkcije človeškega vida: dinamičnega ostrenja. To je zato, ker je zaslon v slušalkah XR vedno enako oddaljen od naših oči, tudi če stereoskopska globina kaže drugače. To vodi do težave, imenovane konflikt vergenca-prilagodba. Če se želite podrobneje naučiti, si oglejte spodnji primer:

Varifokalni zasloni – tisti, ki lahko dinamično spreminjajo svojo goriščno globino – so predlagani kot rešitev tega problema. Obstaja več pristopov k varifokalnim zaslonom, med katerimi je morda najbolj preprost optični sistem, pri katerem se zaslon fizično premika naprej in nazaj od leče, da se sproti spreminja goriščna globina.

Doseganje tako aktiviranega varifokalnega zaslona zahteva sledenje očem, ker mora sistem natančno vedeti, kje v prizoru uporabnik gleda. S sledenjem poti v virtualno sceno iz vsakega od uporabnikovih oči lahko sistem najde točko, kjer se te poti sekajo, in tako določi ustrezno goriščno ravnino, ki jo uporabnik gleda. Te informacije se nato pošljejo na zaslon, da se ustrezno prilagodi, pri čemer nastavi goriščno globino, da se ujema z virtualno razdaljo od uporabnikovega očesa do predmeta.

Dobro implementiran varifokalni zaslon ne bi mogel le odpraviti konflikta vergence in prilagoditve, temveč tudi omogočiti uporabnikom, da se osredotočijo na virtualne predmete, ki so jim veliko bližje kot v obstoječih slušalkah.

In veliko preden bomo v slušalke XR vgradili varifokalne zaslone, bi lahko sledenje očem uporabili za simulirano globinsko ostrino, ki bi lahko približala zamegljenost predmetov zunaj goriščne ravnine uporabnikovih oči.

Trenutno na trgu ni večjih slušalk z varifokalnimi zmogljivostmi, obstaja pa vse večji obseg raziskav in razvoja poskuša ugotoviti, kako narediti zmogljivost kompaktno, zanesljivo in cenovno dostopno.

Foveated zasloni

Medtem ko je cilj foveated upodabljanja boljša porazdelitev moči upodabljanja med delom našega vida, kjer lahko vidimo ostro, in našim perifernim vidom z nizkimi podrobnostmi, je nekaj podobnega mogoče doseči za dejansko število slikovnih pik.

Namesto spreminjanja podrobnosti upodabljanja na določenih delih zaslona v primerjavi z drugimi so foveirani zasloni tisti, ki so fizično premaknjeni (ali v nekaterih primerih "krmarjeni"), da ostanejo pred uporabnikovim pogledom, ne glede na to, kam gleda.

Foveated zasloni odpirajo vrata za doseganje veliko višje ločljivosti v slušalkah AR in VR, ne da bi nasilno izsiljevali težavo s poskusom strpanja slikovnih pik z višjo ločljivostjo po našem celotnem vidnem polju. To ni samo drago, ampak tudi naleti na zahtevne omejitve glede moči in velikosti, ko se število slikovnih pik približuje ločljivosti mrežnice. Namesto tega bi foveated zasloni premaknili manjši zaslon z gostoto slikovnih pik kamor koli gleda uporabnik na podlagi podatkov o sledenju očem. Ta pristop bi lahko vodil celo do večjih vidnih polj, kot bi jih sicer lahko dosegli z enim ploskim zaslonom.

Varjo je eno podjetje, ki se ukvarja s sistemom foveated display. Uporabljajo tipičen zaslon, ki pokriva široko vidno polje (vendar ni zelo gost slikovnih pik), nato pa nanj namestijo mikrozaslon, ki ima veliko večjo gostoto slikovnih pik. Kombinacija obeh pomeni, da uporabnik dobi široko vidno polje za svoj periferni vid in področje zelo visoke ločljivosti za svoj fovealni vid.

Res je, da je ta foveated zaslon še vedno statičen (območje visoke ločljivosti ostane na sredini zaslona) in ne dinamičen, vendar je podjetje obravnaval številne metode za premikanje zaslona da zagotovite, da je območje visoke ločljivosti vedno v središču vašega pogleda.

Nadaljevanje na 2. strani: boljši družabni avatarji »

• Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
• PlatoAiStream. Podatkovna inteligenca Web3. Razširjeno znanje. Dostopite tukaj.
• Kovanje prihodnosti z Adryenn Ashley. Dostopite tukaj.
• vir: https://www.roadtovr.com/why-eye-tracking-is-a-game-changer-for-vr-headsets-virtual-reality/