Eye-tracking on XR-i mängumuutja, mis ületab foveated renderdamise

Pilgujälgimisest – võimalusest kiiresti ja täpselt mõõta suunda, mida kasutaja VR-peakomplektis olles vaatab – räägitakse sageli foveated renderdamise kontekstis ja sellest, kuidas see võiks vähendada XR-peakomplektide jõudlusnõudeid. Ja kuigi foveated renderdamine on põnev kasutusjuht AR- ja VR-peakomplektides silmade jälgimiseks, siis pilgujälgimise alused toovad lauale palju rohkem.

Värskendatud – 2. mai 2023

Silmajälgimisest on XR-i kui kauge tehnoloogiaga seoses räägitud juba aastaid, kuid lõpuks muutub riistvara arendajatele ja klientidele üha kättesaadavamaks. PSVR 2 ja Quest Pro on kõige nähtavamad näited sisseehitatud pilgujälgimisega peakomplektidest, nagu näiteks Varjo Aero, Vive Pro Eye ja palju muud.

Selle hoo tõttu võisime vaid mõne aasta pärast näha, et pilgujälgimine muutub tavatarbijate XR-peakomplektide osaks. Kui see juhtub, on tehnoloogial lai valik funktsioone, mis võivad kogemust drastiliselt parandada.

Foveated renderdamine

Alustame kõigepealt sellest, mis on paljudele juba tuttav. Foveated renderdamise eesmärk on vähendada nõudlike AR- ja VR-stseenide kuvamiseks vajalikku arvutusvõimsust. Nimi pärineb foveast – väikesest süvendist inimese võrkkesta keskel, mis on tihedalt fotoretseptoritega täidetud. See on fovea, mis annab meile kõrge eraldusvõimega nägemise meie vaatevälja keskmes; Vahepeal on meie perifeerne nägemine detailide ja värvide tuvastamisel väga kehv ning on paremini häälestatud liikumise ja kontrasti märkamiseks kui detailide nägemiseks. Võite mõelda sellest nagu kaamerast, millel on suur, vaid mõne megapiksliga sensor ja keskel veel üks väiksem sensor, millel on palju megapiksleid.

Teie nägemispiirkond, kus näete üksikasjalikult, on tegelikult palju väiksem, kui enamik arvab – vaid paar kraadi üle teie vaate keskpunkti. Erinevus fovea ja ülejäänud võrkkesta eraldusvõimes on nii drastiline, et ilma teie foveata ei saaks te sellel lehel olevast tekstist arugi. Saate seda ise hõlpsasti näha: kui hoiate oma silmad keskendunud see sõna ja proovige lugeda vaid kaks allpool olevat lauset, siis on peaaegu võimatu aru saada, mida need sõnad ütlevad, kuigi näete midagi sõnadega sarnane. Põhjus, miks inimesed oma nägemise foveaalset piirkonda üle hindavad, näib olevat selles, et aju teeb palju alateadlikke tõlgendusi ja ennustusi, et luua mudel selle kohta, kuidas me maailma usume.

Foveated renderdamise eesmärk on ära kasutada seda meie nägemuse veidrust, renderdades virtuaalse stseeni kõrge eraldusvõimega ainult piirkonnas, mida fovea näeb, ja seejärel kärpida drastiliselt stseeni keerukust meie perifeerses nägemises, kus detaile ei saa niikuinii lahendada. . See võimaldab meil koondada suurema osa töötlemisvõimsusest sinna, kus see annab kõige rohkem detaile, säästes samal ajal töötlemisressursse mujal. See ei pruugi tunduda suure tehinguna, kuid XR-peakomplektide ekraani eraldusvõime ja vaatevälja suurenedes kasvab keerukate stseenide renderdamiseks vajalik võimsus kiiresti.

Pilgujälgimine tuleb loomulikult mängu, sest me peame alati kiiresti ja suure täpsusega teadma, kus on kasutaja pilgu keskpunkt, et fooreed renderdada. Kuigi seda on raske ilma kasutaja märkamata välja tõmmata, on see võimalik ja seda on üsna tõhusalt demonstreeritud hiljutiste peakomplektide puhul, nagu Quest Pro ja PSVR 2.

Automaatne kasutaja tuvastamine ja reguleerimine

Lisaks liikumise tuvastamisele saab silmade jälgimist kasutada ka biomeetrilise identifikaatorina. See muudab pilgujälgimise suurepäraseks kandidaadiks mitme kasutajaprofiili jaoks ühes peakomplektis – kui ma peakomplekti panen, tuvastab süsteem mind kohe unikaalse kasutajana ja kuvab minu kohandatud keskkonna, sisuteegi, mängu edenemise ja seaded. Kui sõber paneb peakomplekti pähe, saab süsteem laadida oma eelistused ja salvestatud andmed.

Silmade jälgimist saab kasutada ka IPD (silmadevahelise kauguse) täpseks mõõtmiseks. Röntgeniuuringus on oluline teada oma IPD-d sest nii mugavuse kui ka visuaalse kvaliteedi tagamiseks on vaja objektiive ja kuvareid optimaalsesse asendisse viia. Kahjuks paljud inimesed arusaadavalt ei tea, milline on nende IPD.

Pilgujälgimise abil oleks lihtne mõõta koheselt iga kasutaja IPD-d ja seejärel lasta peakomplekti tarkvaral aidata kasutajal peakomplekti IPD-d sobitada või hoiatada kasutajaid, et nende IPD on väljaspool peakomplekti toetatavat vahemikku.

Täiustatud peakomplektides võib see protsess olla nähtamatu ja automaatne – IPD-d saab mõõta nähtamatult ja peakomplektil võib olla mootoriga IPD-regulatsioon, mis liigutab objektiivid automaatselt õigesse asendisse, ilma et kasutaja peaks sellest midagi teadma, näiteks näiteks Varjo Aerol.

Varifokaalsed kuvarid

Tänapäeva VR-peakomplektides kasutatavad optilised süsteemid töötavad üsna hästi, kuid tegelikult on need üsna lihtsad ega toeta inimese nägemise olulist funktsiooni: dünaamilist teravustamist. Selle põhjuseks on asjaolu, et XR-peakomplektide ekraan on meie silmadest alati samal kaugusel, isegi kui stereoskoopiline sügavus viitab vastupidisele. See toob kaasa probleemi, mida nimetatakse vergentsi ja majutuse konfliktiks. Kui soovite natuke põhjalikumalt õppida, vaadake meie allolevat aabitsat:

Selle probleemi lahendamiseks pakutakse välja varifokaalekraanid – need, mis võivad dünaamiliselt muuta oma fookussügavust. Varifokaalsete kuvarite jaoks on mitmeid lähenemisviise, millest kõige lihtsam on ehk optiline süsteem, kus kuvarit liigutatakse füüsiliselt objektiivist edasi-tagasi, et muuta fookussügavust lennult.

Sellise aktiveeritava varifokaalekraani saavutamiseks on vaja pilgu jälgimist, sest süsteem peab täpselt teadma, kuhu stseeni kasutaja vaatab. Jälgides teed virtuaalsesse stseeni igast kasutaja silmast, saab süsteem leida punkti, kus need teed ristuvad, luues õige fookustasandi, mida kasutaja vaatab. Seejärel saadetakse see teave ekraanile, et seda vastavalt kohandada, seadistades fookussügavuse, et see vastaks virtuaalsele kaugusele kasutaja silmast objektini.

Hästi rakendatud varifokaalekraan ei suuda mitte ainult kõrvaldada vergentsi ja kohandumise konflikti, vaid võimaldab kasutajatel keskenduda neile palju lähemal asuvatele virtuaalsetele objektidele kui olemasolevates peakomplektides.

Ja palju enne, kui hakkame XR-peakomplektidesse varifokaalseid kuvareid panema, võiks simuleeritud teravussügavuse jaoks kasutada silmade jälgimist, mis võiks ligikaudselt võrrelda kasutaja silmade fookustasandist väljaspool olevate objektide hägusust.

Praeguse seisuga ei ole turul ühtegi suurt varifokaalfunktsiooniga peakomplekti, kuid on olemas kasvavat uurimis- ja arendustegevust püüdes välja mõelda, kuidas muuta võimalus kompaktseks, usaldusväärseks ja taskukohaseks.

Foveated ekraanid

Kuigi fooreed renderdamise eesmärk on paremini jaotada renderdusjõudu meie nägemise selle osa vahel, kus näeme teravalt, ja meie vähese detailiga perifeerse nägemise vahel, võib tegeliku pikslite arvu puhul saavutada midagi sarnast.

Selle asemel, et muuta lihtsalt kuva teatud osade ja teiste osade renderduse detaile, on kõverdatud kuvad need, mida füüsiliselt liigutatakse (või mõnel juhul „juhitakse”), et jääda kasutaja pilgu ette, olenemata sellest, kuhu ta vaatab.

Foveated ekraanid avavad ukse palju suurema eraldusvõime saavutamiseks AR- ja VR-peakomplektides, ilma probleemi toorelt sundimata, püüdes kogu meie vaateväljale suurema eraldusvõimega piksleid kokku toppida. See ei ole mitte ainult kulukas, vaid tekitab ka väljakutseid võimsuse ja suuruse piirangutesse, kuna pikslite arv läheneb võrkkesta eraldusvõimele. Selle asemel liigutaksid fooliumiga ekraanid silmade jälgimise andmete põhjal väiksema pikslitiheda ekraani kõikjale, kuhu kasutaja vaatab. Selline lähenemine võib isegi tuua kaasa kõrgemad vaateväljad, kui muidu oleks ühe lameekraaniga saavutatav.

Varjo on üks ettevõte, mis töötab fooitud kuvasüsteemiga. Nad kasutavad tüüpilist ekraani, mis katab laia vaatevälja (kuid ei ole väga pikslitihe), ja asetavad selle peale palju pikslitihedama mikrokuva. Nende kahe kombinatsioon tähendab, et kasutaja saab nii perifeerse nägemise jaoks laia vaatevälja kui ka foveaalse nägemise jaoks väga kõrge eraldusvõimega piirkonna.

Tõsi, see foorumiga ekraan on pigem staatiline (kõrge eraldusvõimega ala jääb ekraani keskele), mitte dünaamiline, kuid ettevõttel on kaalus mitmeid ekraani liigutamise meetodeid et kõrge eraldusvõimega ala oleks alati teie pilgu keskmes.

Jätkub lehel 2: paremad sotsiaalsed avatarid »

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• PlatoAiStream. Web3 andmete luure. Täiustatud teadmised. Juurdepääs siia.
• Tuleviku rahapaja Adryenn Ashley. Juurdepääs siia.
• Allikas: https://www.roadtovr.com/why-eye-tracking-is-a-game-changer-for-vr-headsets-virtual-reality/