Az Eye-tracking egy olyan játékváltó az XR-hez, amely messze túlmutat a foveated renderingen

A szemkövetés – az a képesség, hogy gyorsan és pontosan mérhető, hogy a felhasználó milyen irányba néz, miközben a VR headsetben tartózkodik – gyakran beszélnek a foveated rendering kontextusában, és arról, hogy ez hogyan csökkentheti az XR headsetek teljesítménykövetelményeit. És bár a foveated rendering izgalmas felhasználási terület a szemkövetéshez AR és VR headsetekben, a szemkövető állványok sokkal többet hozhatnak az asztalra.

Frissítve – 2. május 2023

Az Eye-tracking-ről évek óta beszélnek az XR távoli technológiája kapcsán, de a hardver végre egyre inkább elérhetővé válik a fejlesztők és az ügyfelek számára. A PSVR 2 és a Quest Pro a beépített szemkövetéssel rendelkező fejhallgatók leglátványosabb példái, valamint olyanok, mint a Varjo Aero, a Vive Pro Eye és még sok más.

Ezzel a lendülettel néhány éven belül láthatjuk, hogy a szemkövetés a fogyasztói XR headsetek szokásos részévé válik. Amikor ez megtörténik, a technológia számos funkciót képes lehetővé tenni az élmény drasztikus javítása érdekében.

Foveated rendering

Kezdjük először azzal, amit már sokan ismernek. A foveated rendering célja az igényes AR és VR jelenetek megjelenítéséhez szükséges számítási teljesítmény csökkentése. A név a „fovea”-ból származik – egy kis gödör az emberi retina közepén, amely sűrűn tele van fotoreceptorokkal. Ez a fovea, amely nagy felbontású látást biztosít látómezőnk középpontjában; eközben a perifériás látásunk valójában nagyon rosszul veszi fel a részleteket és a színeket, és jobban be van hangolva a mozgás és a kontraszt észlelésére, mint a részletek látására. Úgy képzelheti el, mint egy kamerát, amelynek egy nagy érzékelője van, mindössze néhány megapixeles, és egy másik kisebb érzékelő a közepén, sok megapixellel.

Látásának az a tartománya, amelyben nagy részletességgel láthat, valójában sokkal kisebb, mint azt a legtöbben gondolják – mindössze néhány fokkal a nézet közepén. A fovea és a retina többi része közötti felbontóképességbeli különbség olyan drasztikus, hogy a fovea nélkül nem tudnád kivenni a szöveget ezen az oldalon. Ezt könnyen beláthatod magadon: ha a szemed a fókuszban tartod ezt szót, és próbáljon csak két mondatot elolvasni lentebb, szinte lehetetlen kitalálni, mit mondanak a szavak, pedig látja valami szavakhoz hasonlítanak. Az ok, amiért az emberek túlbecsülik látásuk foveális régióját, az az, hogy az agy sok öntudatlan értelmezést és előrejelzést végez, hogy modellt alkosson arról, milyennek hisszük a világot.

A foveated rendering célja, hogy kihasználja látásunk ezen furcsaságát azáltal, hogy a virtuális jelenetet csak abban a régióban jeleníti meg nagy felbontásban, amelyet a fovea lát, majd drasztikusan lecsökkenti a jelenet komplexitását a perifériás látásunkban, ahol a részleteket egyébként sem lehet megoldani. . Ez lehetővé teszi számunkra, hogy a feldolgozási teljesítmény nagy részét oda összpontosítsuk, ahol a leginkább hozzájárul a részletekhez, miközben máshol megtakarítjuk a feldolgozási erőforrásokat. Lehet, hogy ez nem tűnik nagy üzletnek, de ahogy az XR headsetek képernyőfelbontása és a látómező növekszik, az összetett jelenetek megjelenítéséhez szükséges teljesítmény gyorsan nő.

A szemkövetés természetesen fontos szerepet játszik, mert mindig gyorsan és nagy pontossággal tudnunk kell, hol van a felhasználó tekintetének középpontja, hogy a foveated renderinget le tudjuk hozni. Bár nehéz ezt úgy végrehajtani, hogy a felhasználó észre ne vegye, ez lehetséges, és elég hatékonyan bebizonyosodott a legutóbbi fejhallgatókon, mint például a Quest Pro és a PSVR 2.

Automatikus felhasználói észlelés és beállítás

A mozgás észlelése mellett a szemkövetés biometrikus azonosítóként is használható. Ez teszi a szemkövetést kiváló jelöltté több felhasználói profilhoz egyetlen fejhallgatón keresztül – ha felteszem a headsetet, a rendszer azonnal egyedi felhasználóként azonosít, és előhívja a testreszabott környezetemet, tartalomkönyvtárat, a játék előrehaladását és beállításait. Amikor egy barát felteszi a headsetet, a rendszer betöltődik azok beállításokat és mentett adatokat.

A szemkövetés az IPD (a szemek közötti távolság) pontos mérésére is használható. Az IPD ismerete fontos az XR-ben mert a lencséket és a kijelzőket az optimális helyzetbe kell állítani mind a kényelem, mind a vizuális minőség érdekében. Sajnos sokan érthető módon nem tudják, mi az IPD-jük a feje tetejéről.

A szemkövetéssel könnyű lenne azonnal megmérni az egyes felhasználók IPD-jét, majd a headset szoftvere segíti a felhasználót a fejhallgató IPD-jének megfelelő beállításában, vagy figyelmezteti a felhasználókat, hogy IPD-jük kívül esik a fejhallgató által támogatott tartományon.

A fejlettebb fejhallgatókban ez a folyamat lehet láthatatlan és automatikus – az IPD láthatatlanul mérhető, a headset pedig rendelkezhet motoros IPD-beállítással, amely automatikusan a megfelelő pozícióba állítja a lencséket anélkül, hogy a felhasználónak bármiről is tudomást kellene vennie róla, pl. például a Varjo Aerón.

Varifokális kijelzők

A mai VR fejhallgatókban használt optikai rendszerek meglehetősen jól működnek, de valójában meglehetősen egyszerűek, és nem támogatják az emberi látás egyik fontos funkcióját: a dinamikus fókuszt. Ennek az az oka, hogy az XR headsetek kijelzője mindig ugyanolyan távolságra van a szemünktől, még akkor is, ha a sztereoszkópikus mélység mást sugall. Ez egy olyan problémához vezet, amelyet vergencia-alkalmazkodás konfliktusnak neveznek. Ha egy kicsit mélyebben szeretne tanulni, nézze meg az alábbi alapozónkat:

A probléma megoldására a Varifokális kijelzőket – amelyek dinamikusan módosíthatják fókuszmélységüket – javasolták. A varifokális kijelzőknek számos megközelítése létezik, amelyek közül talán a legegyszerűbb egy olyan optikai rendszer, ahol a kijelzőt fizikailag előre-hátra mozgatják az objektívtől, hogy menet közben módosítsák a fókuszmélységet.

Egy ilyen működtetett varifokális kijelző eléréséhez szemkövetésre van szükség, mert a rendszernek pontosan tudnia kell, hogy a felhasználó a jelenetet hol nézi. Azáltal, hogy a felhasználó minden szeméből nyomon követi a virtuális jelenethez vezető utat, a rendszer megtalálja azt a pontot, ahol ezek az utak metszik egymást, és megállapítja a megfelelő fókuszsíkot, amelyet a felhasználó néz. Ezt az információt ezután elküldi a kijelzőre, hogy ennek megfelelően állítsa be a fókuszmélységet, hogy megfeleljen a felhasználó szeme és a tárgy virtuális távolságának.

Egy jól megvalósított varifokális kijelző nem csak a vergencia-akkomodáció konfliktust tudja kiküszöbölni, hanem lehetővé teszi a felhasználók számára, hogy a meglévő headseteknél sokkal közelebbi virtuális objektumokra összpontosítsanak.

És jóval azelőtt, hogy a varifokális kijelzőket XR fejhallgatókba helyeznénk, a szemkövetést lehetne használni szimulált mélységélességhez, amely megközelítheti a felhasználó szemének fókuszsíkján kívüli tárgyak elmosódását.

Jelenleg nincs a piacon jelentős varifokális képességekkel rendelkező headset, de van egy növekvő számú kutatás és fejlesztés próbálja kitalálni, hogyan lehet a képességet kompakttá, megbízhatóvá és megfizethetővé tenni.

Foveated Displays

Míg a foveated rendering célja, hogy jobban elosztja a renderelési erőt látásunk azon része között, ahol élesen látunk, és alacsony részletgazdagságú perifériás látásunk között, valami hasonlót lehet elérni a tényleges pixelszám esetében.

Ahelyett, hogy egyszerűen megváltoztatnák a megjelenítés egyes részein a megjelenítés részleteit a többihez képest, a foveated kijelzők azok, amelyeket fizikailag mozgatnak (vagy bizonyos esetekben „kormányoznak”), hogy a felhasználó tekintete előtt maradjanak, függetlenül attól, hogy merre néz.

A foveated kijelzők megnyitják az ajtót a sokkal nagyobb felbontás eléréséhez az AR és VR headsetekben anélkül, hogy a probléma durva erőltetése nélkül megpróbálnánk a pixeleket nagyobb felbontásban összezsúfolni a teljes látómezőnkkel. Ez nem csak költséges, hanem kihívásokkal teli teljesítmény- és méretkorlátokba is ütközik, mivel a pixelek száma megközelíti a retina felbontását. Ehelyett a foveated kijelzők a szemkövetési adatok alapján egy kisebb, pixelsűrűségű kijelzőt mozgatnának oda, ahová a felhasználó néz. Ez a megközelítés akár magasabb látómezőket is eredményezhet, mint amit egyébként egyetlen lapos kijelzővel lehetne elérni.

A Varjo egy olyan cég, amely foveated display rendszeren dolgozik. Tipikus kijelzőt használnak, amely széles látómezőt fed le (de nem túl pixelsűrű), majd egy sokkal pixelsűrűbb mikrokijelzőt helyeznek rá. A kettő kombinációja azt jelenti, hogy a felhasználó széles látómezőt kap perifériás látásához, és nagyon nagy felbontású területet fovealis látásához.

Igaz, ez a foveated kijelző továbbra is statikus (a nagy felbontású terület a kijelző közepén marad), nem pedig dinamikus, de a vállalat számos módszert mérlegelt a kijelző mozgatására hogy a nagy felbontású terület mindig a tekintet középpontjában legyen.

Folytatás a 2. oldalon: Jobb közösségi avatarok »

• SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
• PlatoAiStream. Web3 adatintelligencia. Felerősített tudás. Hozzáférés itt.
• A jövő pénzverése – Adryenn Ashley. Hozzáférés itt.
• Forrás: https://www.roadtovr.com/why-eye-tracking-is-a-game-changer-for-vr-headsets-virtual-reality/