Eye-tracking este o schimbare de joc pentru XR, care merge mult dincolo de redarea foveated

Urmărirea ochilor – capacitatea de a măsura rapid și precis direcția pe care o privește un utilizator în timp ce se află în interiorul unei căști VR – este adesea discutată în contextul redării foveated și despre cum ar putea reduce cerințele de performanță ale căștilor XR. Și în timp ce randarea foveated este un caz de utilizare interesant pentru urmărirea ochilor în căștile AR și VR, urmărirea ochilor este de a aduce mult mai mult la masă.

Actualizat – 2 mai 2023

Eye-tracking s-a vorbit despre XR ca tehnologie îndepărtată de mulți ani, dar hardware-ul devine în sfârșit din ce în ce mai disponibil pentru dezvoltatori și clienți. PSVR 2 și Quest Pro sunt cele mai vizibile exemple de căști cu urmărire oculară încorporată, împreună cu Varjo Aero, Vive Pro Eye și multe altele.

Cu acest impuls, în doar câțiva ani am putea vedea urmărirea ochilor devenind o parte standard a căștilor XR pentru consumatori. Când se întâmplă acest lucru, există o gamă largă de funcții pe care tehnologia le poate activa pentru a îmbunătăți drastic experiența.

Redare foveated

Să începem mai întâi cu cel cu care mulți oameni sunt deja familiarizați. Redarea foveated are scopul de a reduce puterea de calcul necesară pentru afișarea scenelor AR și VR solicitante. Numele provine de la „fovea” – o mică groapă în centrul retinei umane, care este dens plină de fotoreceptori. Fovea este cea care ne oferă viziune de înaltă rezoluție în centrul câmpului nostru vizual; Între timp, vederea noastră periferică este de fapt foarte slabă la captarea detaliilor și culorilor și este mai bine reglată pentru a observa mișcarea și contrastul decât pentru a vedea detaliile. Vă puteți gândi la ea ca la o cameră care are un senzor mare cu doar câțiva megapixeli și un alt senzor mai mic în mijloc, cu mulți megapixeli.

Regiunea viziunii tale în care poți vedea în detaliu este de fapt mult mai mică decât cred majoritatea - doar câteva grade în centrul vederii tale. Diferența de putere de rezoluție dintre fovee și restul retinei este atât de drastică, încât fără fovea ta nu ai putea desluși textul de pe această pagină. Puteți vedea cu ușurință acest lucru pentru dvs.: dacă vă păstrați ochii concentrați asupra acest cuvânt și încercați să citiți doar două propoziții de mai jos, veți descoperi că este aproape imposibil să înțelegeți ce spun cuvintele, chiar dacă puteți vedea ceva asemănătoare cu cuvinte. Motivul pentru care oamenii supraestimează regiunea foveală a vederii lor pare să fie pentru că creierul face multe interpretări și predicții inconștiente pentru a construi un model al modului în care credem că este lumea.

Redarea foveată își propune să exploateze această ciudatenie a viziunii noastre prin redarea scenei virtuale la rezoluție înaltă numai în regiunea pe care o vede fovea și apoi reducerea drastică a complexității scenei în viziunea noastră periferică, unde detaliul oricum nu poate fi rezolvat. . Acest lucru ne permite să concentrăm cea mai mare parte a puterii de procesare acolo unde contribuie cel mai mult la detalii, economisind în același timp resursele de procesare în altă parte. Poate că nu sună o afacere uriașă, dar pe măsură ce rezoluția afișajului căștilor XR și câmpul vizual crește, puterea necesară pentru a reda scene complexe crește rapid.

Urmărirea ochilor intră desigur în joc, deoarece trebuie să știm în orice moment unde se află centrul privirii utilizatorului, rapid și cu mare precizie, pentru a obține randarea foveated. Deși este dificil să reușiți acest lucru fără ca utilizatorul să observe, este posibil și a fost demonstrat destul de eficient pe căști recente precum Quest Pro și PSVR 2.

Detectarea și ajustarea automată a utilizatorului

Pe lângă detectarea mișcării, urmărirea ochilor poate fi folosită și ca identificator biometric. Acest lucru face ca urmărirea ochilor să fie un candidat excelent pentru mai multe profiluri de utilizator într-un singur set cu cască - atunci când pun setul cu cască, sistemul mă poate identifica instantaneu ca utilizator unic și îmi poate apela mediul personalizat, biblioteca de conținut, progresul jocului și setările. Când un prieten își pune setul cu cască, sistemul se poate încărca lor preferințe și datele salvate.

Urmărirea ochilor poate fi folosită și pentru a măsura cu precizie IPD (distanța dintre ochi). Cunoașterea IPD este importantă în XR deoarece este necesar să mutați lentilele și afișajele în poziția optimă atât pentru confort, cât și pentru calitatea vizuală. Din păcate, mulți oameni, în mod înțeles, nu știu care este IPD-ul lor de pe capul lor.

Cu urmărirea ochilor, ar fi ușor să măsurați instantaneu IPD-ul fiecărui utilizator și apoi ca software-ul căștii să-l ajute pe utilizator să ajusteze IPD-ul setului cu cască pentru a se potrivi sau să avertizeze utilizatorii că IPD-ul lor se află în afara intervalului acceptat de setul cu cască.

În căștile mai avansate, acest proces poate fi invizibil și automat - IPD poate fi măsurat invizibil, iar setul cu cască poate avea o ajustare motorizată IPD care mută automat lentilele în poziția corectă, fără ca utilizatorul să fie conștient de nimic, cum ar fi pe Varjo Aero, de exemplu.

Afișaje varifocale

Sistemele optice folosite în căștile VR de astăzi funcționează destul de bine, dar sunt de fapt destul de simple și nu suportă o funcție importantă a vederii umane: focalizarea dinamică. Acest lucru se datorează faptului că afișajul din căștile XR este întotdeauna la aceeași distanță de ochii noștri, chiar și atunci când adâncimea stereoscopică sugerează altceva. Acest lucru duce la o problemă numită conflict vergență-acomodare. Dacă doriți să aflați puțin mai multe în profunzime, consultați instrucțiunile noastre de mai jos:

Afișajele varifocale - cele care își pot modifica în mod dinamic adâncimea focală - sunt propuse ca o soluție la această problemă. Există o serie de abordări ale afișajelor varifocale, dintre care poate cea mai simplă este un sistem optic în care afișajul este mișcat fizic înainte și înapoi de la obiectiv pentru a schimba adâncimea focală din mers.

Realizarea unui astfel de afișaj varifocal activat necesită urmărirea ochilor, deoarece sistemul trebuie să știe cu precizie unde se uită utilizatorul în scenă. Prin trasarea unei căi în scena virtuală din fiecare dintre ochii utilizatorului, sistemul poate găsi punctul în care acele căi se intersectează, stabilind planul focal adecvat la care se uită utilizatorul. Aceste informații sunt apoi trimise pe afișaj pentru a se ajusta în consecință, setând adâncimea focală pentru a se potrivi cu distanța virtuală de la ochiul utilizatorului la obiect.

Un afișaj varifocal bine implementat ar putea nu numai să elimine conflictul vergență-acomodare, ci și să permită utilizatorilor să se concentreze pe obiecte virtuale mult mai apropiate de ele decât în ​​căștile existente.

Și cu mult înainte de a introduce afișaje varifocale în căștile XR, urmărirea ochilor ar putea fi utilizată pentru simularea adâncimii de câmp, care ar putea aproxima estomparea obiectelor în afara planului focal al ochilor utilizatorului.

Deocamdată, pe piață nu există căști majore cu capacități varifocale, dar există o corp în creștere de cercetare și dezvoltare încercând să descopere cum să faceți capacitatea compactă, fiabilă și accesibilă.

Afișări foveated

În timp ce randarea foveated urmărește să distribuie mai bine puterea de redare între partea din viziunea noastră unde putem vedea clar și vederea noastră periferică cu detalii reduse, ceva similar poate fi realizat pentru numărul real de pixeli.

În loc să schimbe doar detaliile randării pe anumite părți ale afișajului față de altele, afișajele foveated sunt cele care sunt mutate fizic (sau în unele cazuri „direcționate”) pentru a rămâne în fața privirii utilizatorului, indiferent unde se uită.

Ecranele foveated deschid ușa pentru a obține o rezoluție mult mai mare în căștile AR și VR, fără a forța problema brută, încercând să înghesuiți pixeli la rezoluție mai mare în întregul nostru câmp vizual. A face acest lucru nu este doar costisitor, ci se confruntă și cu constrângeri provocatoare de putere și dimensiune, deoarece numărul de pixeli se apropie de rezoluția retiniană. În schimb, afișajele foveated ar muta un afișaj mai mic, dens în pixeli, oriunde caută utilizatorul, pe baza datelor de urmărire a ochilor. Această abordare ar putea duce chiar la un câmp vizual mai mare decât s-ar putea realiza altfel cu un singur afișaj plat.

Varjo este o companie care lucrează la un sistem de afișare foveated. Ei folosesc un afișaj tipic care acoperă un câmp vizual larg (dar nu este foarte dens în pixeli) și apoi suprapun un microdisplay care este mult mai dens în pixeli deasupra acestuia. Combinația celor două înseamnă că utilizatorul obține atât un câmp vizual larg pentru vederea periferică, cât și o regiune de foarte înaltă rezoluție pentru vederea foveală.

Desigur, acest afișaj foveated este încă static (zona de înaltă rezoluție rămâne în mijlocul afișajului) mai degrabă decât dinamic, dar compania a au luat în considerare o serie de metode de mutare a afișajului pentru a vă asigura că zona de înaltă rezoluție este întotdeauna în centrul privirii.

Continuare pe pagina 2: Avatare sociale mai bune »

• Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
• PlatoAiStream. Web3 Data Intelligence. Cunoștințe amplificate. Accesați Aici.
• Mintând viitorul cu Adryenn Ashley. Accesați Aici.
• Sursa: https://www.roadtovr.com/why-eye-tracking-is-a-game-changer-for-vr-headsets-virtual-reality/