Meta Cercetătorii demonstrează urmărirea corpului Quest 2 fără instrumente de urmărire suplimentare

Cercetătorii meta au demonstrat urmărirea corpului Quest 2 fără trackere suplimentare.

Sistemele actuale VR sunt livrate cu un set cu cască și controlere ținute, așa că urmăriți doar poziția capului și a mâinilor. Poziția coatelor, a trunchiului și a picioarelor poate fi estimată folosind o clasă de algoritmi numită cinematică inversă (IK), dar aceasta este doar precise uneori pentru coate și rareori corecte pentru picioare. Există prea multe soluții potențiale pentru fiecare set dat de poziții ale capului și mâinii.

Având în vedere limitările IK, unele Aplicațiile VR de astăzi vă arată doar mâinile, iar multe vă oferă doar partea superioară a corpului. Căștile pentru PC care utilizează urmărirea SteamVR acceptă trackere suplimentare purtate, cum ar fi Vive Tracker de la HTC, dar cele trei necesare pentru urmărirea corpului costă la nord de 350 USD și, prin urmare, acest lucru nu este acceptat în majoritatea jocurilor.

Dar în o nouă lucrare intitulată QuestSim, Cercetătorii Meta au demonstrat un sistem condus de o rețea neuronală care poate estima o poziție plauzibilă a întregului corp doar cu datele de urmărire de la Quest 2 și controlerele sale. Nu sunt necesare trackere suplimentare sau senzori externi.

Mișcarea avatarului rezultată se potrivește destul de strâns cu mișcarea reală a utilizatorului. Cercetătorii susțin chiar că acuratețea și fluctuațiile rezultate sunt superioare dispozitivelor de urmărire IMU uzate – dispozitive cu doar accelerometru și giroscop, cum ar fi anunțat Pico 4. Pico Fitness Band (Pico susține că lucrează la propriul algoritm de învățare automată).

"Dar daca este o captură aici. După cum se vede în videoclip, acest sistem este conceput pentru a acorda prioritate producerii unui plauzibil corp întreg pozați pentru a vă asigura că mâinile avatarului se potrivesc cu poziția exactă a mâinilor utilizatorului. Latența sistemului este, de asemenea, de 160 ms – mai mult de 11 cadre la 72 Hz. Având în vedere aceste probleme, QuestSim ar fi potrivit doar pentru a vedea corpurile avatarului altor persoane, nu pentru a vă vedea propriul corp când priviți în jos.

Dar totuși, a vedea mișcarea întregului corp a avatarurilor altor oameni ar fi mult de preferat față de corpurile superioare fără picioare adesea criticate ale avatarurilor actuale ale lui Meta. Deci acest sistem, sau ceva asemănător, vine la Quest 2?

Meta CTO Andrew Bosworth a părut cu siguranță să sugereze acest lucru săptămâna trecută. Când întrebat despre urmărirea picioarelor într-un Instagram „întreabă-mă orice” a răspuns Bosworth:

„Da, ne-au luat foarte mult joc de avatare fără picioare și cred că este foarte corect și cred că este destul de amuzant.

A avea picioare pe propriul avatar care nu se potrivesc cu picioarele reale este foarte deconcertant pentru oameni. Dar bineînțeles că putem pune picioare pe alții, pe care să-l vezi și nu te deranjează deloc.

Așa că lucrăm la picioare care par naturale pentru cineva care este un spectator – pentru că nu știe cum sunt de fapt poziționate picioarele tale reale – dar probabil că atunci când te uiți la propriile tale picioare, vei continua să nu vezi nimic. Aceasta este strategia noastră actuală.”

Soluția pe termen scurt ar putea să nu fie la aceeași calitate a acestui algoritm. Lucrările de cercetare în domeniul învățării automate tind să ruleze pe GPU-uri puternice pentru PC la un framerate relativ scăzut. Lucrarea nu menționează performanța sistemului descris, dar un RTX 3080 este listat ca fiind folosit pentru antrenament.

Are loc evenimentul anual AR/VR Meta Connect in putin peste 2 saptamani, astfel încât orice anunț de urmărire a corpului ar avea loc probabil în timpul acestuia.