Meta Cercetătorii demonstrează urmărirea corpului Quest 2 fără instrumente de urmărire suplimentare

Cercetătorii meta au demonstrat urmărirea corpului Quest 2 fără trackere suplimentare.

Sistemele actuale VR sunt livrate cu un set cu cască și controlere ținute, așa că urmăriți doar poziția capului și a mâinilor. Poziția coatelor, a trunchiului și a picioarelor poate fi estimată folosind o clasă de algoritmi numită cinematică inversă (IK), dar aceasta este doar precise uneori pentru coate și rareori corecte pentru picioare. Există prea multe soluții potențiale pentru fiecare set dat de poziții ale capului și mâinii.

Având în vedere limitările IK, unele Aplicațiile VR de astăzi vă arată doar mâinile, iar multe vă oferă doar partea superioară a corpului. Căștile pentru PC care utilizează urmărirea SteamVR acceptă trackere suplimentare purtate, cum ar fi Vive Tracker de la HTC, dar cele trei necesare pentru urmărirea corpului costă la nord de 350 USD și, prin urmare, acest lucru nu este acceptat în majoritatea jocurilor.

Dar în o nouă lucrare intitulată QuestSim, Cercetătorii Meta au demonstrat un sistem condus de o rețea neuronală care poate estima o poziție plauzibilă a întregului corp doar cu datele de urmărire de la Quest 2 și controlerele sale. Nu sunt necesare trackere suplimentare sau senzori externi.

Mișcarea avatarului rezultată se potrivește destul de strâns cu mișcarea reală a utilizatorului. Cercetătorii susțin chiar că acuratețea și fluctuațiile rezultate sunt superioare dispozitivelor de urmărire IMU uzate – dispozitive cu doar accelerometru și giroscop, cum ar fi anunțat Pico 4. Pico Fitness Band (Pico susține că lucrează la propriul algoritm de învățare automată).

"Dar daca este o captură aici. As is seen in the video, this system is designed to prioritize producing a plausible corp întreg pose over ensuring the avatar hands match the exact position of the user’s hands. The system’s latency is also 160ms – more than 11 frames at 72Hz. Given these issues, QuestSim would only be suitable for seeing other people’s avatar bodies, not seeing your own body when looking down.

Dar totuși, a vedea mișcarea întregului corp a avatarurilor altor oameni ar fi mult de preferat față de corpurile superioare fără picioare adesea criticate ale avatarurilor actuale ale lui Meta. Deci acest sistem, sau ceva asemănător, vine la Quest 2?

Meta CTO Andrew Bosworth a părut cu siguranță să sugereze acest lucru săptămâna trecută. Când întrebat despre urmărirea picioarelor într-un Instagram „întreabă-mă orice” a răspuns Bosworth:

„Da, ne-au luat foarte mult joc de avatare fără picioare și cred că este foarte corect și cred că este destul de amuzant.

A avea picioare pe propriul avatar care nu se potrivesc cu picioarele reale este foarte deconcertant pentru oameni. Dar bineînțeles că putem pune picioare pe alții, pe care să-l vezi și nu te deranjează deloc.

Așa că lucrăm la picioare care par naturale pentru cineva care este un spectator – pentru că nu știe cum sunt de fapt poziționate picioarele tale reale – dar probabil că atunci când te uiți la propriile tale picioare, vei continua să nu vezi nimic. Aceasta este strategia noastră actuală.”

The short term solution might not be at the same quality of this algorithm though. Machine learning research papers tend to run on powerful PC GPUs at relatively low framerate. The paper doesn’t mention the performance of the system described, but an RTX 3080 is listed as being used for training.

Are loc evenimentul anual AR/VR Meta Connect in putin peste 2 saptamani, astfel încât orice anunț de urmărire a corpului ar avea loc probabil în timpul acestuia.