Metaforskere demonstrerer Quest 2 kropssporing uden ekstra trackere

Meta-forskere demonstrerede Quest 2 kropssporing uden ekstra trackere.

Nuværende VR-systemer leveres med et headset og holdte controllere, så spor kun positionen af ​​dit hoved og dine hænder. Placeringen af ​​dine albuer, torso og ben kan estimeres ved hjælp af en klasse af algoritmer kaldet invers kinematik (IK), men dette er kun nøjagtig nogle gange for albuer og sjældent korrekt for ben. Der er bare for mange potentielle løsninger for hvert givet sæt hoved- og håndpositioner.

I betragtning af IK's begrænsninger er der nogle VR-apps viser i dag kun dine hænder, og mange giver dig kun en overkrop. PC-headset, der bruger SteamVR-sporing, understøtter slidte ekstra trackere som f.eks HTCs Vive Tracker, men de tre nødvendige til kropssporing koster nord for $350, og dette understøttes derfor ikke i de fleste spil.

Men i et nyt papir med titlen QuestSim, demonstrerede Meta-forskere et system drevet af et neuralt netværk, som kan estimere en plausibel kropspositur med kun sporingsdata fra Quest 2 og dets controllere. Ingen ekstra trackere eller eksterne sensorer er nødvendige.

Den resulterende avatarbevægelse matcher brugerens virkelige bevægelse ret tæt. Forskerne hævder endda, at den resulterende nøjagtighed og jitter er overlegen i forhold til slidte IMU-trackere - enheder med kun et accelerometer og gyroskop som Pico 4's annoncerede Pico Fitness Band (Pico hævder dog, at den arbejder på sin egen maskinlæringsalgoritme).

Imidlertid der er en fangst her. Som det ses i videoen, er dette system designet til at prioritere at producere en plausibel fuld krop poser over, og sørg for, at avatarhænderne matcher den nøjagtige position af brugerens hænder. Systemets latency er også 160ms – mere end 11 billeder ved 72Hz. I betragtning af disse problemer ville QuestSim kun være egnet til at se andres avatar-kroppe, ikke til at se din egen krop, når du kigger ned.

Men alligevel ville det være langt at foretrække at se hele kroppens bevægelse af andres avatarer frem for de ofte kritiserede benløse overkroppe af Metas nuværende avatarer. Så kommer dette system, eller noget lignende, til Quest 2?

Meta CTO Andrew Bosworth syntes bestemt at antyde dette i sidste uge. Hvornår spurgt om bensporing på en Instagram "spørg mig om noget" Bosworth svarede:

"Ja, vi er blevet gjort til grin for de benløse avatarer, og jeg synes, det er meget fair, og jeg synes, det er ret sjovt.

At have ben på din egen avatar, der ikke matcher dine rigtige ben, er meget foruroligende for folk. Men vi kan selvfølgelig sætte ben på andre mennesker, som du kan se, og det generer dig overhovedet ikke.

Så vi arbejder på ben, der ser naturlige ud for en, der er en tilskuer – fordi de ikke ved, hvordan dine rigtige ben faktisk er placeret – men sandsynligvis vil du, når du ser på dine egne ben, fortsat ikke se noget. Det er vores nuværende strategi.”

Den kortsigtede løsning har muligvis ikke samme kvalitet som denne algoritme. Maskinlæringsforskningsartikler har en tendens til at køre på kraftfulde pc-GPU'er ved relativt lav framerate. Papiret nævner ikke ydeevnen af ​​det beskrevne system, men en RTX 3080 er angivet som brugt til træning.

Meta Connect årlige AR/VR-begivenhed finder sted på lidt over 2 uger, så enhver meddelelse om kropssporing vil sandsynligvis finde sted under den.