Metaforskere demonstrerer Quest 2 Body Tracking uten ekstra Trackers

Meta-forskere demonstrerte Quest 2-kroppssporing uten ekstra trackere.

Gjeldende VR-systemer leveres med hodesett og holdes kontroller, så bare spor posisjonen til hodet og hendene. Posisjonen til albuene, overkroppen og bena kan estimeres ved hjelp av en klasse algoritmer som kalles invers kinematikk (IK), men dette er bare noen ganger nøyaktig for albuer og sjelden korrekt for ben. Det er bare for mange potensielle løsninger for hvert gitt sett med hode- og håndposisjoner.

Gitt begrensningene til IK, noen VR-apper viser i dag kun hendene dine, og mange gir deg kun en overkropp. PC-headset som bruker SteamVR-sporing støtter slitte ekstra trackere som f.eks HTCs Vive Tracker, men de tre som trengs for kroppssporing koster nord for $350 og dermed støttes ikke dette i de fleste spill.

Men i en ny artikkel med tittelen QuestSim, demonstrerte Meta-forskere et system drevet av et nevralt nettverk som kan estimere en plausibel helkroppspositur med bare sporingsdata fra Quest 2 og dens kontrollere. Ingen ekstra trackere eller eksterne sensorer er nødvendig.

Den resulterende avatarbevegelsen samsvarer ganske tett med brukerens virkelige bevegelse. Forskerne hevder til og med at den resulterende nøyaktigheten og jitteren er bedre enn slitte IMU-sporere – enheter med bare et akselerometer og gyroskop som Pico 4s annonserte Pico Fitness Band (Pico hevder at den jobber med sin egen maskinlæringsalgoritme).

Imidlertid det er en hake her. Som det fremgår av videoen, er dette systemet designet for å prioritere å produsere en plausibel Full kropp poser over for å sikre at avatarhendene matcher den nøyaktige posisjonen til brukerens hender. Systemets latens er også 160ms – mer enn 11 bilder ved 72Hz. Gitt disse problemene, ville QuestSim bare være egnet for å se andres avatarkropper, ikke se din egen kropp når du ser ned.

Men likevel, å se hele kroppens bevegelse av andres avatarer ville vært langt å foretrekke fremfor de ofte kritiserte benløse overkroppene til Metas nåværende avatarer. Så kommer dette systemet, eller noe lignende, til Quest 2?

Meta CTO Andrew Bosworth så absolutt ut til å antyde dette forrige uke. Når spurt om bensporing på en Instagram "spør meg om hva som helst" Bosworth svarte:

"Ja, vi har blitt gjort narr av mye for de benløse avatarene, og jeg synes det er veldig rettferdig og jeg synes det er ganske morsomt.

Å ha ben på din egen avatar som ikke stemmer overens med dine virkelige ben, er veldig foruroligende for folk. Men selvfølgelig kan vi sette bein på andre mennesker, som du kan se, og det plager deg ikke i det hele tatt.

Så vi jobber med ben som ser naturlige ut for noen som er en tilskuer – fordi de ikke vet hvordan de virkelige bena dine faktisk er plassert – men sannsynligvis vil du, når du ser på dine egne ben, fortsette å se ingenting. Det er vår nåværende strategi."

Den kortsiktige løsningen har kanskje ikke samme kvalitet som denne algoritmen. Forskningsartikler om maskinlæring har en tendens til å kjøre på kraftige PC-GPUer med relativt lav bildehastighet. Papiret nevner ikke ytelsen til systemet som er beskrevet, men en RTX 3080 er oppført som brukt til trening.

Meta Connect årlige AR/VR-arrangement finner sted på litt over 2 uker, så enhver kunngjøring om kroppssporing vil sannsynligvis finne sted under den.