Meta-onderzoekers demonstreren Quest 2 body-tracking zonder extra trackers

Meta-onderzoekers demonstreerden Quest 2 body tracking zonder extra trackers.

Huidige VR-systemen worden geleverd met een headset en vastgehouden controllers, dus volg alleen de positie van je hoofd en handen. De positie van uw ellebogen, romp en benen kan worden geschat met behulp van een klasse van algoritmen die inverse kinematica (IK) worden genoemd, maar dit is alleen nauwkeurig soms voor ellebogen en zelden correct voor benen. Er zijn gewoon te veel mogelijke oplossingen voor elke gegeven set hoofd- en handposities.

Gezien de beperkingen van IK, sommige VR-apps laten tegenwoordig alleen je handen zien, en veel geven je alleen een bovenlichaam. Pc-headsets die SteamVR-tracking gebruiken, ondersteunen gedragen extra trackers zoals: HTC's Vive Tracker, maar de drie die nodig zijn voor body-tracking kosten ten noorden van $ 350 en dit wordt dus niet ondersteund in de meeste games.

Maar in een nieuwe paper getiteld QuestSim, hebben Meta-onderzoekers een systeem aangetoond dat wordt aangedreven door een neuraal netwerk dat een plausibele pose van het hele lichaam kan schatten met alleen de trackinggegevens van Quest 2 en zijn controllers. Er zijn geen extra trackers of externe sensoren nodig.

De resulterende avatarbeweging komt redelijk goed overeen met de echte beweging van de gebruiker. De onderzoekers beweren zelfs dat de resulterende nauwkeurigheid en jitter superieur zijn aan versleten IMU-trackers - apparaten met alleen een versnellingsmeter en gyroscoop zoals Pico 4's aangekondigd Pico Fitnessband (Pico beweert echter dat het aan zijn eigen machine learning-algoritme werkt).

Echter, er is een vangst hier. Zoals te zien is in de video, is dit systeem ontworpen om prioriteit te geven aan het produceren van een plausibele volledige lichaam pose over en zorg ervoor dat de handen van de avatar overeenkomen met de exacte positie van de handen van de gebruiker. De latentie van het systeem is ook 160 ms - meer dan 11 frames bij 72 Hz. Gezien deze problemen zou QuestSim alleen geschikt zijn om de avatarlichamen van andere mensen te zien, niet om je eigen lichaam te zien als je naar beneden kijkt.

Maar toch zou het veel beter zijn om de volledige lichaamsbeweging van andermans avatars te zien dan de vaak bekritiseerde beenloze bovenlichamen van Meta's huidige avatars. Dus komt dit systeem, of iets dergelijks, naar Quest 2?

Meta CTO Andrew Bosworth leek hier vorige week zeker op te wijzen. Wanneer vroeg naar beentracking in een Instagram "vraag me iets" Bosworth reageerde:

“Ja, we zijn vaak voor de gek gehouden voor de pootloze avatars, en ik denk dat dat heel eerlijk is en ik vind het best grappig.

Het hebben van benen op je eigen avatar die niet overeenkomen met je echte benen is erg verontrustend voor mensen. Maar we kunnen natuurlijk ook andere mensen de benen geven, dat zie je, en je hebt er totaal geen last van.

Dus we werken aan benen die er natuurlijk uitzien voor iemand die omstander is – omdat ze niet weten hoe je echte benen eigenlijk gepositioneerd zijn – maar waarschijnlijk blijf je als je naar je eigen benen kijkt niets zien. Dat is onze huidige strategie.”

De kortetermijnoplossing heeft echter mogelijk niet dezelfde kwaliteit als dit algoritme. Onderzoekspapers over machine learning draaien meestal op krachtige pc-GPU's met een relatief lage framerate. Het artikel vermeldt niet de prestaties van het beschreven systeem, maar er wordt vermeld dat een RTX 3080 wordt gebruikt voor training.

Het jaarlijkse AR/VR-evenement van Meta Connect vindt plaats over iets meer dan 2 weken, dus elke aankondiging van het volgen van het lichaam zou waarschijnlijk tijdens het plaatsvinden.