Metaforskare demonstrerar Quest 2 Body Tracking utan extra trackers

Metaforskare demonstrerade Quest 2-kroppsspårning utan extra trackers.

Nuvarande VR-system levereras med ett headset och hållna kontroller, så spåra bara positionen för ditt huvud och dina händer. Positionen för dina armbågar, bål och ben kan uppskattas med hjälp av en klass av algoritmer som kallas invers kinematics (IK), men detta är bara exakt ibland för armbågar och sällan korrekt för ben. Det finns alldeles för många potentiella lösningar för varje given uppsättning av huvud- och handpositioner.

Med tanke på IKs begränsningar, vissa VR-appar visar idag bara dina händer, och många ger dig bara en överkropp. PC-headset som använder SteamVR-spårning stödjer slitna extra trackers som t.ex HTC:s Vive Tracker, men de tre som behövs för kroppsspårning kostar norr om $350 och därför stöds detta inte i de flesta spel.

Men i en ny tidning med titeln QuestSim, visade Meta-forskare ett system som drivs av ett neuralt nätverk som kan uppskatta en rimlig helkroppsställning med bara spårningsdata från Quest 2 och dess styrenheter. Inga extra trackers eller externa sensorer behövs.

Den resulterande avatarrörelsen matchar användarens verkliga rörelse ganska nära. Forskarna hävdar till och med att den resulterande noggrannheten och jittern är överlägsen slitna IMU-spårare – enheter med bara en accelerometer och gyroskop som Pico 4:s tillkännagav Pico Fitness Band (Pico hävdar dock att den arbetar på sin egen maskininlärningsalgoritm).

Emellertid det finns en hake här. Som framgår av videon är detta system utformat för att prioritera att producera en rimlig hela kroppen Posera över och se till att avatarhänderna matchar den exakta positionen för användarens händer. Systemets latens är också 160ms – mer än 11 ​​bilder vid 72Hz. Med tanke på dessa problem skulle QuestSim bara vara lämpligt för att se andra människors avatarkroppar, inte se din egen kropp när du tittar ner.

Men ändå, att se hela kroppens rörelse av andras avatarer skulle vara långt att föredra framför de ofta kritiserade benlösa överkropparna på Metas nuvarande avatarer. Så kommer det här systemet, eller något liknande, till Quest 2?

Meta CTO Andrew Bosworth verkade verkligen antyda detta förra veckan. När frågade om benspårning på en Instagram "fråga mig vad som helst" Bosworth svarade:

"Ja, vi har gjorts narr av mycket för de benlösa avatarerna, och jag tycker det är väldigt rättvist och jag tycker att det är ganska roligt.

Att ha ben på din egen avatar som inte matchar dina riktiga ben är väldigt oroande för människor. Men visst kan vi sätta ben på andra människor, att du kan se, och det stör dig inte alls.

Så vi arbetar med ben som ser naturliga ut för någon som är en åskådare – eftersom de inte vet hur dina riktiga ben faktiskt är placerade – men förmodligen kommer du när du tittar på dina egna ben att fortsätta att se ingenting. Det är vår nuvarande strategi.”

Den kortsiktiga lösningen kanske inte har samma kvalitet som denna algoritm. Forskningsdokument för maskininlärning tenderar att köras på kraftfulla PC GPU:er med relativt låg bildhastighet. Tidningen nämner inte prestandan för det beskrivna systemet, men en RTX 3080 är listad som att användas för träning.

Meta Connect årliga AR/VR-evenemang äger rum på drygt 2 veckor, så varje meddelande om kroppsspårning skulle troligen äga rum under den.