Metauurijad demonstreerivad Quest 2 kehajälgimist ilma lisajälgijateta

Meta-uurijad demonstreerisid Quest 2 keha jälgimist ilma täiendavate jälgimisseadmeteta.

Praegused VR-süsteemid tarnitakse koos peakomplekti ja käeshoitavate kontrolleritega, nii et jälgige ainult oma pea ja käte asendit. Küünarnukkide, torso ja jalgade asendit saab hinnata algoritmide klassi, mida nimetatakse pöördkinemaatikaks (IK), abil, kuid see on ainult täpne mõnikord küünarnukkide ja harva jalgade jaoks. Iga pea ja käte asendi komplekti jaoks on lihtsalt liiga palju potentsiaalseid lahendusi.

Arvestades IK piiranguid, on mõned VR-rakendused näitavad tänapäeval ainult teie käsi ja paljud annavad teile ainult ülakeha. SteamVR-i jälgimist kasutavad arvutipeakomplektid toetavad kulunud lisajälgijaid, näiteks HTC Vive Tracker, kuid keha jälgimiseks vajalikud kolm maksavad 350 dollarist põhja pool ja seetõttu seda enamikus mängudes ei toetata.

Aga uus paber pealkirjaga QuestSimMeta teadlased demonstreerisid närvivõrgust juhitavat süsteemi, mis suudab hinnata usutavat kogu keha poseerimist ainult Quest 2 ja selle kontrollerite jälgimisandmete abil. Täiendavaid jälgijaid ega väliseid andureid pole vaja.

Saadud avatari liikumine ühtib üsna täpselt kasutaja tegeliku liikumisega. Teadlased väidavad isegi, et sellest tulenev täpsus ja värinad on paremad kui kulunud IMU jälgijad – seadmed, millel on ainult kiirendusmõõtur ja güroskoop, nagu Pico 4 teatas. Pico Fitness Band (Pico väidab, et töötab siiski oma masinõppe algoritmi kallal).

Kuid siin on konks. Nagu videost näha, on see süsteem loodud selleks, et seada prioriteediks usutava loomine kogu keha poseerige ja veenduge, et avatari käed vastaksid täpselt kasutaja käte asendile. Süsteemi latentsusaeg on samuti 160 ms – rohkem kui 11 kaadrit 72 Hz juures. Arvestades neid probleeme, sobiks QuestSim ainult teiste inimeste avatari kehade nägemiseks, mitte alla vaadates enda keha nägemiseks.

Kuid siiski oleks teiste inimeste avataride kogu keha liikumise nägemine palju parem kui Meta praeguste avataride sageli kritiseeritud jalgadeta ülakeha. Kas see süsteem või midagi sarnast tuleb Quest 2-sse?

Meta CTO Andrew Bosworth näis sellele eelmisel nädalal kindlasti vihjavat. Millal küsiti Instagramis jalgade jälgimise kohta "küsi minult kõike" Bosworth vastas:

"Jah, meid on jalgadeta avataride pärast palju nalja tehtud ja see on minu arvates väga õiglane ja minu meelest päris naljakas.

Kui teil on oma avataril jalad, mis ei ühti teie tegelike jalgadega, on inimeste jaoks väga häiriv. Aga muidugi saame teistele jalga panna, et sa näed ja see ei häiri sind üldse.

Nii et me töötame jalgade kallal, mis tunduvad kõrvaltvaataja jaoks loomulikud – kuna nad ei tea, kuidas teie pärisjalad tegelikult asetsevad –, kuid tõenäoliselt ei näe te oma jalgu vaadates jätkuvalt midagi. See on meie praegune strateegia."

Lühiajaline lahendus ei pruugi siiski olla selle algoritmiga sama kvaliteediga. Masinõppe uurimistööd kipuvad töötama võimsatel PC GPU-del suhteliselt madala kaadrisagedusega. Dokumendis ei mainita kirjeldatud süsteemi jõudlust, kuid RTX 3080 on loetletud koolituseks kasutatavana.

Toimub iga-aastane AR/VR üritus Meta Connect veidi enam kui 2 nädalaga, nii et kõik keha jälgimise teadaanded toimuvad tõenäoliselt selle ajal.