I ricercatori Meta dimostrano il monitoraggio del corpo di Quest 2 senza tracker aggiuntivi

I ricercatori Meta hanno dimostrato il rilevamento del corpo di Quest 2 senza tracker aggiuntivi.

Gli attuali sistemi VR vengono forniti con un visore e controller tenuti, quindi traccia solo la posizione della testa e delle mani. La posizione di gomiti, busto e gambe può essere stimata utilizzando una classe di algoritmi chiamati cinematica inversa (IK), ma questo è solo preciso a volte per i gomiti e raramente corretto per le gambe. Ci sono troppe soluzioni potenziali per ogni dato set di posizioni della testa e delle mani.

Dati i limiti di IK, alcuni Le app VR oggi mostrano solo le tue mani e molte ti danno solo la parte superiore del corpo. Le cuffie per PC che utilizzano il monitoraggio di SteamVR supportano tracker aggiuntivi indossati come Vive Tracker di HTC, ma i tre necessari per il rilevamento del corpo costano a nord di $ 350 e quindi questo non è supportato nella maggior parte dei giochi.

Ma in un nuovo documento intitolato QuestSim, i ricercatori Meta hanno dimostrato un sistema guidato da una rete neurale in grado di stimare una posa plausibile dell'intero corpo solo con i dati di tracciamento di Quest 2 e dei suoi controller. Non sono necessari tracker aggiuntivi o sensori esterni.

Il movimento dell'avatar risultante corrisponde abbastanza da vicino al movimento reale dell'utente. I ricercatori affermano persino che la precisione e il jitter risultanti sono superiori ai tracker IMU usurati: dispositivi con solo un accelerometro e un giroscopio come quelli annunciati da Pico 4 Fascia fitness Pico (Pico afferma che sta lavorando sul proprio algoritmo di apprendimento automatico).

Però, i c'è un problema qui. Come si vede nel video, questo sistema è progettato per dare priorità alla produzione di qualcosa di plausibile corpo pieno posa per accertarsi che le mani dell'avatar corrispondano alla posizione esatta delle mani dell'utente. Anche la latenza del sistema è di 160 ms – più di 11 fotogrammi a 72 Hz. Considerati questi problemi, QuestSim sarebbe adatto solo per vedere i corpi degli avatar di altre persone, non per vedere il proprio corpo guardando in basso.

Tuttavia, vedere il movimento completo del corpo degli avatar di altre persone sarebbe di gran lunga preferibile alla parte superiore del corpo senza gambe spesso criticata degli attuali avatar di Meta. Quindi questo sistema, o qualcosa del genere, arriverà su Quest 2?

Il Meta CTO Andrew Bosworth sembrava certamente alludere a questo la scorsa settimana. quando chiesto informazioni sul monitoraggio delle gambe in un Instagram "Chiedimi qualsiasi cosa" Bosworth ha risposto:

“Sì, siamo stati presi in giro molto per gli avatar senza gambe, e penso che sia molto giusto e penso che sia piuttosto divertente.

Avere gambe sul tuo avatar che non corrispondono alle tue gambe reali è molto sconcertante per le persone. Ma ovviamente possiamo mettere le gambe ad altre persone, come puoi vedere, e non ti dà alcun fastidio.

Quindi stiamo lavorando su gambe che sembrano naturali per qualcuno che è uno spettatore – perché non sanno come sono effettivamente posizionate le tue gambe vere – ma probabilmente quando guardi le tue gambe continuerai a non vedere nulla. Questa è la nostra strategia attuale".

Tuttavia, la soluzione a breve termine potrebbe non essere della stessa qualità di questo algoritmo. I documenti di ricerca sull'apprendimento automatico tendono a funzionare su potenti GPU per PC con framerate relativamente basso. Il documento non menziona le prestazioni del sistema descritto, ma viene indicato che per l'allenamento viene utilizzata una RTX 3080.

Si svolge l'evento annuale AR/VR Meta Connect in poco più di 2 settimane, quindi è probabile che qualsiasi annuncio di rilevamento del corpo avverrebbe durante esso.