Metatutkijat demonstroivat Quest 2 -kehon seurantaa ilman ylimääräisiä seurantalaitteita

Meta-tutkijat osoittivat Quest 2 -kehon seurantaa ilman ylimääräisiä seurantalaitteita.

Nykyiset VR-järjestelmät toimitetaan kuulokemikrofonin ja pidennetyillä ohjaimilla, joten seuraa vain pääsi ja käsiesi asentoa. Kyynärpäiden, vartalon ja jalkojen sijainti voidaan arvioida käyttämällä algoritmiluokkaa, jota kutsutaan käänteiskinematiikaksi (IK), mutta tämä on vain tarkka joskus kyynärpäille ja harvoin jalkojen kohdalla. Jokaiselle pään ja käden asennon joukolle on aivan liian monia mahdollisia ratkaisuja.

IK:n rajoitukset huomioon ottaen jotkut VR-sovellukset näyttävät nykyään vain kätesi, ja monet antavat sinulle vain ylävartalon. SteamVR-seurantaa käyttävät PC-kuulokkeet tukevat kuluneita ylimääräisiä seurantalaitteita, kuten HTC:n Vive Tracker, mutta kehon seurantaan tarvittavat kolme maksavat 350 dollarin pohjoispuolella, joten tätä ei tueta useimmissa peleissä.

Mutta sisään uusi paperi nimeltä QuestSim, Meta-tutkijat esittelivät hermoverkon ohjaamaa järjestelmää, joka pystyy arvioimaan uskottavan koko kehon asennon pelkästään Quest 2:n ja sen ohjaimien seurantatiedoilla. Ylimääräisiä seurantalaitteita tai ulkoisia antureita ei tarvita.

Tuloksena oleva avatar-liike vastaa melko tarkasti käyttäjän todellista liikettä. Tutkijat väittävät jopa, että tuloksena oleva tarkkuus ja värinä ovat parempia kuin kuluneet IMU-seurantalaitteet – laitteet, joissa on vain kiihtyvyysanturi ja gyroskooppi, kuten Pico 4:n ilmoittama. Pico Fitness Band (Pico väittää kuitenkin työskentelevänsä omalla koneoppimisalgoritmillaan).

Kuitenkin, tässä on saalis. Kuten videosta näkyy, tämä järjestelmä on suunniteltu priorisoimaan uskottavan tuotteen tuottaminen kokovartalo poseeraa ja varmista, että avatarin kädet vastaavat tarkasti käyttäjän käsien asentoa. Järjestelmän latenssi on myös 160 ms – yli 11 kuvaa 72 Hz:llä. Nämä ongelmat huomioon ottaen QuestSim soveltuu vain näkemään muiden ihmisten avatar-kehot, ei omaa kehoaan katsoessaan alas.

Mutta silti, muiden ihmisten avatarien koko kehon liikkeen näkeminen olisi paljon parempi vaihtoehto kuin Metan nykyisten avatarien usein kritisoidut jalkattomat ylävartalot. Onko tämä järjestelmä tai jotain vastaavaa tulossa Quest 2:een?

Meta CTO Andrew Bosworth näytti varmasti vihjaavan tähän viime viikolla. Kun kysyi jalkojen seurannasta Instagramissa "kysy minulta mitä tahansa" Bosworth vastasi:

"Kyllä meille on naurettu paljon jalkattomien avatareiden takia, ja se on mielestäni erittäin reilua ja mielestäni aika hauskaa.

Oman avatarin jalat, jotka eivät vastaa todellisia jalkojasi, on hyvin hämmentävää ihmisille. Mutta toki saamme laittaa jalat toisille, sen näkee, eikä se haittaa yhtään.

Joten työskentelemme sellaisten jalkojen parissa, jotka näyttävät luonnollisilta jonkun sivullisen silmissä – koska he eivät tiedä, kuinka oikeat jalkasi ovat todellisuudessa – mutta luultavasti sinä, kun katsot omia jalkojasi, et edelleenkään näe mitään. Se on nykyinen strategiamme."

Lyhyen aikavälin ratkaisu ei kuitenkaan välttämättä ole tämän algoritmin laadukas. Koneoppimisen tutkimuspaperit toimivat yleensä tehokkailla PC-grafiikkasuorittimilla suhteellisen alhaisella kehysnopeudella. Paperissa ei mainita kuvatun järjestelmän suorituskykyä, mutta RTX 3080 on lueteltu käytettäväksi koulutukseen.

Meta Connect vuosittainen AR/VR-tapahtuma järjestetään hieman yli 2 viikossa, joten mikä tahansa kehon seurantailmoitus tapahtuisi todennäköisesti sen aikana.