Raziskovalci Meta prikazujejo sledenje telesu Quest 2 brez dodatnih sledilnikov

Meta raziskovalci so prikazali sledenje telesu Quest 2 brez dodatnih sledilnikov.

Trenutni sistemi VR so opremljeni s slušalkami in držanimi krmilniki, zato sledite le položaju vaše glave in rok. Položaj vaših komolcev, trupa in nog je mogoče oceniti z uporabo razreda algoritmov, imenovanih inverzna kinematika (IK), vendar je to samo včasih natančen za komolce in redko pravilen za noge. Preveč je potencialnih rešitev za vsak dani niz položajev glave in rok.

Glede na omejitve IK, nekateri Aplikacije VR danes prikazujejo samo vaše roke, mnoge pa samo zgornji del telesa. Računalniške slušalke, ki uporabljajo podporo za sledenje SteamVR, nosijo dodatne sledilnike, kot je npr HTC-jev Vive Tracker, vendar trije, potrebni za sledenje telesu, stanejo severno od 350 USD, zato to ni podprto v večini iger.

Toda v nov dokument z naslovom QuestSim, so raziskovalci Meta prikazali sistem, ki ga poganja nevronska mreža, ki lahko oceni verjeten položaj celotnega telesa samo s podatki o sledenju iz Questa 2 in njegovih krmilnikov. Dodatni sledilniki ali zunanji senzorji niso potrebni.

Nastalo gibanje avatarja se dokaj natančno ujema z dejanskim gibanjem uporabnika. Raziskovalci celo trdijo, da sta posledična natančnost in tresenje boljši od obrabljenih sledilnikov IMU – naprav s samo merilnikom pospeška in žiroskopom, kot je napovedan Pico 4. Pico fitnes trak (Pico trdi, da dela na lastnem algoritmu strojnega učenja).

Vendar pa tukaj je ulov. Kot je razvidno iz videoposnetka, je ta sistem zasnovan tako, da daje prednost ustvarjanju verjetnega polno telo pozirajte nad zagotavljanjem, da se roke avatarja natančno ujemajo z uporabnikovimi rokami. Zakasnitev sistema je tudi 160 ms – več kot 11 sličic pri 72 Hz. Glede na te težave bi bil QuestSim primeren samo za ogled teles avatarjev drugih ljudi, ne pa za ogled lastnega telesa, ko gledate navzdol.

A kljub temu bi bilo videti gibanje celega telesa na avatarjih drugih ljudi veliko bolje kot pogosto kritizirani breznogi zgornji del Metinih trenutnih avatarjev. Ali torej ta sistem ali kaj podobnega prihaja v Quest 2?

Zdi se, da je tehnični direktor družbe Meta Andrew Bosworth prejšnji teden zagotovo namigoval na to. Kdaj vprašal o sledenju nog na Instagramu "vprašaj me karkoli" Bosworth se je odzval:

»Ja, veliko so se nam norčevali zaradi breznogih avatarjev in mislim, da je to zelo pošteno in zelo smešno.

Imeti noge na lastnem avatarju, ki se ne ujemajo z vašimi pravimi nogami, ljudi zelo moti. Lahko pa seveda postavimo noge drugim ljudem, da jih vidiš, pa te to sploh ne moti.

Delamo torej na nogah, ki se nekomu, ki je mimoidoči, zdijo naravne – ker ne vedo, kako so dejansko postavljene vaše prave noge – vendar verjetno vi, ko pogledate svoje noge, še naprej ne boste videli ničesar. To je naša trenutna strategija.”

Kratkoročna rešitev pa morda ne bo enake kakovosti kot ta algoritem. Raziskovalni članki o strojnem učenju se običajno izvajajo na zmogljivih računalniških grafičnih procesorjih pri relativno nizki hitrosti sličic. Dokument ne omenja zmogljivosti opisanega sistema, vendar je RTX 3080 naveden kot uporabljen za usposabljanje.

Poteka letni dogodek AR/VR Meta Connect čez nekaj več kot 2 tedna, zato bi se vsaka objava o sledenju telesu verjetno zgodila med njim.