A metakutatók bemutatják a Quest 2 testkövetést extra nyomkövetők nélkül

A Meta kutatók bemutatták a Quest 2 testkövetést extra nyomkövetők nélkül.

A jelenlegi VR-rendszereket fejhallgatóval és kézben lévő vezérlőkkel szállítják, így csak a fej és a kezek helyzetét kövessék nyomon. A könyökök, a törzs és a lábak helyzete megbecsülhető az inverz kinematikának (IK) nevezett algoritmusok osztályával, de ez csak pontos néha a könyökre és ritkán a lábakra. Túl sok lehetséges megoldás létezik minden egyes fej- és kézhelyzet-készlethez.

Tekintettel az IK korlátaira, néhány A VR-alkalmazások manapság csak a kezeidet mutatják, és sokan csak a felsőtestet adják. A SteamVR nyomkövetést használó PC headsetek támogatják a kopott extra trackereket, mint pl A HTC Vive Tracker, de a testkövetéshez szükséges három ára 350 dollártól északra esik, így ez a legtöbb játékban nem támogatott.

De egy új dolgozatot QuestSim címmel, A Meta kutatói egy neurális hálózat által vezérelt rendszert mutattak be, amely képes megbecsülni egy elfogadható teljes testpózt a Quest 2 és vezérlőinek nyomkövetési adataival. Nincs szükség további nyomkövetőkre vagy külső érzékelőkre.

Az így létrejövő avatarmozgás meglehetősen megegyezik a felhasználó valós mozgásával. A kutatók még azt is állítják, hogy a kapott pontosság és rezgés jobb, mint a kopott IMU-követők – a csak gyorsulásmérővel és giroszkóppal rendelkező eszközök, mint például a Pico 4 bejelentette. Pico Fitness Band (A Pico azt állítja, hogy a saját gépi tanulási algoritmusán dolgozik).

Azonban, van itt egy fogás. Amint a videón is látható, ezt a rendszert úgy tervezték, hogy prioritást adjon a hihető kép előállításának teljes test pózoljon, és biztosítsa, hogy az avatar kezei pontosan illeszkedjenek a felhasználó kezeihez. A rendszer késleltetése szintén 160 ms – több mint 11 képkocka 72 Hz-en. Tekintettel ezekre a problémákra, a QuestSim csak arra lenne alkalmas, hogy mások avatartestét lássa, a saját testét nem, amikor lenéz.

De mégis, mások avatárjainak teljes testmozgását sokkal jobb lenne látni, mint Meta jelenlegi avatárjainak gyakran kritizált lábatlan felsőtestét. Tehát ez a rendszer, vagy valami hasonló, jön a Quest 2-hez?

A meta műszaki igazgatója, Andrew Bosworth minden bizonnyal erre utalt a múlt héten. Mikor a lábkövetésről kérdezett egy Instagramon: „kérdezz bármit” Bosworth válaszolt:

„Igen, sokat csúfoltak minket a lábatlan avatarok miatt, és szerintem ez nagyon tisztességes, és szerintem elég vicces.

Az, hogy a saját avatarodon olyan lábak vannak, amelyek nem egyeznek a valódi lábaiddal, nagyon elkeserítő az emberek számára. De persze lábba rakhatunk másokat is, hogy látod, és ez téged egyáltalán nem zavar.

Tehát olyan lábakon dolgozunk, amelyek természetesnek tűnnek egy szemlélő számára – mert nem tudják, hogyan helyezkednek el a valódi lábaid –, de valószínűleg te, ha megnézed a saját lábaidat, továbbra sem fogsz látni semmit. Ez a jelenlegi stratégiánk.”

A rövid távú megoldás azonban nem biztos, hogy ugyanolyan minőségű, mint ez az algoritmus. A gépi tanulással kapcsolatos kutatási cikkek általában nagy teljesítményű PC GPU-kon futnak viszonylag alacsony képkockasebességgel. A cikk nem említi a leírt rendszer teljesítményét, de egy RTX 3080 szerepel a képzésben.

A Meta Connect éves AR/VR eseményre kerül sor alig több mint 2 hét alatt, így minden testkövetési bejelentés valószínűleg ez alatt fog megtörténni.