Videoposnetek ponuja vpogled v zmogljivost sledenja rok in okluzije Apple Vision Pro

Zdi se, da videoposnetek, ki ga je objavil razvijalec Vision Pro, prikazuje trenutne ravni zmogljivosti sledenja rokam in okluzije, ki jih zmorejo nove Applove slušalke.

Apple Vision Pro, naj bi se začela v naslednjih nekaj mesecih, bo kot primarno metodo vnosa uporabljal ročno sledenje. Medtem ko interakcije na sistemski ravni združujejo sledenje rokam s sledenjem očem za modalnost "poglej in tapni", lahko razvijalci izdelajo tudi aplikacije, ki uporabnikom omogočajo neposredno interakcijo z aplikacijami z uporabo rok.

Sledenje rokam na Vision Pro je mogoče razdeliti na dve različni zmožnosti: »sledenje rok« in »okluzija rok«.

Sledenje dlani je ocenjen 3D model roke, njenih sklepov in položaja konic prstov. Ta model se uporablja za določanje, kdaj se predmeti dotikajo, primejo in z njimi komunicirajo.

Okluzija rok se ukvarja s tem, kako sistem vašo pravo roko prekrije z virtualno vsebino. Namesto da bi v sceno narisal 3D model virtualne roke, Vision Pro izreže sliko vaših resničnih rok, da bi jih namesto tega prikazal v sceni. S tem virtualni vsebini doda še eno plast realizma, saj lahko vidite svoje edinstvene roke.

Razvijalec, ki gradi za Vision Pro z uporabo Unity, je objavil videoposnetek, ki daje jasen pogled na sledenje rokam in okluzijo.

V zgornjem videoposnetku prave roke prikazujejo delovanje okluzijskega sistema, medtem ko zelene pike prikazujejo predviden 3D položaj roke.

Vidimo lahko, da je okluzija roke zelo dobra, ni pa popolna; ko je v celoti obkrožen z navidezno vsebino in se hitro premika, lahko vidite nekaj rezov okoli robov dlani.

Medtem pa dejanski položaj sledenja roki še bolj zaostaja za okluzijo roke, nekje okoli 100–200 ms zadaj. Ne moremo pa povsem določiti prave zakasnitve sledenja rokam Vision Pro, ker imamo za primerjavo le pogled na roke za sledenje okluziji (ki bodo same imele nekaj zakasnitve glede na prave roke).

V tem kontekstu video izhaja iz pogovora razvijalca Unity, ki pravi, da so njihovi zgodnji poskusi z Vision Pro pokazali zelo visoko zakasnitev sledenja rok, očitno v primerjavi z najnovejšimi zmogljivostmi sledenja rok Quest. Drugi razvijalci Unity so se strinjali, da so opazili podobno zakasnitev na svojih napravah Vision Pro.

Vendar pa je zadevni videoposnetek integracija ročnega sledenja znotraj aplikacije Unity, kar pomeni, da imata lahko zmogljivost in zakasnitev ročnega sledenja dodatne dejavnike, povezane z Unity, ki niso prisotni pri uporabi Applovih lastnih razvojnih orodij Vision Pro. In glede na to, da slušalke še niso bile predstavljene in so ta orodja še v razvoju, bomo morda opazili dodatne izboljšave, ko slušalke dejansko dosežejo trgovine.

• Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
• PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
• PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
• PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
• PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
• vir: https://www.roadtovr.com/apple-vision-pro-unity-hand-tracking-occlusion/