A videó bepillantást nyújt az Apple Vision Pro kézkövetési és okklúziós teljesítményébe

A Vision Pro fejlesztője által közzétett videó a jelek szerint bemutatja a kézi követés és az elzáródás jelenlegi szintjét, amelyre az Apple új fejhallgatója képes.

Apple Vision Pro, várhatóan a következő hónapokban indul, a kézi követést fogja használni elsődleges beviteli módszerként. Míg a rendszerszintű interakciók a kézi követést a szemkövetéssel kombinálják a „nézd meg és érintsd meg” modalitás érdekében, a fejlesztők olyan alkalmazásokat is készíthetnek, amelyek lehetővé teszik a felhasználók számára, hogy a kezükkel közvetlenül kommunikáljanak az alkalmazásokkal.

A Vision Pro kézi követése két különálló képességre bontható: „kézkövetés” és „kéz-elzárás”.

A kézkövetés a kéz, az ízületek és az ujjbegyek helyzetének becsült 3D-s modellje. Ez a modell annak meghatározására szolgál, hogy mikor érintik meg, fogják meg a tárgyakat, és mikor lépnek kapcsolatba velük.

A kézelzárás azzal foglalkozik, hogy a rendszer hogyan fedi a valódi kezét a virtuális tartalomra. Ahelyett, hogy egy virtuális kéz 3D-s modelljét rajzolná be a jelenetbe, a Vision Pro kivágja az Ön valódi kezeinek képét, hogy inkább a jelenetben jelenítse meg őket. Ezzel egy újabb realizmusréteget ad a virtuális tartalomhoz, mert láthatja saját, egyedi kezeit.

A Vision Pro Unity-t használó fejlesztői épülete közzétett egy videót, amely világos képet ad mind a kézkövetésről, mind az elzáródásról.

A fenti videóban a valódi kezek az okklúziós rendszert mutatják működés közben, míg a zöld pontok a kéz becsült 3D-s helyzetét mutatják.

Láthatjuk, hogy a kézfogás nagyon jó, de nem tökéletes; ha teljes egészében virtuális tartalom veszi körül, és gyorsan mozog, akkor a kéz szélein némi vágás látható.

Eközben a tényleges kézkövetési pozíció még jobban elmarad a kézelzáródástól, valahol 100-200 ms-os hátránnyal. Nem tudjuk pontosan meghatározni a Vision Pro kézkövetésének valódi késleltetését, mert csak az okklúziókövető kezek nézete áll rendelkezésünkre ahhoz, hogy azt összehasonlíthassuk (amelyeknek némi késleltetésük lesz a valódi leosztásokhoz képest).

Ebben az összefüggésben a videó egy Unity fejlesztői beszélgetésből származik, amely szerint a Vision Pro-val végzett korai kísérleteik nagyon magas kézi követési késést mutattak, nyilvánvalóan a Quest legújabb kézi követési képességeihez képest. Más Unity fejlesztők egyetértettek abban, hogy hasonló késleltetést látnak saját Vision Pro eszközeiken.

A szóban forgó videó azonban egy Unity alkalmazáson belüli kézi követési integráció, ami azt jelenti, hogy a kézi követési teljesítménynek és késleltetésnek lehetnek olyan további tényezői a Unityhoz kapcsolódóan, amelyek nincsenek jelen az Apple első féltől származó Vision Pro fejlesztőeszközeinek használatakor. És tekintettel arra, hogy a headset még nem jelent meg, és ezek az eszközök még fejlesztés alatt állnak, további fejlesztéseket láthatunk, mire a fülhallgató ténylegesen a boltokba kerül.

• SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
• PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
• PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
• PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
• PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
• Forrás: https://www.roadtovr.com/apple-vision-pro-unity-hand-tracking-occlusion/