Videoclipul oferă o privire asupra performanței de urmărire a mâinilor și de ocluzie Apple Vision Pro

Un videoclip postat de un dezvoltator Vision Pro pare să arate nivelurile actuale de performanță de urmărire a mâinilor și ocluzie de care este capabil noul căști Apple.

Apple Vision Pro, se așteaptă să se lanseze în următoarele câteva luni, va folosi urmărirea manuală ca metodă de introducere principală. În timp ce interacțiunile la nivel de sistem combină urmărirea mâinilor cu urmărirea ochilor pentru o modalitate de „privire și atingere”, dezvoltatorii pot crea, de asemenea, aplicații care permit utilizatorilor să interacționeze direct cu aplicațiile folosind mâinile lor.

Urmărirea mâinilor pe Vision Pro poate fi împărțită în două capacități distincte: „urmărirea mâinii” și „ocluzia mâinii”.

Urmărirea mâinii este modelul 3D estimat al mâinii, al articulațiilor sale și al poziției vârfurilor degetelor. Acest model este folosit pentru a determina când obiectele sunt atinse, prinse și cu care interacționează.

Ocluzia mâinii se ocupă de modul în care sistemul suprapune mâna reală pe conținut virtual. În loc să deseneze un model 3D al unei mâini virtuale în scenă, Vision Pro decupează imaginea mâinilor tale reale pentru a le arăta în scenă. Acest lucru adaugă un alt strat de realism conținutului virtual, deoarece vă puteți vedea propriile mâini unice.

O clădire de dezvoltator pentru Vision Pro care folosește Unity a postat un videoclip care oferă o privire clară atât asupra urmăririi mâinilor, cât și asupra ocluziei.

În videoclipul de mai sus, mâinile reale arată sistemul de ocluzie în acțiune, în timp ce punctele verzi arată poziția 3D estimată a mâinii.

Putem vedea că ocluzia mâinii este foarte bună, dar nu perfectă; atunci când este înconjurat în întregime de conținut virtual și se mișcă rapid, puteți vedea unele tăieturi în jurul marginilor mâinii.

Între timp, poziția reală de urmărire a mâinii este mai în urmă față de ocluzia mâinii, undeva cu aproximativ 100-200 ms în urmă. Cu toate acestea, nu putem determina exact adevărata latență a urmăririi mâinilor lui Vision Pro, deoarece avem doar o vedere a mâinilor de urmărire a ocluziei cu care să o comparăm (care vor avea o anumită latență în ceea ce privește mâinile reale).

În acest context, videoclipul provine dintr-o conversație cu un dezvoltator Unity care spune că experimentele lor timpurii cu Vision Pro au arătat o latență foarte mare de urmărire a mâinilor, aparent în comparație cu cele mai recente capacități de urmărire a mâinilor Quest. Alți dezvoltatori Unity au fost de acord că văd o latență similară pe propriile dispozitive Vision Pro.

Cu toate acestea, videoclipul în cauză este o integrare de urmărire manuală în interiorul unei aplicații Unity, ceea ce înseamnă că performanța și latența de urmărire manuală pot avea factori suplimentari legați de Unity care nu sunt prezenți atunci când utilizați instrumentele de dezvoltare Vision Pro de la Apple. Și având în vedere că setul cu cască nu a fost lansat încă și aceste instrumente sunt încă în dezvoltare, este posibil să vedem îmbunătățiri suplimentare până când setul cu cască ajunge efectiv în magazine.

• Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
• PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
• PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
• PlatoESG. carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
• PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
• Sursa: https://www.roadtovr.com/apple-vision-pro-unity-hand-tracking-occlusion/