La vidéo offre un aperçu des performances de suivi manuel et d'occlusion d'Apple Vision Pro

Une vidéo publiée par un développeur de Vision Pro semble montrer les niveaux actuels de performances de suivi manuel et d’occlusion dont le nouveau casque d’Apple est capable.

Apple VisionPro, devrait être lancé dans les prochains mois, utilisera le suivi manuel comme méthode de saisie principale. Alors que les interactions au niveau du système combinent le suivi manuel et le suivi oculaire pour une modalité « regarder et appuyer », les développeurs peuvent également créer des applications permettant aux utilisateurs d'interagir directement avec les applications en utilisant leurs mains.

Le suivi manuel sur Vision Pro peut être divisé en deux fonctionnalités distinctes : « suivi manuel » et « occlusion manuelle ».

Le suivi manuel est le modèle 3D estimé de la main, de ses articulations et de la position du bout des doigts. Ce modèle est utilisé pour déterminer quand les objets sont touchés, saisis et avec lesquels ils interagissent.

L'occlusion manuelle traite de la façon dont le système superpose votre main réelle sur le contenu virtuel. Plutôt que de dessiner un modèle 3D d'une main virtuelle dans la scène, Vision Pro découpe l'image de vos vraies mains pour les afficher dans la scène. Cela ajoute une autre couche de réalisme au contenu virtuel car vous pouvez voir vos propres mains uniques.

Un développeur développant Vision Pro à l'aide d'Unity a publié une vidéo qui donne un aperçu clair du suivi manuel et de l'occlusion.

Dans la vidéo ci-dessus, les vraies mains montrent le système d'occlusion en action, tandis que les points verts montrent la position 3D estimée de la main.

Nous pouvons voir que l'occlusion de la main est très bonne mais pas parfaite ; lorsque vous êtes entièrement entouré de contenu virtuel et que vous vous déplacez rapidement, vous pouvez voir des coupures sur les bords de la main.

Pendant ce temps, la position réelle du suivi de la main est encore plus en retard par rapport à l'occlusion de la main, quelque part entre 100 et 200 ms derrière. Cependant, nous ne pouvons pas vraiment déterminer la véritable latence du suivi des mains de Vision Pro, car nous n'avons qu'une vue des mains de suivi de l'occlusion avec lesquelles le comparer (qui elles-mêmes auront une certaine latence par rapport aux mains réelles).

Dans ce contexte, la vidéo provient d'une conversation avec un développeur Unity disant que leurs premières expériences avec Vision Pro ont montré une latence de suivi manuel très élevée, apparemment par rapport aux dernières capacités de suivi manuel de Quest. D'autres développeurs Unity ont convenu qu'ils constataient une latence similaire sur leurs propres appareils Vision Pro.

Cependant, la vidéo en question est une intégration de suivi manuel dans une application Unity, ce qui signifie que les performances et la latence du suivi manuel peuvent avoir des facteurs supplémentaires liés à Unity qui ne sont pas présents lors de l'utilisation des outils de développement Vision Pro propriétaires d'Apple. Et étant donné que le casque n’a pas encore été lancé et que ces outils sont encore en développement, nous pourrions constater des améliorations supplémentaires au moment où le casque arrivera réellement dans les magasins.

• Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
• PlatoData.Network Ai générative verticale. Autonomisez-vous. Accéder ici.
• PlatoAiStream. Intelligence Web3. Connaissance Amplifiée. Accéder ici.
• PlatonESG. Carbone, Technologie propre, Énergie, Environnement, Solaire, La gestion des déchets. Accéder ici.
• PlatoHealth. Veille biotechnologique et essais cliniques. Accéder ici.
• La source: https://www.roadtovr.com/apple-vision-pro-unity-hand-tracking-occlusion/