La démo technique montre la puissance réelle du suivi du visage Quest Pro

Les capacités de suivi du visage de Quest Pro seront rapidement utilisées pour rendre les avatars de Meta plus expressifs, mais les avatars de nouvelle génération devraient bénéficier beaucoup plus de la nouvelle technologie.

L'une des grandes nouveautés de Quest Pro est un système de suivi du visage qui utilise des caméras internes pour détecter le mouvement de vos yeux et de certaines parties de votre visage. Combiné à un modèle d'apprentissage automatique sans étalonnage, le casque prend ce qu'il voit et le transforme en entrées qui peuvent piloter l'animation de n'importe quel avatar.

Couverture Key Quest Pro :

Quest Pro révélé - Spécifications complètes, prix et date de sortie

Quest Pro Hands-on - L'aube de l'ère des casques de réalité mixte

Analyse technique Quest Pro - Ce qui est prometteur et ce qui ne l'est pas

Les contrôleurs Touch Pro révélés – également compatibles avec Quest 2

À court terme, cela sera utilisé avec les avatars existants de Meta. Et même si cela les rend certainement plus expressifs, ils ont toujours l'air un peu maladroits.

C'est probablement le résultat du fait que le système d'avatar Meta actuel n'est pas construit avec ce niveau de suivi du visage à l'esprit. Le « gréement » - le cadre d'animation sous-jacent du modèle - ne semble pas tout à fait adapté à la tâche. Greffer les entrées de suivi du visage de Quest Pro sur le système actuel ne rend pas vraiment justice à ce dont il est réellement capable.

Heureusement, Meta a construit une démo technique qui montre ce qui est possible lorsqu'un avatar est conçu avec le suivi du visage de Quest Pro à l'esprit (et lorsque presque toute la puissance de traitement du casque est dédiée à son rendu).

[Contenu intégré]

Oui, c'est encore un peu tremblant, mais chaque mouvement que vous voyez ici est entraîné par l'utilisateur qui fait les mêmes mouvements, y compris des choses comme gonfler les joues ou déplacer la bouche d'un côté à l'autre. Dans l'ensemble, c'est une représentation beaucoup plus complète d'un visage qui, je dirais, parvient à éviter d'entrer dans l'étrange vallée.

Je dois essayer cette démo par moi-même dans mon pratique récente avec Quest Pro où j'ai regardé dans le miroir et suis apparu comme ce personnage (que Meta appelle Aura). Je suis reparti vraiment impressionné que, même sans calibrage spécial, le visage que je voyais dans le miroir semblait imiter tous les mouvements que je pouvais penser faire avec mon visage.

J'ai été particulièrement attiré par les détails de la peau. Si je louchais et froissais mon nez, je pouvais voir la peau qui l'entourait se gonfler de façon réaliste, et la même chose quand je levais les sourcils. Ces détails subtils, comme le pli des joues qui bougent avec la bouche, ajoutent vraiment beaucoup à l'impression que ce n'est pas seulement un objet devant moi, mais quelque chose qui a un être vivant derrière.

Que les expressions ressemblent ou non à me quand je suis celui derrière le masque est une autre question. Comme le visage de cet avatar ne correspond pas au mien, c'est en fait difficile à dire. Mais que les mouvements soient au moins vraisemblablement réaliste est une première étape importante vers des avatars virtuels qui semblent naturels et crédibles.

Meta dit qu'il publiera la démo Aura en tant que projet open source afin que les développeurs puissent voir comment ils ont attaché les entrées de suivi du visage à l'avatar. La société indique également que les développeurs pourront utiliser un seul ensemble d'outils pour piloter des avatars humanoïdes ou des avatars non humains comme des animaux ou des monstres sans avoir à modifier chaque avatar individuellement.

Meta indique que les développeurs pourront exploiter une API de suivi du visage qui utilise des valeurs correspondant à FACS, un système bien reconnu pour décrire le mouvement des différents muscles du visage humain.

Il s'agit d'un système efficace non seulement pour représenter les visages, mais il forme également une barrière de confidentialité utile pour les utilisateurs. Selon Meta, les développeurs ne peuvent pas réellement accéder aux images brutes du visage de l'utilisateur. À l'intérieur, ils obtiennent une "série de valeurs de zéro à un qui correspondent à un ensemble de mouvements faciaux génériques, comme lorsque vous plissez le nez ou froncez les sourcils", explique Meta. "Ces signaux permettent au développeur de préserver facilement la signification sémantique du mouvement d'origine du joueur lors du mappage des signaux de l'API Face Tracking à sa propre plate-forme de personnage, que son personnage soit humanoïde ou même quelque chose de plus fantastique."

Meta affirme que même l'entreprise elle-même ne peut pas voir les images capturées par les caméras du casque, qu'elles soient internes ou externes. Ils sont traités sur le casque puis immédiatement supprimés, selon l'entreprise, sans jamais être envoyés dans le cloud ou aux développeurs.