Les méta-chercheurs démontrent le suivi du corps de Quest 2 sans trackers supplémentaires

Les méta-chercheurs ont démontré le suivi corporel de Quest 2 sans trackers supplémentaires.

Les systèmes VR actuels sont livrés avec un casque et des contrôleurs tenus, donc ne suivez que la position de votre tête et de vos mains. La position de vos coudes, de votre torse et de vos jambes peut être estimée à l'aide d'une classe d'algorithmes appelés cinématique inverse (IK), mais ce n'est que précis parfois pour les coudes et rarement correct pour les jambes. Il existe tout simplement trop de solutions potentielles pour chaque ensemble donné de positions de la tête et des mains.

Compte tenu des limites des IK, certains Les applications VR d'aujourd'hui ne montrent que vos mains, et beaucoup ne vous donnent que le haut du corps. Les casques PC utilisant le suivi SteamVR prennent en charge des trackers supplémentaires usés tels que Vive Tracker de HTC, mais les trois nécessaires pour le suivi du corps coûtent au nord de 350 $ et ne sont donc pas pris en charge dans la plupart des jeux.

Mais en un nouvel article intitulé QuestSim, les chercheurs de Meta ont démontré un système piloté par un réseau de neurones qui peut estimer une pose plausible du corps entier avec uniquement les données de suivi de Quest 2 et de ses contrôleurs. Aucun tracker supplémentaire ou capteur externe n'est nécessaire.

Le mouvement résultant de l'avatar correspond assez étroitement au mouvement réel de l'utilisateur. Les chercheurs affirment même que la précision et la gigue qui en résultent sont supérieures aux trackers IMU usés - des appareils avec seulement un accéléromètre et un gyroscope tels que ceux annoncés par le Pico 4. Bande de fitness Pico (Pico prétend cependant travailler sur son propre algorithme d'apprentissage automatique).

Toutefois, il y a un hic ici. Comme on le voit dans la vidéo, ce système est conçu pour donner la priorité à la production d'un plausible tout le corps pose en s'assurant que les mains de l'avatar correspondent à la position exacte des mains de l'utilisateur. La latence du système est également de 160 ms, soit plus de 11 images à 72 Hz. Compte tenu de ces problèmes, QuestSim ne conviendrait que pour voir les corps d'avatar d'autres personnes, et non pour voir votre propre corps lorsque vous regardez vers le bas.

Mais encore, voir le mouvement complet du corps des avatars d'autres personnes serait de loin préférable au haut du corps sans jambes souvent critiqué des avatars actuels de Meta. Alors, est-ce que ce système, ou quelque chose comme ça, arrive dans Quest 2 ?

Le Meta CTO Andrew Bosworth a certainement semblé faire allusion à cela la semaine dernière. Lorsque interrogé sur le suivi des jambes dans un Instagram "demandez-moi n'importe quoi" Bosworth a répondu:

"Ouais, on s'est beaucoup moqué de nous pour les avatars sans jambes, et je pense que c'est très juste et je pense que c'est assez drôle.

Avoir des jambes sur votre propre avatar qui ne correspondent pas à vos vraies jambes est très déconcertant pour les gens. Mais bien sûr on peut mettre des jambes sur d'autres personnes, ça tu vois, et ça ne te dérange pas du tout.

Nous travaillons donc sur des jambes qui paraissent naturelles à quelqu'un qui est spectateur - parce qu'il ne sait pas comment vos vraies jambes sont réellement positionnées - mais vous continuerez probablement à ne rien voir lorsque vous regardez vos propres jambes. C'est notre stratégie actuelle.

La solution à court terme pourrait cependant ne pas être de la même qualité que cet algorithme. Les documents de recherche sur l'apprentissage automatique ont tendance à s'exécuter sur de puissants GPU PC à une fréquence d'images relativement faible. Le document ne mentionne pas les performances du système décrit, mais un RTX 3080 est répertorié comme étant utilisé pour la formation.

L'événement AR/VR annuel Meta Connect a lieu dans un peu plus de 2 semaines, de sorte que toute annonce de suivi corporel aurait probablement lieu pendant celle-ci.