Meta Research : vêtements photoréalistes pour les avatars de codecs

Meta a partagé de nouvelles recherches sur la simulation réaliste de vêtements pour avatars.

Cette solution vestimentaire est construite sur Codec Avatars – le projet à long terme de Meta pour développer des avatars photoréalistes pilotés en temps réel par des capteurs matériels VR – et proviennent de la même équipe. Au lieu du rendu traditionnel, l'idée de Codec Avatars est d'utiliser une série de réseaux de neurones pour apprendre l'apparence d'une personne donnée, puis d'encoder constamment son état actuel en fonction des entrées du capteur, et enfin de décoder cet état sous forme de géométrie et de textures de sortie finales. Depuis sa présentation initiale, l'équipe Codec Avatars a présenté plusieurs évolutions du système, telles que des yeux plus réalistes, une version nécessitant uniquement un suivi oculaire et une entrée de microphoneun Version 2.0 qui se rapproche du réalisme complet, et génération en utilisant uniquement un iPhone avec FaceID.

Les dernières recherches, Aspect photoréaliste profond pour les vêtements physiquement simulés, applique des réseaux de neurones à une déformation réaliste des vêtements sur tout type de corps :

Comme nous le notons toujours, Meta a un long chemin à parcourir pour atteindre ce type de fidélité dans l'expédition des produits. Ce système vestimentaire fonctionne actuellement à seulement 13 images par seconde sur un GPU NVIDIA RTX 3090. Mais dans le domaine de l’apprentissage automatique, l’optimisation peut s’avérer dramatique au fil du temps. Les algorithmes de synthèse vocale et de reconnaissance d’objets présents sur les smartphones d’aujourd’hui nécessitaient autrefois des GPU PC coûteux.

Les méta-avatars aujourd'hui avoir un style artistique de base de dessin animé. Leur réalisme a en fait diminué au fil du temps, probablement pour mieux convenir à des groupes plus importants avec des environnements complexes dans des applications comme Horizon Worlds sur le processeur mobile de Quest 2. Les Codec Avatars pourraient cependant devenir une option distincte, plutôt qu'une mise à jour directe des avatars de dessins animés d'aujourd'hui. Dans son entretien avec Lex Fridman, le PDG Mark Zuckerberg a décrit un avenir dans lequel vous pourriez utiliser un avatar « expressionniste » dans les jeux occasionnels et un avatar « réaliste » dans les réunions de travail.

En Avril Yaser Sheikh, qui dirige l'équipe Codec Avatars, a déclaré qu'il était impossible de prédire à quelle distance il se trouverait de l'expédition réelle. Il a dit que lorsque le projet a démarré, il restait « à dix miracles » et il pense maintenant qu’il est à « cinq miracles ».