Cette technologie peut transformer le monde réel en art vivant

Les chercheurs peuvent prendre une image et l'utiliser comme point de référence pour créer un monde virtuel, un objet ou une personne.

Alors que les entreprises envisagent d'avoir une présence dans le métaverse via un jumeau numérique, la capacité de créer rapidement et facilement du contenu 3D stylisé et des mondes virtuels deviendra de plus en plus importante à l'avenir.

A publié récemment L'Université Cornell Le papier a exploré cette tendance croissante et a développé une solution pour produire des champs de rayonnement neuronal stylisés (SNeRF) qui peuvent être utilisés pour créer une large gamme de scènes virtuelles dynamiques à des vitesses plus élevées que les méthodes traditionnelles.

À l'aide de diverses images de référence, l'équipe de recherche de Jeu Nguyen-Phuoc, Feng Liuet une Lei Xiao ont pu générer des scènes 3D stylisées pouvant être utilisées dans une variété d'environnements virtuels. Par exemple, imaginez mettre un casque VR et voir à quoi ressemblerait le monde réel à travers une lentille stylisée telle qu'une peinture de Pablo Picasso.

Ce processus permet à l'équipe non seulement de créer rapidement des objets virtuels, mais aussi d'utiliser leur environnement réel dans le cadre du monde virtuel avec la détection d'objets 3D. 

Il est important de noter que l'équipe de recherche a également pu observer le même objet via différentes directions de vue au même point de vue, autrement connu sous le nom de cohérence de vue croisée. Cela crée un effet 3D immersif lorsqu'il est visualisé en VR.

En alternant les étapes d'optimisation de NeRF et de stylisation, l'équipe de recherche a pu prendre une image et l'utiliser comme style de référence pour ensuite recréer un environnement, un objet ou une personne du monde réel d'une manière qui adapte la stylisation de cette image, accélérant le processus de création.

"Nous introduisons une nouvelle méthode de formation pour résoudre ce problème en alternant les étapes d'optimisation de NeRF et de stylisation", dit l'équipe. « Une telle méthode nous permet d'utiliser pleinement la capacité de notre mémoire matérielle pour à la fois générer des images à une résolution plus élevée et adopter des méthodes de transfert de style d'image plus expressives. Nos expériences montrent que notre méthode produit des NeRF stylisés pour un large éventail de contenus, y compris des scènes intérieures, extérieures et dynamiques, et synthétise de nouvelles vues de haute qualité avec une cohérence entre vues.

En raison des limites de mémoire de NeRF, les chercheurs ont également dû résoudre un autre problème, à savoir comment rendre davantage d'images 3D haute définition à une vitesse qui ressemblait davantage à du temps réel. La solution consistait à créer une boucle de vues rendues qui, à chaque itération, était capable de cibler les points de stylisation de manière plus cohérente à chaque passage, puis de reconstruire l'image avec plus de détails. 

La technologie a également amélioré les avatars. L'approche stylisée SNeRF de l'équipe de recherche leur a permis de créer un avatar plus expressif lors des conversations. Le résultat est des avatars 4D dynamiques qui peuvent transmettre de manière réaliste des émotions telles que la colère, la peur, l'excitation et la confusion, le tout sans avoir à utiliser un emoji ou à appuyer sur un bouton d'un contrôleur VR.

Le travail de recherche se poursuit toujours, mais pour le moment l'équipe a pu développer une méthode de stylisation de scènes 3D utilisant des représentations neuronales implicites qui impactaient leur environnement et leurs avatars. De plus, leur approche consistant à utiliser une méthode de stylisation alternée leur a permis de tirer pleinement parti de leur capacité de mémoire matérielle pour styliser les scènes 3D statiques et dynamiques, permettant à l'équipe de générer des images à une résolution plus élevée et d'adopter un transfert de style d'image plus expressif. méthodes en réalité virtuelle. 

Si vous souhaitez approfondir les détails, vous pouvez accéder à leur rapport ici.

Crédit d'image : Université Cornell