Une révolution dans l’infographie rend la capture de la réalité 3D accessible au grand public

Une révolution dans l’infographie rend la capture de la réalité 3D accessible au grand public

Horodatage: 6 novembre 2023, 10 h 23
Une révolution dans l'infographie apporte la capture de la réalité 3D au grand public PlatoBlockchain Data Intelligence. Recherche verticale. Aï.

En tant qu'arme de guerre, la destruction de sites du patrimoine culturel est une méthode commune par des envahisseurs armés pour priver une communauté de son identité distincte. Il n’était donc pas surprenant qu’en février 2022, alors que les troupes russes envahissaient l’Ukraine, les historiens et les spécialistes du patrimoine culturel se préparaient à la destruction à venir. Jusqu'à présent, dans la guerre entre la Russie et l'Ukraine, l'UNESCO a confirmé dommages à des centaines de bâtiments religieux et historiques et à des dizaines de monuments publics, bibliothèques et musées.

Alors que les nouvelles technologies comme drones à bas prix, Impression 3Det une Internet par satellite privé Bien qu’elle crée un champ de bataille typique du XXIe siècle, peu familier aux armées conventionnelles, un autre ensemble de technologies crée de nouvelles possibilités pour les archivistes citoyens en dehors des lignes de front de préserver les sites du patrimoine ukrainien.

Sauvegarde Ukraine, un projet collaboratif entre la Commission nationale danoise pour l'UNESCO et Polycam, un outil de création 3D, permet à toute personne équipée uniquement d'un téléphone de numériser et de capturer des modèles 3D de haute qualité, détaillés et photoréalistes de sites du patrimoine, ce qui n'est possible qu'avec des moyens coûteux et fastidieux. équipement il y a seulement quelques années.

Backup Ukraine est une expression notable de la vitesse étonnante avec laquelle les technologies de capture et de graphisme 3D progressent, selon Bilawal Sidhu, technologue, investisseur providentiel et ancien chef de produit Google qui a travaillé sur des cartes 3D et AR/VR.

« Les technologies de capture de la réalité sont sur une courbe exponentielle de démocratisation stupéfiante », m'a-t-il expliqué dans une interview pour Singularity Hub.

Selon Sidhu, la génération d'actifs 3D était possible, mais uniquement avec des outils coûteux comme des appareils photo reflex numériques, des scanners lidar et des licences logicielles coûteuses. A titre d'exemple, il a cité les travaux de CyArkName, une organisation à but non lucratif fondée il y a vingt ans dans le but d'utiliser une technologie de capture 3D de qualité professionnelle pour préserver le patrimoine culturel du monde entier.

"Ce qui est insensé, et ce qui a changé, c'est qu'aujourd'hui je peux faire tout cela avec l'iPhone dans ma poche", dit-il.

Au cours de notre discussion, Sidhu a présenté trois tendances technologiques distinctes mais interdépendantes qui sont à l'origine de ces progrès. Le premier est une baisse du coût des types de caméras et de capteurs capables de capturer un objet ou un espace. Deuxièmement, une cascade de nouvelles techniques qui utilisent l’intelligence artificielle pour construire des actifs 3D finis. Et troisièmement, la prolifération de la puissance de calcul, largement tirée par les GPU, capables de restituer des objets à forte intensité graphique sur des appareils largement accessibles aux consommateurs.

Les scanners Lidar sont un exemple d’amélioration du rapport qualité-prix des capteurs. D'abord popularisés sous la forme de capteurs rotatifs encombrants installés sur les véhicules autonomes, et dont le prix est fixé au des dizaines de milliers de dollars, le lidar a fait ses débuts dans la technologie grand public sur l'iPhone 12 Pro et Pro Max en 2020. La possibilité de scanner un espace de la même manière que les voitures sans conducteur voient le monde signifiait que tout le monde pouvait soudainement et à moindre coût générer des ressources 3D détaillées. Cependant, cela n’était encore disponible que pour les clients Apple les plus riches.

L'un des tournants les plus importants de l'industrie s'est produit la même année lorsque des chercheurs de Google introduit champs de radiance neuronale, communément appelés NeRF.

Cette approche utilise l'apprentissage automatique pour construire un modèle 3D crédible d'un objet ou d'un espace à partir d'images ou de vidéos 2D. Le réseau neuronal « hallucine » la façon dont une scène entièrement en 3D apparaîtrait, selon Sidhu. Il s'agit d'une solution de « synthèse de vues », un défi d'infographie visant à permettre à quelqu'un de voir un espace depuis n'importe quel point de vue à partir de seulement quelques images sources.

« Ce truc est donc sorti et tout le monde a réalisé que nous disposions désormais d'une synthèse de vues de pointe qui fonctionne à merveille pour tout ce avec quoi la photogrammétrie a eu du mal, comme la transparence, la translucidité et la réflectivité. C'est un peu fou", ajoute-t-il.

La communauté de la vision par ordinateur a canalisé son enthousiasme vers les applications commerciales. Chez Google, Sidhu et son équipe ont exploré l'utilisation de la technologie pour vue immersive, une version 3D de Google Maps. Pour l'utilisateur moyen, la diffusion d'applications conviviales telles que Luma IA et d'autres signifiaient que toute personne disposant simplement d'un appareil photo de smartphone pouvait créer des ressources 3D photoréalistes. La création de contenu 3D de haute qualité n'était plus limitée à l'élite lidar d'Apple.

Aujourd’hui, une autre méthode potentiellement encore plus prometteuse pour résoudre la synthèse de vues attire l’attention, rivalisant avec l’enthousiasme des débuts du NeRF. Éclaboussures gaussiennes est une technique de rendu qui imite la façon dont les triangles sont utilisés pour les ressources 3D traditionnelles, mais au lieu de triangles, c'est une « touche » de couleur exprimée par une fonction mathématique connue sous le nom de gaussienne. À mesure que davantage de gaussiennes sont superposées, un actif 3D très détaillé et texturé devient visible. La vitesse d'adoption des éclaboussures est époustouflante à observer.

Cela ne fait que quelques mois mais démos inondent X, et Luma AI et Polycam proposent des outils pour générer des éclaboussures gaussiennes. D'autres développeurs travaillent déjà sur les moyens de les intégrer dans des moteurs de jeux traditionnels comme Unity et Unreal. Les Splats attirent également l'attention de l'industrie de l'infographie traditionnelle car leur vitesse de rendu est plus rapide que celle des NeRF et ils peuvent être édités d'une manière déjà familière aux artistes 3D. (Les NeRF ne le permettent pas étant donné qu'ils sont générés par un réseau neuronal indéchiffrable.)

Pour une excellente explication du fonctionnement des éclaboussures gaussiennes et des raisons pour lesquelles elles génèrent du buzz, regardez cette vidéo de Sidhu.

[Contenu intégré]

Indépendamment des détails, pour les consommateurs, nous sommes décidément à un moment où un téléphone peut générer des ressources 3D de calibre hollywoodien que seules des équipes de production bien équipées pouvaient produire il y a peu.

Mais pourquoi la création 3D est-elle importante ?

Pour apprécier l’évolution vers le contenu 3D, il convient de noter que le paysage technologique s’oriente vers un avenir « informatique spatiale ». Bien que des termes galvaudés comme le métaverse puissent attirer l’attention, l’esprit sous-jacent est la reconnaissance du fait que les environnements 3D, comme ceux utilisés dans les jeux vidéo, les mondes virtuels et les jumeaux numériques, ont un rôle important à jouer dans notre avenir. Les ressources 3D telles que celles produites par les NeRF et les splattings sont sur le point de devenir le contenu avec lequel nous nous intéresserons à l'avenir.

Dans ce contexte, une ambition à grande échelle est l'espoir d'une Carte 3D du monde. Bien que des outils permettant de générer des cartes 3D statiques soient disponibles, le défi reste de trouver des moyens de maintenir ces cartes à jour dans un monde en constante évolution.

« Il y a la construction du modèle du monde, puis il y a le maintien de ce modèle du monde. Avec les méthodes dont nous parlons, je pense que nous pourrions enfin avoir la technologie nécessaire pour résoudre le problème de « maintien du modèle » grâce au crowdsourcing », déclare Sidhu.

Des projets comme Immersive View de Google sont de bons premiers exemples des implications de cette situation pour les consommateurs. Bien qu'il ne spécule pas sur le moment où cela pourrait éventuellement être possible, Sidhu a convenu qu'à un moment donné, la technologie existerait qui permettrait à un utilisateur en réalité virtuelle de se promener n'importe où sur Terre avec une expérience immersive en temps réel de ce qui s'y passe. . Ce type de technologie se répercutera également sur les efforts de "téléportation" basée sur un avatar», réunions à distance et autres rassemblements sociaux.

Une autre raison d'être enthousiasmé, dit Sidhu, est la capture de mémoire 3D. Apple, par exemple, s'appuie fortement sur Photo et vidéo 3D pour leur casque de réalité mixte Vision Pro. À titre d'exemple, Sidhu m'a dit qu'il avait récemment créé une réplique de haute qualité de la maison de ses parents avant qu'ils ne déménagent. Il pourrait alors leur faire vivre l’expérience de marcher à l’intérieur grâce à la réalité virtuelle.

« Avoir ce sentiment viscéral d’être de retour là-bas est tellement puissant. C'est pourquoi je suis si optimiste à l'égard d'Apple, car s'ils maîtrisent ce format multimédia 3D, c'est là que les choses peuvent devenir passionnantes pour les gens ordinaires.

De l’art rupestre aux peintures à l’huile, l’impulsion de préserver certains aspects de notre expérience sensorielle est profondément humaine. Tout comme la photographie s’est autrefois imposée sur les natures mortes comme moyen de préservation, les outils de création 3D semblent sur le point de remplacer notre histoire de longue date avec les images et vidéos 2D.

Pourtant, tout comme la photographie ne peut espérer capturer qu’une fraction d’un instant dans le temps, les modèles 3D ne peuvent pas remplacer complètement notre relation au monde physique. Néanmoins, pour ceux qui vivent les horreurs de la guerre en Ukraine, il s’agit peut-être d’une évolution bienvenue, offrant une manière plus immersive de préserver ce qui ne pourra jamais vraiment être remplacé.

Crédit image: Wim Torbeyns / Unsplash 

Horodatage:

Plus de Singularity Hub