Utilisation de l'intelligence artificielle pour générer des conceptions de modèles 3D

De nombreux artistes, architectes, ingénieurs et développeurs de jeux numériques s'appuient aujourd'hui sur des modèles 3D. Cependant, la création de ces objets numériques est souvent un processus long et complexe. De nouveaux modèles d'intelligence artificielle (IA) pourraient apporter une solution.

L'art généré par l'IA a gagné beaucoup de notoriété ces derniers temps, bien que principalement sous la forme d'images 2D. Maintenant, plusieurs entreprises ont annoncé un logiciel d'apprentissage automatique qui peut aller plus loin, en transformant du texte ou des images de référence en conceptions 3D.

L'IA générative aujourd'hui

En septembre 2022, Google a dévoilé un modèle text-to-3D appelé DreamFusion. Cet algorithme s'appuie sur un précédent appelé Dream Fields, sorti en 2021, dans lequel les chercheurs se sont entraînés sur une bibliothèque de modèles 3D avec des étiquettes de texte. DreamFusion, cependant, n'a pas besoin de modèles 3D existants pour comprendre vos demandes, ce qui le rend beaucoup plus pratique.

Deux mois plus tard, le géant des cartes graphiques Nvidia a sorti un modèle similaire. Leur logiciel, baptisé Magic3D, est presque identique d'un point de vue extérieur. Vous tapez une description du modèle 3D que vous voulez, et l'algorithme en rendra une. Cependant, la solution de Nvidia prétend être deux fois plus rapide.

La troisième IA générative 3D majeure que vous trouverez aujourd'hui provient d'OpenAI, les créateurs de ChatGPT et Dall-E. Ce modèle, Point-E, crée également des rendus 3D à partir du texte, mais peut le faire en aussi peu que une à deux minutes sur un seul GPU.

"Point-E crée des rendus 3D à partir d'un texte en aussi peu qu'une à deux minutes sur un seul GPU." 

Comment fonctionnent les modèles génératifs 3D

Alors que les trois grandes solutions d'IA génératrices de modèles 3D présentent aujourd'hui des avantages uniques et des approches spécifiques, elles suivent le même processus général. Voici un aperçu du fonctionnement de ces algorithmes.

Formation de l'IA sur les références

Les premières approches de ce type d'IA, comme Dream Fields, les formaient sur des modèles 3D et leurs étiquettes de texte. Cependant, cela ne leur laisse pas beaucoup de données d'entraînement, ce qui limite leur portée. C'est pourquoi les nouveaux modèles apprennent plutôt à générer des modèles 3D à partir d'images 2D étiquetées.

L'IA génératrice de modèles 3D d'aujourd'hui commence par des algorithmes de conversion de texte en image. Par conséquent, la première étape de l'entraînement consiste à lui fournir des images 2D étiquetées, comme une image d'un chien avec le texte d'accompagnement "chien". Ces données sont bien plus accessibles, ImageNet hébergeant à lui seul plus de 14 millions images étiquetées, c'est donc une meilleure façon de former l'IA.

D'ici peu, vous devriez disposer d'un modèle capable d'associer assez précisément des images 2D à des descriptions textuelles. Vous pouvez ensuite passer à l'enseignement pour les transformer en rendus 3D.

"L'IA générant des modèles 3D commence par des algorithmes de conversion de texte en image." 

interpolation

La prochaine étape dans la génération de modèles 3D avec l'IA est une interpolation. Il s'agit du processus consistant à combiner plusieurs images 2D du même sujet sous différents angles pour produire une version 3D.

La technologie sous-jacente qui permet ce processus est un champ de rayonnement neuronal (NeRF). Les NeRF sont des réseaux de neurones qui examinent plusieurs vues d'un objet et déterminent où chaque angle de vue existe dans l'espace. Ils peuvent ensuite les assembler, lisser les zones où différentes vues se chevauchent pour produire un modèle 3D cohérent.

Traditionnellement, les NeRF fonctionnent à l'aide de photos d'un objet sous plusieurs angles. Dans un modèle text-to-3D, cependant, ils génèrent leurs propres images 2D sous différents angles avant de les combiner. Comme vous vous en doutez, il s'agit d'un processus remarquablement complexe, mais les progrès récents l'ont rendu beaucoup plus rapide.

Optimisation des modèles 3D

Le produit que vous obtiendrez après un passage dans l'un de ces NeRF sera probablement à basse résolution et peut contenir des erreurs. Par conséquent, il est important de nettoyer et d'optimiser tous les modèles 3D qui sortent après le processus d'interpolation.

Certaines solutions d'IA aujourd'hui, comme DreamFusion de Google, feront passer le rendu par plusieurs processus d'interpolation pour supprimer le bruit et améliorer la résolution. Les utilisations de Magic3D de Nvidia un deuxième modèle de diffusion qui réduit le bruit et l'affine en fonction de la 2D d'origine pour augmenter sa résolution.

Même après cette optimisation, vous devrez peut-être nettoyer les modèles. C'est pourquoi ces solutions les présentent sous la forme d'un fichier ajustable que vous pouvez modifier pour modifier leur résolution, leur forme, leur couleur, leur éclairage et d'autres facteurs.

Limites et possibilités

Tout comme les systèmes domotiques rendent la sécurité plus pratique et accessible, l'automatisation de la génération d'images 3D peut rationaliser de nombreux flux de travail. Les artistes pourraient développer des jeux ou créer des scènes numériques beaucoup plus rapidement en ce qui concerne les films, car ils ne consacreraient pas autant de temps à la création de modèles. Les délais de construction pourraient également être raccourcis car les architectes génèrent des plans 3D en moins de temps.

Cependant, ces algorithmes portent encore quelques soucis. L'art généré par l'IA dans son ensemble a été critiqué parce que le travail de certains artistes est apparu dans des ensembles de données de formation sans leur permission, ouvrant la porte au droit d'auteur et à des complications éthiques. D'autres craignent que ces outils ne menacent l'emploi et la rémunération des artistes humains.

À mesure que l'art de l'IA se développe, les entreprises qui le construisent et l'utilisent devront tenir compte de ces complications. Avec une approche réfléchie et centrée sur l'humain, cependant, ces modèles pourraient être des outils révolutionnaires pour aider les artistes à travailler, et non les remplacer.

"L'automatisation de la génération d'images 3D peut rationaliser de nombreux flux de travail." 

L'intelligence artificielle pourrait révolutionner le rendu 3D

L'IA est passée de la génération d'images 2D au rendu de modèles 3D en une période relativement courte. Ce pas en avant ouvre la porte à une gamme impressionnante de possibilités tant que les scientifiques des données et les utilisateurs finaux abordent la technologie avec précaution.

Bien qu'encore à ses débuts, la génération de modèles 3D IA pourrait révolutionner l'art et le design numériques. Les industries, de l'architecture au cinéma, pourraient ainsi devenir plus efficaces.

Lisez aussi Les machines deviendront-elles plus artistiques que les humains