Uso de inteligencia artificial para generar diseños de modelos 3D

Muchos artistas digitales, arquitectos, ingenieros y desarrolladores de juegos confían hoy en modelos 3D. Sin embargo, la creación de estos objetos digitales suele ser un proceso complicado que requiere mucho tiempo. Los nuevos modelos de inteligencia artificial (IA) pueden proporcionar una solución.

El arte generado por IA ha ganado mucha notoriedad últimamente, aunque principalmente en forma de imágenes 2D. Ahora, varias empresas han anunciado un software de aprendizaje automático que puede ir un paso más allá, convirtiendo texto o imágenes de referencia en diseños 3D.

IA generativa hoy

En septiembre de 2022, Google dio a conocer un modelo de texto a 3D llamado DreamFusion. Este algoritmo se basa en uno anterior llamado Dream Fields, lanzado en 2021, en el que los investigadores se entrenaron en una biblioteca de modelos 3D con etiquetas de texto. Sin embargo, DreamFusion no necesita modelos 3D existentes para comprender sus solicitudes, lo que lo hace mucho más práctico.

Dos meses después, el gigante de las tarjetas gráficas Nvidia lanzó un modelo similar. Su software, denominado Magic3D, es casi idéntico desde una perspectiva externa. Escribe una descripción del modelo 3D que desea y el algoritmo generará uno. Sin embargo, la solución de Nvidia afirma ser el doble de rápida.

La tercera IA generativa 3D importante que encontrará hoy proviene de OpenAI, los creadores de ChatGPT y Dall-E. Este modelo, Point-E, también crea representaciones 3D a partir del texto, pero puede hacerlo en tan solo uno a dos minutos en una sola GPU.

“Point-E crea representaciones 3D a partir de un texto en tan solo uno o dos minutos en una sola GPU”. 

Cómo funcionan los modelos generativos 3D

Si bien las tres grandes soluciones de IA de generación de modelos 3D actuales tienen ventajas únicas y enfoques específicos, siguen el mismo proceso general. Aquí hay una mirada más cercana a cómo funcionan estos algoritmos.

Entrenamiento de la IA en Referencias

Los primeros enfoques de este tipo de IA, como Dream Fields, los entrenaron en modelos 3D y sus etiquetas de texto. Sin embargo, esto no los deja con muchos datos de entrenamiento, lo que limita su alcance. Es por eso que los modelos más nuevos aprenden a generar modelos 3D a partir de imágenes 2D etiquetadas.

La IA de generación de modelos 3D de hoy comienza como algoritmos de texto a imagen. En consecuencia, la primera etapa en el entrenamiento es alimentarlo con imágenes 2D etiquetadas, como una imagen de un perro con el texto adjunto "perro". Estos datos son mucho más accesibles, solo con el alojamiento de ImageNet más de 14 millón imágenes etiquetadas, por lo que es una mejor manera de entrenar la IA.

En poco tiempo, debería tener un modelo que pueda asociar imágenes 2D con descripciones de texto con bastante precisión. Luego puede pasar a enseñarle a convertirlos en representaciones 3D.

“La IA generadora de modelos 3D comienza como algoritmos de texto a imagen”. 

Interpolación

El siguiente paso para generar modelos 3D con IA es una interpolación. Este es el proceso de combinar múltiples imágenes 2D del mismo sujeto desde diferentes ángulos para producir una versión 3D.

La tecnología subyacente que permite este proceso es un campo de radiación neuronal (NeRF). Los NeRF son redes neuronales que miran múltiples vistas de un objeto y determinan dónde existe cada ángulo de visión en el espacio. Luego pueden juntarlos, suavizando las áreas donde las diferentes vistas se superponen para producir un modelo 3D cohesivo.

Tradicionalmente, los NeRF funcionan con fotos de un objeto desde múltiples ángulos. Sin embargo, en un modelo de texto a 3D, generan sus propias imágenes 2D desde varios ángulos antes de combinarlas. Como era de esperar, este es un proceso notablemente complejo, pero los avances recientes lo han hecho mucho más rápido.

Optimización de modelos 3D

El producto que obtendrá de una pasada a través de uno de estos NeRF probablemente será de baja resolución y puede contener errores. En consecuencia, es importante limpiar y optimizar cualquier modelo 3D que surja después del proceso de interpolación.

Algunas soluciones de IA actuales, como DreamFusion de Google, pasarán la representación a través de varios procesos de interpolación para eliminar el ruido y mejorar la resolución. Usos de Magic3D de Nvidia un segundo modelo de difusión que reduce el ruido y lo refina según el 2D original para elevar su resolución.

Incluso después de esta optimización, es posible que deba limpiar los modelos. Es por eso que estas soluciones los presentan como un archivo ajustable que puede editar para cambiar su resolución, forma, color, iluminación y otros factores.

Limitaciones y posibilidades

Así como los sistemas de automatización del hogar hacen que la seguridad sea más conveniente y accesible, la automatización de la generación de imágenes en 3D puede optimizar muchos flujos de trabajo. Los artistas podrían desarrollar juegos o crear escenas digitales mucho más rápido cuando se trata de películas, ya que no dedicarían tanto tiempo a la creación de modelos. Los plazos de construcción también podrían acortarse ya que los arquitectos generan planos en 3D en menos tiempo.

Sin embargo, estos algoritmos aún conllevan algunas preocupaciones. El arte generado por IA en su conjunto ha sido criticado porque el trabajo de algunos artistas ha aparecido en conjuntos de datos de entrenamiento sin su permiso, lo que abre la puerta a complicaciones éticas y de derechos de autor. Otros temen que estas herramientas puedan amenazar el empleo y el pago de los artistas humanos.

A medida que crece el arte de la IA, las empresas que lo construyen y lo usan tendrán que considerar estas complicaciones. Sin embargo, con un enfoque reflexivo y centrado en el ser humano, estos modelos podrían ser herramientas revolucionarias para ayudar a los artistas a trabajar, no para reemplazarlos.

“La automatización de la generación de imágenes 3D puede optimizar muchos flujos de trabajo”. 

La inteligencia artificial podría revolucionar el renderizado 3D

AI pasó de generar imágenes 2D a renderizar modelos 3D en un período relativamente corto. Este paso adelante abre la puerta a una impresionante gama de posibilidades, siempre que los científicos de datos y los usuarios finales se acerquen a la tecnología con cuidado.

Si bien aún se encuentra en sus primeras etapas, la generación de modelos 3D con IA podría revolucionar el arte y el diseño digital. Como resultado, las industrias, desde la arquitectura hasta el cine, podrían volverse más eficientes.

Lea también ¿Serán las máquinas más artísticas que los humanos?