MIT y Autodesk desarrollan IA que puede descifrar instrucciones confusas de Lego

¿Perplejo por un juego de Lego? Un nuevo marco de aprendizaje automático puede interpretar esas instrucciones por usted. 

Investigadores de la Universidad de Stanford, el Laboratorio de Ciencias de la Computación e Inteligencia Artificial del MIT y el Laboratorio de IA de Autodesk han colaborado para desarrollar un marco novedoso basado en el aprendizaje que puede interpretar instrucciones 2D para construir objetos 3D. 

La Red Manual-a-Plan Ejecutable, o MEPNet, se probó en juegos de Lego generados por computadora, instrucciones reales de juegos de Lego y planes de construcción de vóxeles al estilo Minecraft, y los investigadores dijeron que superó a los métodos existentes en todos los ámbitos. 

La idea novedosa de MEPNet

Interpretar instrucciones 2D no es fácil para la inteligencia artificial. Los investigadores dijeron que hay un par de problemas clave que van desde las instrucciones visuales que, como los juegos de Lego, consisten completamente en imágenes: identificar la correspondencia entre objetos 2D y 3D y tratar con muchas piezas básicas, como Lego. 

Los ladrillos básicos de Lego, dijeron los investigadores, a menudo se ensamblan en formas complejas antes de agregarse al cuerpo principal del modelo. Esto “aumenta la dificultad para que las máquinas interpreten los manuales de Lego: requiere inferir poses 3D de objetos invisibles compuestos de primitivos vistos”, dijeron los investigadores.

Los métodos existentes para analizar pasos manuales en planes ejecutables por máquina consisten principalmente en dos formas, dijeron los investigadores: métodos basados ​​en búsqueda que son simples y precisos pero computacionalmente costosos; y modelos basados ​​en el aprendizaje que son rápidos pero no son muy buenos para manejar formas 3D invisibles.

MEPNet, dijeron los investigadores, combina ambos.

Comenzando con un modelo 3D de los componentes, el estado actual del juego Lego e imágenes manuales 2D, MEPNet "predice un conjunto de puntos clave y máscaras 2D para cada componente", escribieron los investigadores.

Una vez hecho esto, los puntos clave 2D "se retroproyectan a 3D al encontrar posibles conexiones entre la forma base y los nuevos componentes". La combinación "mantiene la eficiencia de los modelos basados ​​en el aprendizaje y generaliza mejor los componentes 3D invisibles", escribió el equipo.

¿Pero puede construir mi tocador de Ikea?

En el documento, los investigadores dijeron que su objetivo es crear máquinas que ayuden a las personas a ensamblar objetos complejos, e incluyen muebles junto con ladrillos Lego y mundos voxel en su lista de aplicaciones.

Hemos preguntado a los investigadores detrás de MEPNet sobre más usos potenciales de su nuevo marco, pero aún no hemos recibido respuesta. Mientras tanto, podría ser razonable suponer que MEPNet podría construir una estantería, al menos virtualmente, dada la biblioteca necesaria de componentes e instrucciones.

Todo lo que tendría que hacer un ser humano sería interpretar las representaciones 3D de MEPNet, que con suerte serían más fáciles que las instrucciones de muebles de paquete plano.

Aquellos que quieran probar MEPNet y estén familiarizados con Pytorch, pueden encontrar su código en Github. ®