MIT, Autodesk utvecklar AI som kan lista ut förvirrande Lego-instruktioner

Stumpad av ett Lego-set? Ett nytt ramverk för maskininlärning kan tolka dessa instruktioner åt dig. 

Forskare vid Stanford University, MIT:s laboratorium för datavetenskap och artificiell intelligens och Autodesk AI Lab har samarbetat för att utveckla ett nytt inlärningsbaserat ramverk som kan tolka 2D-instruktioner för att bygga 3D-objekt. 

Nätverket Manual-to-Executable-Plan, eller MEPNet, testades på datorgenererade legouppsättningar, riktiga legouppsättningsinstruktioner och voxelbyggplaner i Minecraft-stil, och forskarna sa att det överträffade befintliga metoder över hela linjen. 

MEPNets nya idé

Att tolka 2D-instruktioner är inte lätt för artificiell intelligens. Forskarna sa att det finns ett par viktiga problem som kommer från visuella instruktioner som, som Lego-set, helt består av bilder: Identifiera korrespondens mellan 2D- och 3D-objekt och hantera många grundläggande delar, som Lego. 

Grundläggande legoklossar, sa forskarna, sätts ofta ihop till komplexa former innan de läggs till i modellens huvuddel. Detta "ökar svårigheten för maskiner att tolka Lego-manualer: det kräver att man kan sluta sig till 3D-positioner av osynliga föremål som består av sedda primitiver", sa forskarna.

Befintliga metoder för att analysera manuella steg till maskinkörbara planer består huvudsakligen av två former, sa forskarna: Sökbaserade metoder som är enkla och exakta men beräkningsmässigt dyra; och inlärningsbaserade modeller som är snabba men inte är särskilt bra på att hantera osynliga 3D-former.

MEPNet, sa forskarna, kombinerar båda.

Börjar med en 3D-modell av komponenterna, det aktuella tillståndet för Lego-setet och 2D-manuella bilder, MEPNet "förutsäger en uppsättning 2D-nyckelpunkter och masker för varje komponent", skrev forskarna.

När det är gjort, "återprojiceras 2D-nyckelpunkterna till 3D genom att hitta möjliga kopplingar mellan basformen och de nya komponenterna." Kombinationen "behåller effektiviteten hos inlärningsbaserade modeller och generaliserar bättre till osynliga 3D-komponenter", skrev teamet.

Men kan den bygga min Ikea-byrå?

I tidningen sa forskarna att deras mål är att skapa maskiner som hjälper människor att montera komplexa föremål, och de inkluderar möbler tillsammans med legoklossar och voxelvärldar i sin lista över applikationer.

Vi har frågat forskarna bakom MEPNet om fler potentiella användningsområden för deras nya ramverk, men har inte hört något ännu. Under tiden kan det vara rimligt att anta att MEPNet skulle kunna bygga en bokhylla – åtminstone praktiskt taget – givet det nödvändiga biblioteket av komponenter och instruktioner.

Allt en människa skulle behöva göra skulle vara att tolka MEPNets 3D-renderingar, vilket förhoppningsvis skulle vara enklare än möbler i plattpack.

De som vill testa MEPNet, och är bekanta med Pytorch, kan hitta dess kod på Github. ®