Az MIT, az Autodesk mesterséges intelligenciát fejleszt, amely képes kitalálni a zavaros Lego utasításokat

Elakadt egy Lego készlet? Egy új gépi tanulási keretrendszer értelmezheti ezeket az utasításokat. 

A Stanford Egyetem, az MIT Számítástechnikai és Mesterséges Intelligencia Laboratóriuma és az Autodesk AI Lab kutatói együttműködtek egy új tanulási alapú keretrendszer kidolgozásában, amely képes értelmezni a 2D utasításokat 3D objektumok építéséhez. 

A Manual-to-Executable-Plan Network, ill MEPNet, számítógéppel generált Lego készleteken, valódi Lego készlet utasításokon és Minecraft-stílusú voxelépítési terveken tesztelték, és a kutatók szerint a meglévő módszereket minden tekintetben felülmúlta. 

A MEPNet újszerű ötlete

A 2D utasítások értelmezése nem könnyű a mesterséges intelligencia számára. A kutatók elmondták, hogy van néhány kulcsfontosságú probléma a vizuális utasításokból eredően, amelyek a Lego készletekhez hasonlóan teljes egészében képekből állnak: A 2D és 3D objektumok közötti megfelelés azonosítása, és sok alapvető elem, például a Lego kezelése. 

A kutatók elmondása szerint az alapvető Lego kockákat gyakran összetett formákká állítják össze, mielőtt hozzáadnák a modell törzséhez. Ez „megnehezíti a gépek számára a Lego-kézikönyvek értelmezését: megköveteli, hogy a látott primitívekből álló, láthatatlan tárgyak 3D-s pózaira következtessenek” – mondták a kutatók.

A manuális lépések géppel végrehajtható tervekké történő elemzésének meglévő módszerei a kutatók szerint főként kétféle formában állnak rendelkezésre: Keresés alapú módszerek, amelyek egyszerűek és pontosak, de számításilag költségesek; és tanulás alapú modellek, amelyek gyorsak, de nem túl jók a láthatatlan 3D alakzatok kezelésében.

A kutatók szerint a MEPNet mindkettőt egyesíti.

A komponensek 3D-s modelljétől, a Lego készlet jelenlegi állapotától és a 2D manuális képektől kezdve a MEPNet „2D kulcspontok és maszkok készletét jósolja meg minden egyes komponenshez” – írták a kutatók.

Ha ez megtörtént, a 2D-s kulcspontok „visszavetülnek 3D-be azáltal, hogy megtalálják a lehetséges kapcsolatokat az alapforma és az új komponensek között”. A kombináció „fenntartja a tanuláson alapuló modellek hatékonyságát, és jobban általánosítja a nem látott 3D-s komponensekre” – írta a csapat.

De meg tudja építeni az Ikea komódomat?

A tanulmányban a kutatók elmondták, hogy céljuk olyan gépek létrehozása, amelyek segítenek az embereknek összetett tárgyak összeállításában, és a Lego kockák és voxelvilágok mellett bútorokat is felvesznek az alkalmazási listájukba.

Megkérdeztük a MEPNet mögött álló kutatókat az új keretrendszer további lehetséges felhasználási lehetőségeiről, de még nem kaptunk visszajelzést. Addig is ésszerű lehet azt feltételezni, hogy a MEPNet – legalábbis virtuálisan – könyvespolcot tud építeni a szükséges összetevők és utasítások könyvtárával.

Az embernek mindössze annyit kell tennie, hogy értelmezi a MEPNet 3D-s megjelenítéseit, ami remélhetőleg egyszerűbb lenne, mint a lapos bútorok utasításai.

Azok, akik szeretnék tesztelni a MEPNetet, és ismerik a Pytorch-ot, megtalálhatják kódja a Githubon. ®