MIT, Autodesk kehittää tekoälyä, joka voi selvittää hämmentäviä Lego-ohjeita

Oletko järkyttynyt Lego-setistä? Uusi koneoppimiskehys voi tulkita nämä ohjeet puolestasi. 

Stanfordin yliopiston, MIT:n tietojenkäsittelytieteen ja tekoälylaboratorion sekä Autodesk AI Labin tutkijat ovat kehittäneet uudenlaisen oppimiseen perustuvan viitekehyksen, joka pystyy tulkitsemaan 2D-ohjeita 3D-objektien rakentamiseksi. 

Manual-to-Executable-Plan Network tai MEPNet, testattiin tietokoneella luoduilla Lego-sarjoilla, oikeilla Lego-sarjan ohjeilla ja Minecraft-tyylisillä vokselinrakennussuunnitelmilla, ja tutkijoiden mukaan se ylitti olemassa olevat menetelmät kaikkialla. 

MEPNetin uusi idea

2D-ohjeiden tulkitseminen ei ole helppoa tekoälylle. Tutkijat sanoivat, että visuaalisista ohjeista, jotka, kuten Lego-setit, koostuvat kokonaan kuvista, liittyy pari keskeistä ongelmaa: 2D- ja 3D-objektien välisen vastaavuuden tunnistaminen ja monien perusosien, kuten Legon, käsitteleminen. 

Tutkijoiden mukaan peruslegopalikoita kootaan usein monimutkaisiin muotoihin ennen kuin ne lisätään mallin päärunkoon. Tämä "lisää koneiden vaikeuksia tulkita Lego-käsikirjoja: se vaatii päättelemään näkymättömien esineiden 3D-asentoja, jotka koostuvat nähdyistä primitiiveistä", tutkijat sanoivat.

Nykyiset menetelmät manuaalisten vaiheiden jäsentämiseksi koneella suoritettaviksi suunnitelmiksi koostuvat pääasiassa kahdesta muodosta, tutkijat sanoivat: Hakupohjaiset menetelmät, jotka ovat yksinkertaisia ​​ja tarkkoja, mutta laskennallisesti kalliita; ja oppimiseen perustuvia malleja, jotka ovat nopeita, mutta eivät kovin hyviä käsittelemään näkymättömiä 3D-muotoja.

MEPNet, tutkijat sanoivat, yhdistää molemmat.

Alkaen komponenttien 3D-mallista, Lego-sarjan nykytilasta ja 2D-manuaalisista kuvista, MEPNet "ennustaa joukon 2D-avainpisteitä ja maskeja kullekin komponentille", tutkijat kirjoittivat.

Kun tämä on tehty, 2D-avainpisteet "projisoidaan takaisin 3D:ksi etsimällä mahdollisia yhteyksiä perusmuodon ja uusien komponenttien välillä". Yhdistelmä "säilyttää oppimiseen perustuvien mallien tehokkuuden ja yleistää paremmin näkymättömiin 3D-komponentteihin", tiimi kirjoitti.

Mutta voiko se rakentaa Ikean lipaston?

Paperissa tutkijat sanoivat, että heidän tavoitteenaan on luoda koneita, jotka auttavat ihmisiä kokoamaan monimutkaisia ​​esineitä, ja he sisällyttävät huonekaluja Lego-palikoiden ja vokselimaailmojen rinnalle sovellusluettelossaan.

Olemme kysyneet MEPNetin takana olevilta tutkijoilta heidän uuden viitekehyksensä mahdollisista käyttötavoista, mutta emme ole vielä saaneet vastausta. Sillä välin saattaa olla järkevää olettaa, että MEPNet voisi rakentaa kirjahyllyn – ainakin virtuaalisesti – tarvittavan komponenttikirjaston ja ohjeiden avulla.

Ihmisen ei tarvitsisi muuta kuin tulkita MEPNetin 3D-mallinnuksia, mikä olisi toivottavasti helpompaa kuin litteät kalusteohjeet.

Ne, jotka haluavat testata MEPNetiä ja tuntevat Pytorchin, voivat löytää sen koodi Githubissa. ®