Forskere oppdager en mer fleksibel tilnærming til maskinlæring

Kunstig intelligens-forskere har feiret en rekke suksesser med nevrale nettverk, dataprogrammer som grovt etterlikner hvordan hjernen vår er organisert. Men til tross for rask fremgang forblir nevrale nettverk relativt lite fleksible, med liten evne til å endre seg i farten eller tilpasse seg ukjente omstendigheter.

I 2020 ledet to forskere ved Massachusetts Institute of Technology et team som introduserte en ny type nevrale nettverk basert på virkelige intelligens - men ikke vår egen. I stedet tok de inspirasjon fra den lille rundormen, Caenorhabditis elegans, for å produsere det de kalte flytende nevrale nettverk. Etter et gjennombrudd i fjor, kan de nye nettverkene nå være allsidige nok til å erstatte sine tradisjonelle kolleger for visse bruksområder.

Flytende nevrale nettverk tilbyr "et elegant og kompakt alternativ," sa Ken Goldberg, en robotiker ved University of California, Berkeley. Han la til at eksperimenter allerede viser at disse nettverkene kan kjøre raskere og mer nøyaktig enn andre såkalte nevrale nettverk med kontinuerlig tid, som modellerer systemer som varierer over tid.

Ramin Hasani og Mathias Lechner, drivkreftene bak det nye designet, innså det for mange år siden C. elegans kan være en ideell organisme å bruke for å finne ut hvordan man lager motstandsdyktige nevrale nettverk som kan ta imot overraskelser. Den millimeter lange bunnmateren er blant de få skapningene med et fullstendig kartlagt nervesystem, og den er i stand til en rekke avanserte atferder: bevege seg, finne mat, sove, parre seg og til og med lære av erfaring. "Den lever i den virkelige verden, der endringer alltid skjer, og den kan fungere godt under nesten alle forhold som blir kastet på den," sa Lechner.

Respekt for den ydmyke ormen førte ham og Hasani til deres nye flytende nettverk, der hvert nevron styres av en ligning som forutsier dens oppførsel over tid. Og akkurat som nevroner er knyttet til hverandre, er disse ligningene avhengige av hverandre. Nettverket løser i hovedsak hele dette ensemblet av koblede ligninger, slik at det kan karakterisere tilstanden til systemet til enhver tid - en avvik fra tradisjonelle nevrale nettverk, som bare gir resultatene på bestemte tidspunkter.

"[De] kan bare fortelle deg hva som skjer etter ett, to eller tre sekunder," sa Lechner. "Men en kontinuerlig-tidsmodell som vår kan beskrive hva som skjer på 0.53 sekunder eller 2.14 sekunder eller en hvilken som helst annen tid du velger."

Flytende nettverk er også forskjellige i hvordan de behandler synapser, forbindelsene mellom kunstige nevroner. Styrken til disse forbindelsene i et standard nevralt nettverk kan uttrykkes med et enkelt tall, dets vekt. I flytende nettverk er utveksling av signaler mellom nevroner en sannsynlig prosess styrt av en "ikke-lineær" funksjon, noe som betyr at responser på innganger ikke alltid er proporsjonale. En dobling av inngangen kan for eksempel føre til et mye større eller mindre skifte i utgangen. Denne innebygde variasjonen er grunnen til at nettverkene kalles "væske". Måten et nevron reagerer på kan variere avhengig av input den mottar.

Mens algoritmene i hjertet av tradisjonelle nettverk settes under trening, når disse systemene mates med datamasser for å kalibrere de beste verdiene for vektene, er flytende nevrale nett mer tilpasningsdyktige. "De er i stand til å endre sine underliggende ligninger basert på input de observerer," spesifikt endre hvor raskt nevroner reagerer, sa Daniela Rus, direktør for MITs informatikk- og kunstig intelligenslaboratorium.

En tidlig test for å vise frem denne evnen involverte forsøk på å styre en autonom bil. Et konvensjonelt nevralt nettverk kunne bare analysere visuelle data fra bilens kamera med faste intervaller. Det flytende nettverket – bestående av 19 nevroner og 253 synapser (som gjør det minimalt etter standardene for maskinlæring) – kan være mye mer responsiv. "Vår modell kan prøve oftere, for eksempel når veien er kronglete," sa Rus, en medforfatter av denne og flere andre artikler om flytende nettverk.

Modellen holdt bilen på rett spor, men den hadde en feil, sa Lechner: "Det var veldig tregt." Problemet stammet fra de ikke-lineære ligningene som representerer synapser og nevroner - ligninger som vanligvis ikke kan løses uten gjentatte beregninger på en datamaskin, som går gjennom flere iterasjoner før de til slutt konvergerer til en løsning. Denne jobben er vanligvis delegert til dedikerte programvarepakker kalt løsere, som må brukes separat på hver synapse og nevron.

I en papir i fjor, avslørte teamet et nytt flytende nevralt nettverk som kom rundt den flaskehalsen. Dette nettverket var avhengig av samme type ligninger, men det viktigste fremskrittet var en oppdagelse av Hasani at disse ligningene ikke trengte å løses gjennom vanskelige databeregninger. I stedet kunne nettverket fungere ved hjelp av en nesten nøyaktig, eller "lukket form", løsning som i prinsippet kunne utarbeides med blyant og papir. Vanligvis har ikke disse ikke-lineære ligningene lukkede løsninger, men Hasani traff en omtrentlig løsning som var god nok til å bruke.

"Å ha en lukket-form løsning betyr at du har en ligning som du kan plugge inn verdiene for parameterne og gjøre den grunnleggende matematikken, og du får et svar," sa Rus. "Du får et svar på et enkelt skudd," i stedet for å la en datamaskin skjære unna før du bestemmer deg for at den er nær nok. Det kutter beregningstid og energi, og fremskynder prosessen betraktelig.

"Deres metode slår konkurrentene med flere størrelsesordener uten å ofre nøyaktigheten," sa Sayan Mitra, en informatiker ved University of Illinois, Urbana-Champaign.

I tillegg til å være raskere, sa Hasani, er de nyeste nettverkene deres også uvanlig stabile, noe som betyr at systemet kan håndtere enorme inndata uten å gå løs. "Hovedbidraget her er at stabilitet og andre fine egenskaper er bakt inn i disse systemene av deres rene struktur," sa Sriram Sankaranarayanan, en informatiker ved University of Colorado, Boulder. Flytende nettverk ser ut til å operere i det han kalte "the sweet spot: De er komplekse nok til å tillate interessante ting å skje, men ikke så komplekse at de fører til kaotisk oppførsel."

For øyeblikket tester MIT-gruppen sitt nyeste nettverk på en autonom luftdrone. Selv om dronen ble opplært til å navigere i en skog, har de flyttet den til bymiljøet i Cambridge for å se hvordan den takler nye forhold. Lechner kalte de foreløpige resultatene oppmuntrende.

Utover å avgrense den nåværende modellen, jobber teamet også med å forbedre nettverkets arkitektur. Det neste trinnet, sa Lechner, "er å finne ut hvor mange, eller hvor få, nevroner vi faktisk trenger for å utføre en gitt oppgave." Gruppen ønsker også å finne en optimal måte å koble nevroner på. Foreløpig kobler hvert nevron til alle andre nevroner, men det er ikke slik det fungerer i C. elegans, hvor synaptiske forbindelser er mer selektive. Gjennom videre studier av rundormens ledningssystem håper de å finne ut hvilke nevroner i systemet deres som skal kobles sammen.

Bortsett fra applikasjoner som autonom kjøring og flyging, virker flytende nettverk godt egnet for analyse av elektriske strømnett, økonomiske transaksjoner, vær og andre fenomener som svinger over tid. I tillegg, sa Hasani, kan den nyeste versjonen av flytende nettverk brukes "for å utføre hjerneaktivitetsimuleringer i en skala som ikke var realiserbar før."

Mitra er spesielt fascinert av denne muligheten. "På en måte er det litt poetisk, og viser at denne forskningen kan komme i full sirkel," sa han. "Nevrale nettverk utvikler seg til det punktet at selve ideene vi har hentet fra naturen snart kan hjelpe oss å forstå naturen bedre."