Forskere opdager en mere fleksibel tilgang til maskinlæring

Kunstig intelligens-forskere har fejret en stribe succeser med neurale netværk, computerprogrammer, der groft efterligner, hvordan vores hjerner er organiseret. Men på trods af hurtige fremskridt forbliver neurale netværk relativt ufleksible, med ringe evne til at ændre sig i farten eller tilpasse sig ukendte omstændigheder.

I 2020 ledede to forskere ved Massachusetts Institute of Technology et hold, der introducerede en ny slags neurale netværk baseret på det virkelige liv - men ikke vores egen. I stedet hentede de inspiration fra den lille rundorm, Caenorhabditis elegans, for at producere, hvad de kaldte flydende neurale netværk. Efter et gennembrud sidste år kan de nye netværk nu være alsidige nok til at erstatte deres traditionelle modstykker til visse applikationer.

Flydende neurale netværk tilbyder "et elegant og kompakt alternativ," sagde Ken Goldberg, en robotiker ved University of California, Berkeley. Han tilføjede, at eksperimenter allerede viser, at disse netværk kan køre hurtigere og mere præcist end andre såkaldte kontinuert-tids neurale netværk, som modellerer systemer, der varierer over tid.

Ramin Hasani , Mathias Lechner, drivkræfterne bag det nye design, indså det for år tilbage C.elegans kunne være en ideel organisme at bruge til at finde ud af, hvordan man laver modstandsdygtige neurale netværk, der kan rumme overraskelse. Den millimeter lange bundføder er blandt de få væsner med et fuldt kortlagt nervesystem, og den er i stand til en række avanceret adfærd: bevæge sig, finde mad, sove, parre sig og endda lære af erfaring. "Det lever i den virkelige verden, hvor der altid sker ændringer, og det kan fungere godt under næsten alle forhold, der kastes over det," sagde Lechner.

Respekt for den ringe orm førte ham og Hasani til deres nye flydende netværk, hvor hver neuron er styret af en ligning, der forudsiger dens adfærd over tid. Og ligesom neuroner er knyttet til hinanden, afhænger disse ligninger af hinanden. Netværket løser i det væsentlige hele dette ensemble af forbundne ligninger, hvilket gør det muligt at karakterisere systemets tilstand på ethvert givet tidspunkt - en afvigelse fra traditionelle neurale netværk, som kun giver resultaterne på bestemte tidspunkter.

"[De] kan kun fortælle dig, hvad der sker på et, to eller tre sekunder," sagde Lechner. "Men en kontinuerlig-tidsmodel som vores kan beskrive, hvad der sker ved 0.53 sekunder eller 2.14 sekunder eller et hvilket som helst andet tidspunkt, du vælger."

Flydende netværk adskiller sig også i, hvordan de behandler synapser, forbindelserne mellem kunstige neuroner. Styrken af ​​disse forbindelser i et standard neuralt netværk kan udtrykkes ved et enkelt tal, dets vægt. I flydende netværk er udvekslingen af ​​signaler mellem neuroner en probabilistisk proces styret af en "ikke-lineær" funktion, hvilket betyder, at reaktioner på input ikke altid er proportionale. En fordobling af input, for eksempel, kan føre til et meget større eller mindre skift i output. Denne indbyggede variabilitet er grunden til, at netværkene kaldes "væske". Den måde en neuron reagerer på kan variere afhængigt af input den modtager.

Mens algoritmerne i hjertet af traditionelle netværk indstilles under træning, når disse systemer tilføres datamasser for at kalibrere de bedste værdier for deres vægte, er flydende neurale net mere tilpasningsdygtige. "De er i stand til at ændre deres underliggende ligninger baseret på det input, de observerer," specifikt ændrer hvor hurtigt neuroner reagerer, sagde Daniela rus, direktør for MIT's Computer Science and Artificial Intelligence Laboratory.

En tidlig test for at vise denne evne involverede forsøg på at styre en autonom bil. Et konventionelt neuralt netværk kunne kun analysere visuelle data fra bilens kamera med faste intervaller. Det flydende netværk - bestående af 19 neuroner og 253 synapser (gør det minimalt efter standarderne for maskinlæring) - kunne være meget mere lydhør. "Vores model kan prøve oftere, for eksempel når vejen er snoet," sagde Rus, medforfatter til denne og flere andre artikler om flydende netværk.

Modellen holdt med succes bilen på sporet, men den havde en fejl, sagde Lechner: "Den var virkelig langsom." Problemet stammede fra de ikke-lineære ligninger, der repræsenterer synapserne og neuronerne - ligninger, der normalt ikke kan løses uden gentagne beregninger på en computer, som gennemgår flere iterationer, før de til sidst konvergerer til en løsning. Dette job er typisk delegeret til dedikerede softwarepakker kaldet løsere, som skal anvendes separat til hver synapse og neuron.

I en papir sidste år, afslørede holdet et nyt flydende neuralt netværk, der kom rundt om den flaskehals. Dette netværk stolede på den samme type ligninger, men det vigtigste fremskridt var Hasanis opdagelse af, at disse ligninger ikke behøvede at blive løst gennem besværlige computerberegninger. I stedet kunne netværket fungere ved hjælp af en næsten nøjagtig, eller "lukket form", løsning, der i princippet kunne udarbejdes med blyant og papir. Typisk har disse ikke-lineære ligninger ikke lukkede løsninger, men Hasani ramte en omtrentlig løsning, der var god nok til at bruge.

"At have en lukket-form løsning betyder, at du har en ligning, som du kan tilslutte værdierne for dens parametre og lave den grundlæggende matematik, og du får et svar," sagde Rus. "Du får et svar på et enkelt skud," i stedet for at lade en computer slibe væk, indtil den beslutter, at den er tæt nok på. Det reducerer beregningstid og energi, hvilket fremskynder processen betydeligt.

"Deres metode slår konkurrenterne med flere størrelsesordener uden at ofre nøjagtigheden," sagde Sayan Mitra, en datalog ved University of Illinois, Urbana-Champaign.

Udover at være hurtigere, sagde Hasani, er deres nyeste netværk også usædvanligt stabile, hvilket betyder, at systemet kan håndtere enorme input uden at gå galt. "Det vigtigste bidrag her er, at stabilitet og andre gode egenskaber er indbygget i disse systemer af deres rene struktur," sagde Sriram Sankaranarayanan, en datalog ved University of Colorado, Boulder. Flydende netværk ser ud til at fungere i det, han kaldte "the sweet spot: De er komplekse nok til at tillade interessante ting at ske, men ikke så komplekse, at de fører til kaotisk adfærd."

I øjeblikket tester MIT-gruppen deres seneste netværk på en autonom luftdrone. Selvom dronen blev trænet til at navigere i en skov, har de flyttet den til bymiljøet i Cambridge for at se, hvordan den håndterer nye forhold. Lechner kaldte de foreløbige resultater opmuntrende.

Udover at forfine den nuværende model, arbejder teamet også på at forbedre deres netværks arkitektur. Det næste skridt, sagde Lechner, "er at finde ud af, hvor mange eller hvor få neuroner vi rent faktisk har brug for for at udføre en given opgave." Gruppen ønsker også at udtænke en optimal måde at forbinde neuroner på. I øjeblikket forbinder hver neuron til hver anden neuron, men det er ikke sådan, det fungerer i C.elegans, hvor synaptiske forbindelser er mere selektive. Gennem yderligere undersøgelser af rundormens ledningssystem håber de at bestemme, hvilke neuroner i deres system der skal kobles sammen.

Bortset fra applikationer som autonom kørsel og flyvning, virker flydende netværk velegnede til analyse af elnet, finansielle transaktioner, vejr og andre fænomener, der svinger over tid. Derudover, sagde Hasani, kan den seneste version af flydende netværk bruges "til at udføre hjerneaktivitetssimuleringer i en skala, som ikke var mulig at realisere før."

Mitra er især fascineret af denne mulighed. "På en måde er det en slags poetisk, hvilket viser, at denne forskning kan være ved at komme fuld cirkel," sagde han. "Neurale netværk udvikler sig til det punkt, at netop de ideer, vi har hentet fra naturen, snart kan hjælpe os til at forstå naturen bedre."