Forskare upptäcker ett mer flexibelt tillvägagångssätt för maskininlärning

Artificiell intelligens forskare har firat en rad framgångar med neurala nätverk, datorprogram som ungefär efterliknar hur våra hjärnor är organiserade. Men trots snabba framsteg förblir neurala nätverk relativt oflexibla, med liten förmåga att förändras i farten eller anpassa sig till okända omständigheter.

År 2020 ledde två forskare vid Massachusetts Institute of Technology ett team som introducerade en ny sorts neurala nätverk baserad på verklig intelligens - men inte vår egen. Istället tog de inspiration från den lilla rundmasken, Caenorhabditis elegans, för att producera vad de kallade flytande neurala nätverk. Efter ett genombrott förra året kan de nya nätverken nu vara tillräckligt mångsidiga för att ersätta sina traditionella motsvarigheter för vissa tillämpningar.

Flytande neurala nätverk erbjuder "ett elegant och kompakt alternativ", sa Ken Goldberg, en robotist vid University of California, Berkeley. Han tillade att experiment redan visar att dessa nätverk kan köras snabbare och mer exakt än andra så kallade neurala nätverk med kontinuerlig tid, som modellerar system som varierar över tiden.

Ramin Hasani och Mathias Lechner, drivkrafterna bakom den nya designen, insåg det för flera år sedan C. elegans kan vara en idealisk organism att använda för att ta reda på hur man skapar motståndskraftiga neurala nätverk som kan ta emot överraskning. Den millimeterlånga bottenmataren är bland de få varelser som har ett helt kartlagt nervsystem, och den är kapabel till en rad avancerade beteenden: röra sig, hitta mat, sova, para sig och till och med lära sig av erfarenhet. "Den lever i den verkliga världen, där förändring alltid sker, och den kan prestera bra under nästan alla förhållanden som kastas på den," sa Lechner.

Respekt för den ödmjuka masken ledde honom och Hasani till deras nya flytande nätverk, där varje neuron styrs av en ekvation som förutsäger dess beteende över tid. Och precis som neuroner är kopplade till varandra, är dessa ekvationer beroende av varandra. Nätverket löser i huvudsak hela denna ensemble av länkade ekvationer, vilket gör att det kan karakterisera systemets tillstånd vid varje givet ögonblick - en avvikelse från traditionella neurala nätverk, som bara ger resultaten vid vissa tidpunkter.

"[De] kan bara berätta vad som händer på en, två eller tre sekunder," sa Lechner. "Men en kontinuerlig tidsmodell som vår kan beskriva vad som händer vid 0.53 sekunder eller 2.14 sekunder eller vilken annan tid du väljer."

Vätskenätverk skiljer sig också åt i hur de behandlar synapser, kopplingarna mellan artificiella neuroner. Styrkan hos dessa anslutningar i ett standardneuralt nätverk kan uttryckas med ett enda tal, dess vikt. I vätskenätverk är utbytet av signaler mellan neuroner en probabilistisk process som styrs av en "icke-linjär" funktion, vilket innebär att svar på insignaler inte alltid är proportionella. En fördubbling av input, till exempel, kan leda till en mycket större eller mindre förskjutning av output. Denna inbyggda variation är anledningen till att nätverken kallas "flytande". Hur en neuron reagerar kan variera beroende på vilken input den får.

Medan algoritmerna i hjärtat av traditionella nätverk ställs in under träning, när dessa system matas med mängder av data för att kalibrera de bästa värdena för deras vikter, är flytande neurala nät mer anpassningsbara. "De kan ändra sina underliggande ekvationer baserat på den indata de observerar," säger specifikt hur snabbt neuroner svarar. Daniela Rus, chef för MIT:s laboratorium för datavetenskap och artificiell intelligens.

Ett tidigt test för att visa upp denna förmåga var att försöka styra en autonom bil. Ett konventionellt neuralt nätverk kunde endast analysera visuella data från bilens kamera med fasta intervall. Det flytande nätverket – bestående av 19 neuroner och 253 synapser (gör det minimalt enligt standarden för maskininlärning) – skulle kunna vara mycket mer lyhörd. "Vår modell kan prova oftare, till exempel när vägen är krokig", säger Rus, en medförfattare till denna och flera andra tidningar om flytande nätverk.

Modellen höll framgångsrikt bilen på rätt spår, men den hade ett fel, sa Lechner: "Det var riktigt långsamt." Problemet härrörde från de olinjära ekvationerna som representerar synapserna och neuronerna - ekvationer som vanligtvis inte kan lösas utan upprepade beräkningar på en dator, som går igenom flera iterationer innan de slutligen konvergerar till en lösning. Detta jobb delegeras vanligtvis till dedikerade mjukvarupaket som kallas lösare, som skulle behöva tillämpas separat på varje synaps och neuron.

I en papper förra året, avslöjade teamet ett nytt flytande neuralt nätverk som kom runt den flaskhalsen. Detta nätverk förlitade sig på samma typ av ekvationer, men det viktigaste framsteg var en upptäckt av Hasani att dessa ekvationer inte behövde lösas genom mödosamma datorberäkningar. Istället skulle nätverket kunna fungera med en nästan exakt, eller "sluten form", lösning som i princip kunde utarbetas med penna och papper. Vanligtvis har dessa olinjära ekvationer inga slutna lösningar, men Hasani hittade en ungefärlig lösning som var tillräckligt bra för att använda.

"Att ha en sluten lösning innebär att du har en ekvation som du kan koppla in värdena för dess parametrar och göra den grundläggande matematiken, och du får ett svar," sa Rus. "Du får ett svar på ett enda skott," snarare än att låta en dator mala iväg tills du bestämmer dig för att den är tillräckligt nära. Det minskar beräkningstid och energi, vilket påskyndar processen avsevärt.

"Deras metod slår konkurrenterna med flera storleksordningar utan att offra noggrannheten," sa Sayan Mitra, en datavetare vid University of Illinois, Urbana-Champaign.

Förutom att de är snabbare, sa Hasani, är deras nyaste nätverk också ovanligt stabila, vilket innebär att systemet kan hantera enorma ingångar utan att gå för hårt. "Det huvudsakliga bidraget här är att stabilitet och andra trevliga egenskaper är inbakade i dessa system genom sin rena struktur," sa Sriram Sankaranarayanan, en datavetare vid University of Colorado, Boulder. Flytande nätverk verkar fungera i vad han kallade "the sweet spot: De är tillräckligt komplexa för att tillåta intressanta saker att hända, men inte så komplexa att de leder till kaotiskt beteende."

För tillfället testar MIT-gruppen sitt senaste nätverk på en autonom flygdrönare. Även om drönaren tränades för att navigera i en skog, har de flyttat den till stadsmiljön i Cambridge för att se hur den hanterar nya förhållanden. Lechner kallade de preliminära resultaten uppmuntrande.

Utöver att förfina den nuvarande modellen arbetar teamet också med att förbättra nätverkets arkitektur. Nästa steg, sa Lechner, "är att ta reda på hur många, eller hur få, neuroner vi faktiskt behöver för att utföra en given uppgift." Gruppen vill också ta fram ett optimalt sätt att koppla ihop neuroner. För närvarande länkar varje neuron till alla andra neuron, men det är inte så det fungerar i C. elegans, där synaptiska anslutningar är mer selektiva. Genom ytterligare studier av spolmaskens ledningssystem hoppas de kunna avgöra vilka nervceller i deras system som ska kopplas samman.

Förutom applikationer som autonom körning och flygning verkar flytande nätverk väl lämpade för analys av elnät, finansiella transaktioner, väder och andra fenomen som fluktuerar över tiden. Dessutom, sa Hasani, kan den senaste versionen av vätskenätverk användas "för att utföra hjärnaktivitetssimuleringar i en skala som inte tidigare var realiserbar."

Mitra är särskilt fascinerad av denna möjlighet. "På sätt och vis är det lite poetiskt, vilket visar att den här forskningen kan komma i full cirkel," sa han. "Neurala nätverk utvecklas till den grad att just de idéer vi har hämtat från naturen snart kan hjälpa oss att förstå naturen bättre."