Onderzoekers ontdekken een flexibelere benadering van machinaal leren

Onderzoekers op het gebied van kunstmatige intelligentie hebben een reeks successen gevierd neurale netwerken, computerprogramma's die ruwweg nabootsen hoe onze hersenen zijn georganiseerd. Maar ondanks snelle vooruitgang blijven neurale netwerken relatief inflexibel, met weinig vermogen om direct te veranderen of zich aan te passen aan onbekende omstandigheden.

In 2020 leidden twee onderzoekers van het Massachusetts Institute of Technology een team dat introduceerde een nieuw soort neuraal netwerk gebaseerd op real-life intelligentie - maar niet de onze. In plaats daarvan lieten ze zich inspireren door de kleine rondworm, Caenorhabditis elegans, om zogenaamde vloeibare neurale netwerken te produceren. Na een doorbraak vorig jaar zijn de nieuwe netwerken nu misschien veelzijdig genoeg om hun traditionele tegenhangers voor bepaalde toepassingen te vervangen.

Vloeibare neurale netwerken bieden "een elegant en compact alternatief", zei Ken Goudberg, een roboticus aan de University of California, Berkeley. Hij voegde eraan toe dat experimenten al aantonen dat deze netwerken sneller en nauwkeuriger kunnen werken dan andere zogenaamde continue-tijd neurale netwerken, die systemen modelleren die in de loop van de tijd variëren.

Ramin Hasani en Mathias Lechner, de drijvende krachten achter het nieuwe ontwerp, beseften dat jaren geleden C. elegans zou een ideaal organisme kunnen zijn om uit te zoeken hoe veerkrachtige neurale netwerken kunnen worden gemaakt die verrassingen kunnen opvangen. De millimeterlange bodemvoeder is een van de weinige wezens met een volledig in kaart gebracht zenuwstelsel en is in staat tot een reeks geavanceerde gedragingen: bewegen, voedsel vinden, slapen, paren en zelfs leren van ervaring. "Het leeft in de echte wereld, waar altijd verandering plaatsvindt, en het kan goed presteren onder bijna alle omstandigheden", zei Lechner.

Respect voor de nederige worm leidde hem en Hasani naar hun nieuwe vloeibare netwerken, waar elk neuron wordt bestuurd door een vergelijking die zijn gedrag in de loop van de tijd voorspelt. En net zoals neuronen aan elkaar gekoppeld zijn, zijn deze vergelijkingen van elkaar afhankelijk. Het netwerk lost in wezen dit hele ensemble van gekoppelde vergelijkingen op, waardoor het de toestand van het systeem op elk moment kan karakteriseren - een afwijking van traditionele neurale netwerken, die alleen de resultaten op bepaalde momenten in de tijd geven.

"[Ze] kunnen je alleen vertellen wat er gebeurt na één, twee of drie seconden," zei Lechner. "Maar een continu-tijdmodel zoals het onze kan beschrijven wat er aan de hand is op 0.53 seconden of 2.14 seconden of een andere tijd die je kiest."

Vloeibare netwerken verschillen ook in de manier waarop ze synapsen behandelen, de verbindingen tussen kunstmatige neuronen. De sterkte van die verbindingen in een standaard neuraal netwerk kan worden uitgedrukt door een enkel getal, het gewicht. In vloeibare netwerken is de uitwisseling van signalen tussen neuronen een probabilistisch proces dat wordt bestuurd door een "niet-lineaire" functie, wat betekent dat reacties op invoer niet altijd evenredig zijn. Een verdubbeling van de input kan bijvoorbeeld leiden tot een veel grotere of kleinere verschuiving in de output. Deze ingebouwde variabiliteit is de reden waarom de netwerken "vloeibaar" worden genoemd. De manier waarop een neuron reageert kan variëren, afhankelijk van de input die het ontvangt.

Hoewel de algoritmen die de kern vormen van traditionele netwerken tijdens de training worden ingesteld, zijn vloeibare neurale netwerken beter aanpasbaar wanneer deze systemen massa's gegevens krijgen om de beste waarden voor hun gewicht te kalibreren. "Ze zijn in staat om hun onderliggende vergelijkingen te veranderen op basis van de input die ze waarnemen", met name door te veranderen hoe snel neuronen reageren, zei Daniël Rus, de directeur van MIT's Computer Science and Artificial Intelligence Laboratory.

Een vroege test om dit vermogen te demonstreren, betrof een poging om een ​​autonome auto te besturen. Een conventioneel neuraal netwerk kan alleen met vaste tussenpozen visuele gegevens van de camera van de auto analyseren. Het vloeibare netwerk - bestaande uit 19 neuronen en 253 synapsen (waardoor het minuscuul is volgens de normen van machine learning) - zou kunnen zijn veel responsiever. "Ons model kan vaker monsters nemen, bijvoorbeeld wanneer de weg bochtig is", zegt Rus, een co-auteur van dit en verschillende andere artikelen over vloeibare netwerken.

Het model hield de auto met succes op het goede spoor, maar hij had één fout, zei Lechner: "Hij was erg traag." Het probleem kwam voort uit de niet-lineaire vergelijkingen die de synapsen en neuronen vertegenwoordigen - vergelijkingen die gewoonlijk niet kunnen worden opgelost zonder herhaalde berekeningen op een computer, die meerdere iteraties doorloopt voordat ze uiteindelijk samenkomen in een oplossing. Deze taak wordt doorgaans gedelegeerd aan speciale softwarepakketten, oplossers genaamd, die afzonderlijk op elke synaps en elk neuron moeten worden toegepast.

In een papier vorig jaar, onthulde het team een ​​nieuw vloeibaar neuraal netwerk dat dat knelpunt omzeilde. Dit netwerk was gebaseerd op hetzelfde type vergelijkingen, maar de belangrijkste vooruitgang was een ontdekking door Hasani dat deze vergelijkingen niet hoefden te worden opgelost door moeizame computerberekeningen. In plaats daarvan zou het netwerk kunnen functioneren met behulp van een bijna exacte of 'gesloten vorm'-oplossing die in principe met potlood en papier zou kunnen worden uitgewerkt. Doorgaans hebben deze niet-lineaire vergelijkingen geen oplossingen in gesloten vorm, maar Hasani vond een oplossing bij benadering die goed genoeg was om te gebruiken.

"Het hebben van een oplossing in gesloten vorm betekent dat je een vergelijking hebt waarvoor je de waarden voor de parameters kunt invoeren en de basisberekening kunt uitvoeren, en je krijgt een antwoord", zei Rus. "Je krijgt een antwoord in één keer", in plaats van een computer te laten malen totdat hij besluit dat hij dichtbij genoeg is. Dat scheelt rekentijd en -energie, waardoor het proces aanzienlijk wordt versneld.

"Hun methode verslaat de concurrentie met verschillende ordes van grootte zonder aan nauwkeurigheid in te boeten," zei Sayan Mitra, een computerwetenschapper aan de Universiteit van Illinois, Urbana-Champaign.

Hun nieuwste netwerken zijn niet alleen sneller, zei Hasani, maar ook ongewoon stabiel, wat betekent dat het systeem enorme invoer aankan zonder in de war te raken. "De belangrijkste bijdrage hier is dat stabiliteit en andere mooie eigenschappen in deze systemen worden ingebakken door hun pure structuur," zei Sriram Sankaranarayanan, een computerwetenschapper aan de Universiteit van Colorado, Boulder. Vloeibare netwerken lijken te werken in wat hij 'de goede plek' noemde: ze zijn complex genoeg om interessante dingen te laten gebeuren, maar niet zo complex dat ze tot chaotisch gedrag leiden.

Op dit moment test de MIT-groep hun nieuwste netwerk op een autonome luchtdrone. Hoewel de drone is getraind om in een bos te navigeren, hebben ze hem naar de stedelijke omgeving van Cambridge verplaatst om te zien hoe hij omgaat met nieuwe omstandigheden. Lechner noemde de voorlopige resultaten bemoedigend.

Naast het verfijnen van het huidige model, werkt het team ook aan het verbeteren van de architectuur van hun netwerk. De volgende stap, zei Lechner, "is om erachter te komen hoeveel of hoe weinig neuronen we eigenlijk nodig hebben om een ​​bepaalde taak uit te voeren." De groep wil ook een optimale manier bedenken om neuronen met elkaar te verbinden. Momenteel verbindt elk neuron zich met elk ander neuron, maar zo werkt het niet C. elegans, waar synaptische verbindingen selectiever zijn. Door verdere studies van het bedradingssysteem van de rondworm hopen ze te bepalen welke neuronen in hun systeem aan elkaar moeten worden gekoppeld.

Afgezien van toepassingen als autonoom rijden en vliegen, lijken vloeibare netwerken zeer geschikt voor de analyse van elektriciteitsnetten, financiële transacties, het weer en andere fenomenen die in de loop van de tijd fluctueren. Bovendien, zei Hasani, kan de nieuwste versie van vloeibare netwerken worden gebruikt "om simulaties van hersenactiviteit uit te voeren op een schaal die voorheen niet haalbaar was."

Vooral Mitra is geïntrigeerd door deze mogelijkheid. "In zekere zin is het een beetje poëtisch, het laat zien dat dit onderzoek de cirkel rond kan zijn," zei hij. "Neurale netwerken ontwikkelen zich tot het punt dat de ideeën die we uit de natuur hebben gehaald, ons binnenkort kunnen helpen de natuur beter te begrijpen."