Het voorspellen van complexe systemen zoals het weer is beroemd moeilijk. Maar de heersende vergelijkingen van het weer veranderen niet van de ene op de andere dag. Daarentegen kunnen bepaalde complexe systemen "tipping point"-overgangen ondergaan, waardoor hun gedrag plotseling drastisch en misschien onomkeerbaar verandert, met weinig waarschuwing en mogelijk catastrofale gevolgen.
Op een tijdschaal die lang genoeg is, zijn de meeste real-world systemen als volgt. Denk aan de Golfstroom in de Noord-Atlantische Oceaan, die warm equatoriaal water naar het noorden transporteert als onderdeel van een oceanische transportband die het klimaat op aarde helpt reguleren. De vergelijkingen die deze circulatiestromen beschrijven, veranderen langzaam door de instroom van zoet water door smeltende ijskappen. Tot nu toe is de circulatie geleidelijk vertraagd, maar over tientallen jaren kan deze abrupt tot stilstand komen.
"Stel dat alles nu in orde is," zei Ying Cheng Lai, een natuurkundige aan de Arizona State University. "Hoe vertel je dat het in de toekomst niet meer goed komt?"
In een reeks recente artikelen hebben onderzoekers aangetoond dat algoritmen voor machinaal leren kantelpuntovergangen kunnen voorspellen in archetypische voorbeelden van dergelijke 'niet-stationaire' systemen, evenals kenmerken van hun gedrag nadat ze zijn omgeslagen. De verrassend krachtige nieuwe technieken zouden ooit toepassingen kunnen vinden in de klimaatwetenschap, ecologie, epidemiologie en vele andere gebieden.
Een golf van interesse in het probleem begon vier jaar geleden met: baanbrekende resultaten uit de groep van Eduard Ott, een vooraanstaand chaosonderzoeker aan de Universiteit van Maryland. Het team van Ott ontdekte dat een type machine learning-algoritme, een terugkerend neuraal netwerk genaamd, de evolutie van stationaire chaotische systemen (die geen omslagpunten hebben) verbluffend ver in de toekomst zou kunnen voorspellen. Het netwerk vertrouwde alleen op gegevens over het gedrag van het chaotische systeem in het verleden - het had geen informatie over de onderliggende vergelijkingen.
De leerbenadering van het netwerk verschilde van die van diepe neurale netwerken, die gegevens door een hoge stapel lagen kunstmatige neuronen voeren voor taken als spraakherkenning en natuurlijke taalverwerking. Alle neurale netwerken leren door de sterkte van de verbindingen tussen hun neuronen aan te passen als reactie op trainingsgegevens. Ott en zijn medewerkers gebruikten een minder rekenkundige trainingsmethode genaamd reservoir computing, die slechts een paar verbindingen in een enkele laag kunstmatige neuronen aanpast. Ondanks zijn eenvoud lijkt reservoircomputing geschikt voor het voorspellen van chaotische evolutie.
Hoe indrukwekkend de resultaten van 2018 ook waren, onderzoekers vermoedden dat de datagestuurde benadering van machine learning niet in staat zou zijn om kantelpuntovergangen in niet-stationaire systemen te voorspellen of af te leiden hoe deze systemen zich daarna zouden gedragen. Een neuraal netwerk traint op gegevens uit het verleden over een evoluerend systeem, maar "wat er in de toekomst gebeurt, evolueert volgens andere regels", zei Ott. Het is alsof je probeert de uitkomst van een honkbalwedstrijd te voorspellen, om te ontdekken dat het is veranderd in een cricketwedstrijd.
En toch hebben de groep van Ott en verschillende anderen de afgelopen twee jaar aangetoond dat reservoircomputing ook voor deze systemen onverwacht goed werkt.
In een 2021-papier, Lai en medewerkers gaven hun reservoircomputing-algoritme toegang tot de langzaam aflopende waarde van een parameter die uiteindelijk een modelsysteem over een omslagpunt zou sturen - maar ze gaven geen andere informatie over de heersende vergelijkingen van het systeem. Deze situatie heeft betrekking op een aantal praktijkscenario's: we weten bijvoorbeeld hoe de kooldioxideconcentratie in de atmosfeer stijgt, maar we weten niet op welke manieren deze variabele het klimaat zal beïnvloeden. Het team ontdekte dat een neuraal netwerk dat is getraind op gegevens uit het verleden, de waarde kon voorspellen waarbij het systeem uiteindelijk onstabiel zou worden. Ott's groep gepubliceerd gerelateerde resultaten vorig jaar.
In een nieuw papier, online geplaatst in juli en nu onderworpen aan peer review, Ott en zijn afgestudeerde student Dhruvit Patel onderzocht de voorspellende kracht van neurale netwerken die alleen het gedrag van een systeem zien en niets weten over de onderliggende parameter die verantwoordelijk is voor het aansturen van een kantelpuntovergang. Ze voedden hun neurale netwerkgegevens die waren opgenomen in een gesimuleerd systeem terwijl de verborgen parameter afdwaalde, buiten het medeweten van het netwerk. Opmerkelijk is dat het algoritme in veel gevallen zowel het begin van kantelen kon voorspellen als een waarschijnlijkheidsverdeling van mogelijk gedrag na het kantelpunt kon bieden.
Verrassend genoeg presteerde het netwerk het beste wanneer het werd getraind op gegevens met veel ruis. Ruis is alomtegenwoordig in real-world systemen, maar belemmert normaal gesproken de voorspelling. Hier hielp het, blijkbaar door het algoritme bloot te stellen aan een breder scala van het mogelijke gedrag van het systeem. Om te profiteren van dit contra-intuïtieve resultaat, hebben Patel en Ott hun reservoirberekeningsprocedure aangepast om het neurale netwerk in staat te stellen zowel ruis als het gemiddelde gedrag van het systeem te herkennen. "Dat zal belangrijk zijn voor elke benadering die probeert het gedrag van niet-stationaire systemen te extrapoleren", zei Michael Graham, een vloeistofdynamicus aan de Universiteit van Wisconsin, Madison.
Patel en Ott beschouwden ook een klasse van kantelpunten die een bijzonder sterke gedragsverandering markeren.
Stel dat de toestand van een systeem is uitgezet als een punt dat zich beweegt in een abstracte ruimte van al zijn mogelijke toestanden. Systemen die regelmatige cycli ondergaan, zouden een zich herhalende baan in de ruimte uitstippelen, terwijl chaotische evolutie eruit zou zien als een verwarde puinhoop. Een omslagpunt kan ervoor zorgen dat een baan uit de hand loopt, maar in hetzelfde deel van de plot blijft, of het kan een aanvankelijk chaotische beweging veroorzaken in een groter gebied. In deze gevallen kan een neuraal netwerk hints vinden van het lot van het systeem gecodeerd in zijn eerdere verkenning van relevante regio's van de toestandsruimte.
Uitdagender zijn overgangen waarbij een systeem plotseling uit een regio wordt verdreven en de latere evolutie zich ontvouwt in een verre regio. "Niet alleen is de dynamiek aan het veranderen, maar nu dwaal je af in een gebied dat je nog nooit hebt gezien", legt Patel uit. Dergelijke overgangen zijn typisch 'hysterisch', wat betekent dat ze niet gemakkelijk kunnen worden teruggedraaid - zelfs als bijvoorbeeld een langzaam toenemende parameter die de overgang veroorzaakte, weer naar beneden wordt geduwd. Dit soort hysterese komt vaak voor: dood bijvoorbeeld een te veel toproofdieren in een ecosysteem, en de veranderde dynamiek kan ertoe leiden dat de prooipopulatie plotseling explodeert; voeg weer een roofdier toe en de prooipopulatie blijft hoog.
Toen het werd getraind op gegevens van een systeem dat een hysteretische overgang vertoonde, kon het reservoircomputingalgoritme van Patel en Ott een naderend kantelpunt voorspellen, maar het had de timing verkeerd en kon het daaropvolgende gedrag van het systeem niet voorspellen. De onderzoekers probeerden vervolgens een hybride benadering die machine learning combineert met conventionele, op kennis gebaseerde modellering van het systeem. Ze ontdekten dat het hybride algoritme de som der delen overschreed: het kon statistische eigenschappen van toekomstig gedrag voorspellen, zelfs wanneer het op kennis gebaseerde model onjuiste parameterwaarden had en daarom op zichzelf faalde.
Binnenkort Hoe Lim, een machine learning-onderzoeker aan het Nordic Institute for Theoretical Physics in Stockholm die het kortetermijngedrag van niet-stationaire systemen heeft bestudeerd, hoopt dat het recente werk "zal dienen als een katalysator voor verdere studies", inclusief vergelijkingen tussen de prestaties van reservoircomputing en die van diepgaand leren algoritmen. Als reservoir computing stand kan houden tegen meer hulpbronnenintensieve methoden, zou dat een goed voorteken zijn voor het vooruitzicht om kantelpunten te bestuderen in grote, complexe systemen zoals ecosystemen en het klimaat op aarde.
"Er is veel te doen op dit gebied," zei Ott. "Het is echt wijd open."
