Å forutsi komplekse systemer som været er kjent vanskelig. Men værets styrende ligninger endres i det minste ikke fra den ene dagen til den andre. I motsetning til dette kan visse komplekse systemer gjennomgå "tipping point"-overganger, og plutselig endre atferden dramatisk og kanskje irreversibelt, med liten advarsel og potensielt katastrofale konsekvenser.
På lange nok tidsskalaer er de fleste systemer i den virkelige verden slik. Tenk på Golfstrømmen i Nord-Atlanteren, som transporterer varmt ekvatorialvann nordover som en del av et oseanisk transportbånd som hjelper til med å regulere jordens klima. Ligningene som beskriver disse sirkulerende strømmene endrer seg sakte på grunn av tilstrømningen av ferskvann fra smeltende isdekker. Så langt har sirkulasjonen avtatt gradvis, men flere tiår fra nå kan den brått stoppe opp.
"Anta at alt er i orden nå," sa Ying-Cheng Lai, fysiker ved Arizona State University. "Hvordan forteller du at det ikke kommer til å gå bra i fremtiden?"
I en serie nyere artikler har forskere vist at maskinlæringsalgoritmer kan forutsi overganger til vippepunkt i arketypiske eksempler på slike "ikke-stasjonære" systemer, så vel som funksjoner ved deres oppførsel etter at de har tippet. De overraskende kraftige nye teknikkene kan en dag finne anvendelser innen klimavitenskap, økologi, epidemiologi og mange andre felt.
En bølge av interesse for problemet begynte for fire år siden med banebrytende resultater fra gruppen av Edvard Ott, en ledende kaosforsker ved University of Maryland. Otts team fant ut at en type maskinlæringsalgoritme kalt et tilbakevendende nevralt nettverk kunne forutsi utviklingen av stasjonære kaotiske systemer (som ikke har vippepunkter) forbløffende langt inn i fremtiden. Nettverket stolte bare på registreringer av det kaotiske systemets tidligere oppførsel - det hadde ingen informasjon om de underliggende ligningene.
Nettverkets læringstilnærming skilte seg fra dype nevrale nettverk, som mater data gjennom en høy stabel av lag med kunstige nevroner for oppgaver som talegjenkjenning og naturlig språkbehandling. Alle nevrale nettverk lærer ved å justere styrken på forbindelsene mellom nevronene deres som svar på treningsdata. Ott og hans samarbeidspartnere brukte en mindre beregningsmessig kostbar treningsmetode kalt reservoarberegning, som justerer bare noen få forbindelser i et enkelt lag med kunstige nevroner. Til tross for sin enkelhet, synes reservoardatabehandling egnet til oppgaven med å forutsi kaotisk evolusjon.
Uansett hvor imponerende resultatene fra 2018 var, mistenkte forskere at maskinlærings datadrevne tilnærming ikke ville være i stand til å forutsi vippepunktoverganger i ikke-stasjonære systemer eller utlede hvordan disse systemene ville oppføre seg etterpå. Et nevralt nettverk trener på tidligere data om et system i utvikling, men "det som skjer i fremtiden utvikler seg etter forskjellige regler," sa Ott. Det er som å prøve å forutsi utfallet av en baseballkamp bare for å finne ut at det har blitt en cricketkamp.
Og likevel, i løpet av de siste to årene, har Otts gruppe og flere andre vist at reservoardatabehandling fungerer uventet bra også for disse systemene.
In et 2021-papir, Lai og samarbeidspartnere ga deres reservoarberegningsalgoritme tilgang til den sakte drivende verdien til en parameter som til slutt ville sende et modellsystem over et vippepunkt - men de ga ingen annen informasjon om systemets styrende ligninger. Denne situasjonen gjelder en rekke virkelige scenarier: Vi vet hvordan karbondioksidkonsentrasjonen i atmosfæren øker, for eksempel, men vi vet ikke alle måtene denne variabelen vil påvirke klimaet på. Teamet fant ut at et nevralt nettverk trent på tidligere data kunne forutsi verdien som systemet til slutt ville bli ustabilt med. Otts gruppe publisert relaterte resultater i fjor.
I en nytt papir, lagt ut på nettet i juli og nå under fagfellevurdering, Ott og hans hovedfagsstudent Dhruvit Patel utforsket prediksjonskraften til nevrale nettverk som bare ser et systems oppførsel og ikke vet noe om den underliggende parameteren som er ansvarlig for å drive en vippepunktovergang. De matet sine nevrale nettverksdata registrert i et simulert system mens den skjulte parameteren drev, uten at nettverket visste det. Bemerkelsesverdig nok kan algoritmen i mange tilfeller både forutsi begynnelsen av tipping og gi en sannsynlighetsfordeling av mulig post-tipping-point-atferd.
Overraskende nok presterte nettverket best når det ble trent på støyende data. Støy er allestedsnærværende i virkelige systemer, men det hindrer vanligvis prediksjon. Her hjalp det, tilsynelatende ved å eksponere algoritmen for et bredere spekter av systemets mulige oppførsel. For å dra nytte av dette kontraintuitive resultatet, finjusterte Patel og Ott deres reservoarberegningsprosedyre for å gjøre det mulig for det nevrale nettverket å gjenkjenne støy så vel som systemets gjennomsnittlige oppførsel. "Det kommer til å være viktig for enhver tilnærming som prøver å ekstrapolere" oppførselen til ikke-stasjonære systemer, sa Michael Graham, en væskedynamiker ved University of Wisconsin, Madison.
Patel og Ott betraktet også en klasse med vippepunkter som markerer en spesielt sterk endring i atferd.
Anta at tilstanden til et system er plottet som et punkt som beveger seg rundt i et abstrakt rom av alle dets mulige tilstander. Systemer som gjennomgår regelmessige sykluser ville spore ut en gjentatt bane i rommet, mens kaotisk evolusjon ville se ut som et sammenfiltret rot. Et vippepunkt kan føre til at en bane spiraler ut av kontroll, men forblir i samme del av plottet, eller det kan føre til at den opprinnelige kaotiske bevegelsen renner ut i et større område. I disse tilfellene kan et nevralt nettverk finne hint om systemets skjebne kodet i dets tidligere utforskning av relevante regioner i statsrommet.
Mer utfordrende er overganger der et system plutselig blir utvist fra en region og dens senere utvikling utspiller seg i en fjern region. "Ikke bare er dynamikken i endring, men nå vandrer du inn i territorium du aldri har sett," forklarte Patel. Slike overganger er vanligvis "hysteretiske", noe som betyr at de ikke lett reverseres - selv om for eksempel en sakte økende parameter som forårsaket overgangen dyttes ned igjen. Denne typen hysterese er vanlig: Drep ett for mange topprovdyr i et økosystem, for eksempel, og den endrede dynamikken kan føre til at byttedyrbestanden plutselig eksploderer; legge til et rovdyr igjen og byttedyrbestanden forblir høy.
Da de ble trent på data fra et system som viser en hysteretisk overgang, var Patel og Otts reservoarberegningsalgoritme i stand til å forutsi et nært forestående vippepunkt, men den tok feil timing og klarte ikke å forutsi systemets påfølgende oppførsel. Forskerne prøvde deretter en hybrid tilnærming som kombinerer maskinlæring og konvensjonell kunnskapsbasert modellering av systemet. De fant at hybridalgoritmen overskred summen av delene: Den kunne forutsi statistiske egenskaper ved fremtidig atferd selv når den kunnskapsbaserte modellen hadde feil parameterverdier og derfor mislyktes av seg selv.
Snart Hoe Lim, en maskinlæringsforsker ved Nordisk institutt for teoretisk fysikk i Stockholm som har studert kortsiktig oppførsel av ikke-stasjonære systemer, håper det nylige arbeidet vil «tjene som en katalysator for videre studier», inkludert sammenligninger mellom ytelsen til reservoarberegning og det av dyp læring algoritmer. Hvis reservoardatabehandling kan holde seg mot mer ressurskrevende metoder, vil det love godt for utsiktene til å studere vippepunkter i store, komplekse systemer som økosystemer og jordens klima.
"Det er mye å gjøre på dette feltet," sa Ott. "Det er veldig vidåpent."
