Det er berømt svært at forudsige komplekse systemer som vejret. Men i det mindste ændrer vejrets styrende ligninger sig ikke fra den ene dag til den anden. I modsætning hertil kan visse komplekse systemer gennemgå "tipping point"-overgange, og pludselig ændre deres adfærd dramatisk og måske irreversibelt, med lidt advarsel og potentielt katastrofale konsekvenser.
På lange nok tidsskalaer er de fleste systemer i den virkelige verden sådan. Overvej Golfstrømmen i Nordatlanten, som transporterer varmt ækvatorialvand nordpå som en del af et oceanisk transportbånd, der hjælper med at regulere Jordens klima. Ligningerne, der beskriver disse cirkulerende strømme, ændrer sig langsomt på grund af tilstrømningen af ferskvand fra smeltende iskapper. Hidtil er cirkulationen gradvist aftaget, men årtier fra nu kan den brat gå i stå.
"Antag, at alt er i orden nu," sagde Ying-Cheng Lai, en fysiker ved Arizona State University. "Hvordan ved du, at det ikke vil være i orden i fremtiden?"
I en række nyere artikler har forskere vist, at maskinlæringsalgoritmer kan forudsige overgange til vendepunkt i arketypiske eksempler på sådanne "ikke-stationære" systemer, såvel som funktioner i deres adfærd, efter at de har tippet. De overraskende kraftfulde nye teknikker kunne en dag finde anvendelse inden for klimavidenskab, økologi, epidemiologi og mange andre områder.
En bølge af interesse for problemet begyndte for fire år siden med banebrydende resultater fra gruppen af Edward Ott, en førende kaosforsker ved University of Maryland. Otts team fandt ud af, at en type maskinlæringsalgoritme kaldet et tilbagevendende neuralt netværk kunne forudsige udviklingen af stationære kaotiske systemer (som ikke har vippepunkter) forbløffende langt ud i fremtiden. Netværket stolede kun på registreringer af det kaotiske systems tidligere adfærd - det havde ingen information om de underliggende ligninger.
Netværkets læringstilgang adskilte sig fra dybe neurale netværk, som leverer data gennem en høj stak af lag af kunstige neuroner til opgaver som talegenkendelse og naturlig sprogbehandling. Alle neurale netværk lærer ved at justere styrken af forbindelserne mellem deres neuroner som svar på træningsdata. Ott og hans samarbejdspartnere brugte en mindre beregningsmæssigt dyr træningsmetode kaldet reservoir computing, som kun justerer nogle få forbindelser i et enkelt lag af kunstige neuroner. På trods af sin enkelhed synes reservoir-beregning at være egnet til opgaven med at forudsige kaotisk evolution.
Hvor imponerende resultaterne fra 2018 end var, havde forskerne mistanke om, at maskinlærings datadrevne tilgang ikke ville være i stand til at forudsige overgange til vendepunkt i ikke-stationære systemer eller udlede, hvordan disse systemer ville opføre sig bagefter. Et neuralt netværk træner på tidligere data om et system i udvikling, men "det, der sker i fremtiden, udvikler sig efter forskellige regler," sagde Ott. Det er som at forsøge at forudsige resultatet af en baseballkamp for kun at finde ud af, at det er blevet til en cricketkamp.
Og alligevel har Otts gruppe og flere andre i de sidste to år vist, at reservoirberegning også fungerer uventet godt for disse systemer.
In et 2021 papir, Lai og samarbejdspartnere gav deres reservoir-beregningsalgoritme adgang til den langsomt drivende værdi af en parameter, der til sidst ville sende et modelsystem over et vippepunkt - men de gav ingen anden information om systemets styrende ligninger. Denne situation vedrører en række scenarier i den virkelige verden: Vi ved, hvordan kuldioxidkoncentrationen i atmosfæren stiger, for eksempel, men vi ved ikke alle måder, hvorpå denne variabel vil påvirke klimaet. Holdet fandt ud af, at et neuralt netværk trænet på tidligere data kunne forudsige den værdi, hvorved systemet til sidst ville blive ustabilt. Otts gruppe offentliggjort relaterede resultater sidste år.
I en nyt papir, lagt ud online i juli og gennemgår nu peer review, Ott og hans kandidatstuderende Dhruvit Patel udforsket forudsigelseskraften i neurale netværk, der kun ser et systems adfærd og ikke ved noget om den underliggende parameter, der er ansvarlig for at drive en overgang til et vendepunkt. De fodrede deres neurale netværksdata optaget i et simuleret system, mens den skjulte parameter drev, uden at netværket vidste det. Bemærkelsesværdigt kunne algoritmen i mange tilfælde både forudsige begyndelsen af tipping og give en sandsynlighedsfordeling af mulig post-tipping-point adfærd.
Overraskende nok klarede netværket sig bedst, når det blev trænet på støjende data. Støj er allestedsnærværende i systemer i den virkelige verden, men det forhindrer normalt forudsigelse. Her hjalp det, tilsyneladende ved at udsætte algoritmen for en bredere vifte af systemets mulige adfærd. For at drage fordel af dette kontraintuitive resultat justerede Patel og Ott deres reservoirberegningsprocedure for at gøre det muligt for det neurale netværk at genkende støj såvel som systemets gennemsnitlige adfærd. "Det vil være vigtigt for enhver tilgang, der forsøger at ekstrapolere" opførselen af ikke-stationære systemer, sagde Michael Graham, en væskedynamiker ved University of Wisconsin, Madison.
Patel og Ott betragtede også en klasse af vendepunkter, der markerer en særlig stærk ændring i adfærd.
Antag, at et systems tilstand er plottet som et punkt, der bevæger sig rundt i et abstrakt rum af alle dets mulige tilstande. Systemer, der gennemgår regelmæssige cyklusser, ville spore en gentagen bane i rummet, mens kaotisk evolution ville ligne et sammenfiltret rod. Et vendepunkt kan få en bane til at spiral ud af kontrol, men forbliver i den samme del af plottet, eller det kan forårsage, at den oprindelige kaotiske bevægelse løber ud i et større område. I disse tilfælde kan et neuralt netværk finde antydninger af systemets skæbne kodet i dets tidligere udforskning af relevante områder af statens rum.
Mere udfordrende er overgange, hvor et system pludselig udstødes fra en region, og dets senere udvikling udfolder sig i en fjern region. "Ikke kun dynamikken ændrer sig, men nu vandrer du ind i territorium, du aldrig nogensinde har set," forklarede Patel. Sådanne overgange er typisk "hysteretiske", hvilket betyder, at de ikke let vendes - selv hvis f.eks. en langsomt stigende parameter, der forårsagede overgangen, skubbes ned igen. Denne form for hysterese er almindelig: Dræb f.eks. et for mange toprovdyr i et økosystem, og den ændrede dynamik kan få byttedyrpopulationen til pludselig at eksplodere; tilføje et rovdyr tilbage igen, og byttedyrbestanden forbliver forhøjet.
Da de blev trænet på data fra et system, der udviser en hysteretisk overgang, var Patel og Otts reservoirberegningsalgoritme i stand til at forudsige et forestående vendepunkt, men den fik timingen forkert og kunne ikke forudsige systemets efterfølgende adfærd. Forskerne prøvede derefter en hybrid tilgang, der kombinerer maskinlæring og konventionel vidensbaseret modellering af systemet. De fandt ud af, at hybridalgoritmen oversteg summen af dens dele: Den kunne forudsige statistiske egenskaber for fremtidig adfærd, selv når den vidensbaserede model havde forkerte parameterværdier og derfor fejlede alene.
Snart Hoe Lim, en maskinlæringsforsker ved Nordisk Institut for Teoretisk Fysik i Stockholm, som har studeret den kortsigtede opførsel af ikke-stationære systemer, håber, at det nylige arbejde vil "tjene som en katalysator for yderligere undersøgelser", herunder sammenligninger mellem ydeevnen af reservoirberegning og det af dyb læring algoritmer. Hvis reservoir computing kan holde stand mod mere ressourcekrævende metoder, ville det love godt for udsigten til at studere vippepunkter i store, komplekse systemer som økosystemer og Jordens klima.
"Der er meget at gøre på dette område," sagde Ott. "Den er virkelig åben."
