Att förutsäga komplexa system som vädret är bekant svårt. Men åtminstone vädrets styrande ekvationer förändras inte från en dag till en annan. Däremot kan vissa komplexa system genomgå "tipping point"-övergångar och plötsligt förändra sitt beteende dramatiskt och kanske oåterkalleligt, med liten varning och potentiellt katastrofala konsekvenser.
På tillräckligt långa tidsskalor är de flesta verkliga system så här. Tänk på Golfströmmen i Nordatlanten, som transporterar varmt ekvatorialvatten norrut som en del av ett oceaniskt transportband som hjälper till att reglera jordens klimat. Ekvationerna som beskriver dessa cirkulerande strömmar förändras långsamt på grund av inflödet av färskvatten från smältande inlandsisar. Hittills har cirkulationen avtagit gradvis, men om decennier kan den plötsligt stanna upp.
"Anta att allt är ok nu," sa Ying-Cheng Lai, en fysiker vid Arizona State University. "Hur vet du att det inte kommer att vara ok i framtiden?"
I en serie nya artiklar har forskare visat att maskininlärningsalgoritmer kan förutsäga tipppunktsövergångar i arketypiska exempel på sådana "icke-stationära" system, såväl som egenskaper hos deras beteende efter att de har tippat. De förvånansvärt kraftfulla nya teknikerna kan en dag hitta tillämpningar inom klimatvetenskap, ekologi, epidemiologi och många andra områden.
Ett uppsving av intresse för problemet började för fyra år sedan med banbrytande resultat från gruppen av Edward Ott, en ledande kaosforskare vid University of Maryland. Otts team fann att en typ av maskininlärningsalgoritm som kallas ett återkommande neuralt nätverk kunde förutsäga utvecklingen av stationära kaotiska system (som inte har tipppunkter) fantastiskt långt in i framtiden. Nätverket förlitade sig endast på uppgifter om det kaotiska systemets tidigare beteende - det hade ingen information om de underliggande ekvationerna.
Nätverkets inlärningsmetod skiljde sig från den för djupa neurala nätverk, som matar data genom en hög hög med lager av artificiella neuroner för uppgifter som taligenkänning och naturlig språkbehandling. Alla neurala nätverk lär sig genom att justera styrkan på kopplingarna mellan deras neuroner som svar på träningsdata. Ott och hans medarbetare använde en mindre beräkningsmässigt dyr träningsmetod som kallas reservoarberäkning, som bara justerar ett fåtal anslutningar i ett enda lager av artificiella neuroner. Trots sin enkelhet verkar reservoarberäkning vara lämplig för uppgiften att förutsäga kaotisk evolution.
Så imponerande som resultaten från 2018 var, misstänkte forskare att maskininlärningens datadrivna tillvägagångssätt inte skulle kunna förutsäga tipppunktsövergångar i icke-stationära system eller sluta sig till hur dessa system skulle bete sig efteråt. Ett neuralt nätverk tränar på tidigare data om ett utvecklande system, men "vad som händer i framtiden utvecklas av olika regler", sa Ott. Det är som att försöka förutsäga resultatet av en basebollmatch bara för att upptäcka att det har förvandlats till en cricketmatch.
Och ändå, under de senaste två åren, har Otts grupp och flera andra visat att reservoarberäkning fungerar oväntat bra även för dessa system.
In ett 2021-papper, Lai och medarbetare gav sin reservoarberäkningsalgoritm tillgång till det långsamt drivande värdet av en parameter som så småningom skulle skicka ett modellsystem över en tipppunkt - men de gav ingen annan information om systemets styrande ekvationer. Denna situation hänför sig till ett antal verkliga scenarier: Vi vet till exempel hur koldioxidkoncentrationen i atmosfären ökar, men vi vet inte alla sätt som denna variabel kommer att påverka klimatet. Teamet fann att ett neuralt nätverk tränat på tidigare data kunde förutsäga värdet vid vilket systemet så småningom skulle bli instabilt. Otts grupp publicerad relaterade resultat förra året.
I en nytt papper, postad online i juli och genomgår nu kamratgranskning, Ott och hans doktorand Dhruvit Patel utforskade den prediktiva kraften hos neurala nätverk som bara ser ett systems beteende och inte vet någonting om den underliggande parametern som är ansvarig för att driva en tipppunktsövergång. De matade sina neurala nätverksdata inspelade i ett simulerat system medan den dolda parametern drev, utan att nätverket visste det. Anmärkningsvärt nog kan algoritmen i många fall både förutsäga början av tippning och ge en sannolikhetsfördelning av möjliga beteenden efter tipping-point.
Överraskande nog presterade nätverket bäst när det tränades på bullriga data. Brus är allestädes närvarande i verkliga system, men det hindrar vanligtvis förutsägelser. Här hjälpte det, tydligen genom att exponera algoritmen för ett bredare spektrum av systemets möjliga beteende. För att dra fördel av detta kontraintuitiva resultat, justerade Patel och Ott sin reservoarberäkningsprocedur för att göra det möjligt för det neurala nätverket att känna igen brus såväl som systemets genomsnittliga beteende. "Det kommer att vara viktigt för alla tillvägagångssätt som försöker extrapolera" beteendet hos icke-stationära system, sa Michael Graham, en vätskedynamik vid University of Wisconsin, Madison.
Patel och Ott ansåg också en klass av tipppunkter som markerar en särskilt stark förändring i beteende.
Antag att tillståndet för ett system plottas som en punkt som rör sig i ett abstrakt utrymme av alla dess möjliga tillstånd. System som genomgår regelbundna cykler skulle spåra en återkommande bana i rymden, medan kaotisk evolution skulle se ut som en trasslig röra. En tipppunkt kan få en bana att spiralera utom kontroll men förbli i samma del av handlingen, eller så kan det leda till att initialt kaotiska rörelser rinner ut i ett större område. I dessa fall kan ett neuralt nätverk hitta antydningar om systemets öde kodade i dess tidigare utforskning av relevanta regioner i tillståndsrummet.
Mer utmanande är övergångar där ett system plötsligt drivs ut från en region och dess senare utveckling utspelar sig i en avlägsen region. "Det är inte bara dynamiken som förändras, utan nu vandrar du in i ett territorium som du aldrig någonsin sett," förklarade Patel. Sådana övergångar är vanligtvis "hysteretiska", vilket innebär att de inte är lätta att vända - även om, säg, en långsamt ökande parameter som orsakade övergången trycks ned igen. Den här typen av hysteres är vanlig: Döda till exempel ett för många topprovdjur i ett ekosystem, och den förändrade dynamiken kan få bytespopulationen att plötsligt explodera; lägg till ett rovdjur igen och bytespopulationen förblir hög.
När de tränades på data från ett system som uppvisar en hysteretisk övergång, kunde Patel och Otts reservoarberäkningsalgoritm förutsäga en nära förestående tipppunkt, men den fick fel timing och misslyckades med att förutsäga systemets efterföljande beteende. Forskarna provade sedan en hybrid metod som kombinerar maskininlärning och konventionell kunskapsbaserad modellering av systemet. De fann att hybridalgoritmen överskred summan av dess delar: Den kunde förutsäga statistiska egenskaper för framtida beteende även när den kunskapsbaserade modellen hade felaktiga parametervärden och därför misslyckades på egen hand.
Snart Hoe Lim, en maskininlärningsforskare vid Nordiska institutet för teoretisk fysik i Stockholm som har studerat det kortsiktiga beteendet hos icke-stationära system, hoppas att det senaste arbetet kommer att "fungera som en katalysator för ytterligare studier", inklusive jämförelser mellan prestandan för reservoarberäkning och det av djupt lärande algoritmer. Om reservoarberäkning kan hålla sig mot mer resurskrävande metoder, skulle det båda gott för utsikterna att studera tipppunkter i stora, komplexa system som ekosystem och jordens klimat.
"Det finns mycket att göra på det här området," sa Ott. "Det är verkligen vidöppet."
