Napovedovanje kompleksnih sistemov, kot je vreme, je znano težko. Toda vsaj vremenske enačbe se ne spreminjajo iz dneva v dan. Nasprotno pa lahko nekateri zapleteni sistemi doživijo prehode "prelomne točke", kar nenadoma dramatično in morda nepovratno spremeni njihovo vedenje, z majhnim opozorilom in potencialno katastrofalnimi posledicami.
V dovolj dolgih časovnih okvirih je večina sistemov v resničnem svetu takšnih. Razmislite o Zalivskem toku v severnem Atlantiku, ki prenaša toplo ekvatorialno vodo proti severu kot del oceanskega tekočega traku, ki pomaga uravnavati podnebje na Zemlji. Enačbe, ki opisujejo te krožne tokove, se počasi spreminjajo zaradi dotoka sveže vode iz talečih se ledenih plošč. Doslej se je kroženje postopoma upočasnilo, čez desetletja pa se lahko nenadoma ustavi.
"Recimo, da je zdaj vse v redu," je rekel Ying-Cheng Lai, fizik na univerzi Arizona State. "Kako veste, da v prihodnosti ne bo v redu?"
V vrsti nedavnih člankov so raziskovalci pokazali, da lahko algoritmi strojnega učenja napovejo prehode prelomnih točk v arhetipskih primerih takšnih "nestacionarnih" sistemov, pa tudi značilnosti njihovega vedenja, potem ko se prevrnejo. Presenetljivo močne nove tehnike bi lahko nekega dne našle uporabo v znanosti o podnebju, ekologija, epidemiologijo in številna druga področja.
Vzpon zanimanja za problem se je začel pred štirimi leti z prelomni rezultati iz skupine Edvard Ott, vodilni raziskovalec kaosa na Univerzi v Marylandu. Ottova ekipa je ugotovila, da lahko vrsta algoritma strojnega učenja, imenovanega ponavljajoče se nevronske mreže, napove razvoj stacionarnih kaotičnih sistemov (ki nimajo prelomnih točk) osupljivo daleč v prihodnost. Omrežje se je zanašalo samo na zapise o preteklem obnašanju kaotičnega sistema - ni imelo informacij o osnovnih enačbah.
Učni pristop omrežja se je razlikoval od pristopa globokih nevronskih mrež, ki podajajo podatke skozi visok kup plasti umetnih nevronov za naloge, kot sta prepoznavanje govora in obdelava naravnega jezika. Vse nevronske mreže se učijo s prilagajanjem moči povezav med svojimi nevroni kot odgovor na podatke o usposabljanju. Ott in njegovi sodelavci so uporabili manj računalniško drago metodo usposabljanja, imenovano rezervoarsko računalništvo, ki prilagodi le nekaj povezav v eni sami plasti umetnih nevronov. Kljub svoji preprostosti se zdi, da je računalništvo rezervoarjev primerno za nalogo napovedovanja kaotičnega razvoja.
Čeprav so bili rezultati leta 2018 impresivni, so raziskovalci domnevali, da pristop strojnega učenja, ki temelji na podatkih, ne bo mogel predvideti prehodov prelomnih točk v nestacionarnih sistemih ali sklepati, kako se bodo ti sistemi obnašali pozneje. Nevronska mreža se usposablja na preteklih podatkih o razvijajočem se sistemu, toda "kar se dogaja v prihodnosti, se razvija po drugačnih pravilih," je dejal Ott. To je tako, kot da bi poskušali napovedati izid bejzbolske tekme in ugotoviti, da se je spremenila v tekmo kriketa.
Pa vendar je v zadnjih dveh letih Ottova skupina in več drugih pokazalo, da računalništvo z rezervoarji deluje nepričakovano dobro tudi za te sisteme.
In papir 2021, Lai in sodelavci so svojemu računalniškemu algoritmu rezervoarja omogočili dostop do počasi padajoče vrednosti parametra, ki bi sčasoma poslal modelni sistem čez prelomno točko - vendar niso zagotovili nobenih drugih informacij o enačbah upravljanja sistema. Ta situacija se nanaša na številne scenarije iz resničnega sveta: Vemo, kako na primer koncentracija ogljikovega dioksida v ozračju narašča, vendar ne vemo vseh načinov, kako bo ta spremenljivka vplivala na podnebje. Ekipa je ugotovila, da lahko nevronska mreža, usposobljena na preteklih podatkih, napove vrednost, pri kateri bo sistem sčasoma postal nestabilen. Ottova skupina je objavila povezanih rezultatov lansko leto.
V nov papir, objavljen na spletu julija in je zdaj v medsebojnem pregledu, Ott in njegov podiplomski študent Dhruvit Patel raziskovali napovedno moč nevronskih mrež, ki vidijo samo vedenje sistema in ne vedo ničesar o osnovnem parametru, ki je odgovoren za spodbujanje prehoda prelomne točke. Svojo nevronsko mrežo so hranili s podatki, posnetimi v simuliranem sistemu, medtem ko se je skriti parameter premikal, ne da bi omrežje vedelo. Zanimivo je, da bi algoritem v mnogih primerih lahko napovedal začetek prevrnitve in zagotovil porazdelitev verjetnosti možnega vedenja po prelomni točki.
Presenetljivo je, da se je omrežje najbolje obneslo, ko je bilo trenirano na šumnih podatkih. Hrup je vseprisoten v sistemih resničnega sveta, vendar običajno ovira napovedovanje. Tukaj je pomagalo, očitno tako, da je algoritem izpostavil širšemu obsegu možnega obnašanja sistema. Da bi izkoristila ta kontraintuitivni rezultat, sta Patel in Ott prilagodila svoj postopek izračunavanja rezervoarja, da bi nevronski mreži omogočila prepoznavanje hrupa in povprečnega obnašanja sistema. "To bo pomembno za vsak pristop, ki poskuša ekstrapolirati" obnašanje nestacionarnih sistemov, je dejal Michael Graham, dinamik tekočin na Univerzi Wisconsin v Madisonu.
Patel in Ott sta upoštevala tudi vrsto prelomnih točk, ki označujejo posebno močno spremembo v vedenju.
Recimo, da je stanje sistema narisano kot točka, ki se giblje v abstraktnem prostoru vseh možnih stanj. Sistemi, ki so podvrženi rednim ciklom, bi zarisali ponavljajočo se orbito v vesolju, medtem ko bi kaotična evolucija izgledala kot zapletena zmešnjava. Prelomna točka lahko povzroči, da orbita uide izpod nadzora, vendar ostane v istem delu ploskve, ali pa povzroči, da se sprva kaotično gibanje razlije v večje območje. V teh primerih lahko nevronska mreža najde namige o usodi sistema, kodirane v preteklem raziskovanju ustreznih regij državnega prostora.
Bolj zahtevni so prehodi, pri katerih je sistem nenadoma izgnan iz ene regije in se njegov kasnejši razvoj odvija v oddaljeni regiji. »Ne samo, da se spreminja dinamika, ampak zdaj tavate na ozemlju, ki ga še niste videli,« je pojasnil Patel. Takšni prehodi so običajno "histeretični", kar pomeni, da jih ni enostavno obrniti - tudi če se, recimo, počasi naraščajoči parameter, ki je povzročil prehod, ponovno potisne navzdol. Ta vrsta histereze je pogosta: če na primer ubijete enega preveč vrhunskih plenilcev v ekosistemu, spremenjena dinamika lahko povzroči nenadno eksplozijo populacije plena; znova dodamo plenilca in populacija plena ostane povišana.
Pri usposabljanju na podatkih iz sistema, ki kaže histerezični prehod, je Patelov in Ottov računalniški algoritem rezervoarja lahko napovedal neizbežno prelomno točko, vendar se je zmotil s časom in ni uspel predvideti nadaljnjega vedenja sistema. Raziskovalci so nato preizkusili hibridni pristop, ki združuje strojno učenje in konvencionalno modeliranje sistema, ki temelji na znanju. Ugotovili so, da je hibridni algoritem presegel vsoto svojih delov: lahko je napovedal statistične lastnosti prihodnjega vedenja, tudi če je imel model, ki temelji na znanju, nepravilne vrednosti parametrov in je zato odpovedal sam.
Kmalu Hoe Lim, raziskovalec strojnega učenja na Nordijskem inštitutu za teoretično fiziko v Stockholmu, ki je preučeval kratkoročno obnašanje nestacionarnih sistemov, upa, da bo nedavno delo "služilo kot katalizator za nadaljnje študije", vključno s primerjavami med zmogljivostjo računalništva rezervoarjev in da od globoko učenje algoritmi. Če se lahko računalništvo z rezervoarji obdrži proti metodam, ki zahtevajo več virov, bi bilo to dobro za možnost proučevanja prelomnih točk v velikih, kompleksnih sistemih, kot so ekosistemi in zemeljsko podnebje.
"Na tem področju je treba narediti veliko," je dejal Ott. "Res je na široko odprto."
