Keeruliste süsteemide, nagu ilm, ennustamine on suurepäraselt keeruline. Kuid vähemalt ei muutu ilmastikku reguleerivad võrrandid päevast päeva. Seevastu teatud keerulised süsteemid võivad läbida pöördepunkti üleminekuid, muutes oma käitumist järsult ja võib-olla ka pöördumatult, ilma hoiatusteta ja potentsiaalselt katastroofiliste tagajärgedega.
Piisavalt pika aja jooksul on enamik reaalmaailma süsteeme sellised. Mõelge Atlandi ookeani põhjaosas asuvale Golfi hoovusele, mis kannab sooja ekvatoriaalvett põhja poole osana ookeanilisest konveierilindist, mis aitab reguleerida Maa kliimat. Neid tsirkuleerivaid voolusid kirjeldavad võrrandid muutuvad aeglaselt sulavatest jäälehtedest tuleneva magevee sissevoolu tõttu. Siiani on ringlus järk-järgult aeglustunud, kuid aastakümnete pärast võib see järsult seiskuda.
"Oletame, et nüüd on kõik korras," ütles Ying-Cheng Lai, Arizona osariigi ülikooli füüsik. "Kuidas sa ütled, et see ei lähe tulevikus korda?"
Mitmetes hiljutistes paberites on teadlased näidanud, et masinõppe algoritmid suudavad ennustada selliste "mittestatsionaarsete" süsteemide arhetüüpsete näidete pöördepunktide üleminekuid, samuti nende käitumise tunnuseid pärast kallutamist. Üllatavalt võimsad uued tehnikad võivad ühel päeval leida rakendusi kliimateaduses, ökoloogia, epidemioloogia ja paljud teised valdkonnad.
Huvi selle probleemi vastu algas neli aastat tagasi murrangulised tulemused rühmast Edward Ott, Marylandi ülikooli juhtiv kaoseuurija. Oti meeskond leidis, et teatud tüüpi masinõppe algoritm, mida nimetatakse korduvaks närvivõrguks, võib ennustada statsionaarsete kaootiliste süsteemide (millel pole pöördepunkte) arengut hämmastavalt kaugele tulevikku. Võrk tugines ainult kaootilise süsteemi varasema käitumise kirjetele - sellel polnud teavet aluseks olevate võrrandite kohta.
Võrgu õppimisviis erines sügavate närvivõrkude omast, mis edastavad andmeid tehisneuronite kõrgete kihtide kaudu selliste ülesannete jaoks nagu kõnetuvastus ja loomuliku keele töötlemine. Kõik närvivõrgud õpivad, kohandades oma neuronite vaheliste ühenduste tugevust vastuseks koolitusandmetele. Ott ja tema kaastöötajad kasutasid arvutuslikult odavamat koolitusmeetodit, mida nimetatakse reservuaariarvutuseks, mis kohandab tehisneuronite ühes kihis vaid üksikuid ühendusi. Vaatamata oma lihtsusele näib reservuaaride arvutamine sobivat kaootilise evolutsiooni ennustamiseks.
Kuigi 2018. aasta tulemused olid muljetavaldavad, kahtlustasid teadlased, et masinõppe andmepõhine lähenemisviis ei suuda ennustada pöördepunktide üleminekuid mittestatsionaarsetes süsteemides ega järeldada, kuidas need süsteemid hiljem käituvad. Närvivõrk treenib areneva süsteemi varasemaid andmeid, kuid "tulevikus toimuv areneb erinevate reeglite järgi," ütles Ott. See on nagu katse ennustada pesapallimängu tulemust, kuid avastades, et see on muutunud kriketimänguks.
Ja ometi on Otti rühm ja mitmed teised viimase kahe aasta jooksul näidanud, et reservuaaride andmetöötlus töötab ka nende süsteemide puhul ootamatult hästi.
In 2021i paber, Lai ja kaastöötajad andsid oma reservuaaride arvutusalgoritmile juurdepääsu parameetri aeglaselt triivivale väärtusele, mis lõpuks saadaks mudelsüsteemi üle pöördepunkti, kuid nad ei andnud muud teavet süsteemi juhtivate võrrandite kohta. See olukord puudutab mitmeid reaalse maailma stsenaariume: me teame, kuidas näiteks süsinikdioksiidi kontsentratsioon atmosfääris tõuseb, kuid me ei tea kõiki viise, kuidas see muutuja kliimat mõjutab. Meeskond leidis, et varasemate andmete põhjal treenitud närvivõrk võib ennustada väärtust, mille juures süsteem lõpuks ebastabiilseks muutub. Oti rühm avaldas seotud tulemused eelmisel aastal.
Aastal uus paber, juulis veebis postitatud ja praegu vastastikuse eksperdihinnangu läbimisel, Ott ja tema magistrant Dhruvit Patel uuris nende närvivõrkude ennustavat jõudu, mis näevad ainult süsteemi käitumist ega tea midagi pöördepunkti ülemineku eest vastutavast parameetrist. Nad andsid oma närvivõrgu andmeid, mis olid salvestatud simuleeritud süsteemis, samal ajal kui peidetud parameeter triivis, võrgule teadmata. Märkimisväärne on see, et paljudel juhtudel võib algoritm nii ennustada kallutamise algust kui ka anda võimaliku kallutuspunktijärgse käitumise tõenäosusjaotuse.
Üllataval kombel toimis võrk kõige paremini, kui seda treeniti mürarikastel andmetel. Müra on reaalsetes süsteemides üldlevinud, kuid tavaliselt takistab see ennustamist. Siin see aitas, ilmselt paljastades algoritmi laiemale süsteemi võimalikule käitumisele. Selle intuitiivse tulemuse ärakasutamiseks kohandasid Patel ja Ott oma reservuaaride arvutamise protseduuri, et võimaldada närvivõrgul tuvastada müra ja ka süsteemi keskmist käitumist. "See on oluline iga lähenemisviisi jaoks, mis püüab ekstrapoleerida mittestatsionaarsete süsteemide käitumist," ütles. Michael Graham, vedelikudünaamika Wisconsini ülikoolis Madisonis.
Patel ja Ott kaalusid ka murdepunkte, mis tähistavad käitumise eriti teravat muutust.
Oletame, et süsteemi olek on kujutatud punktina, mis liigub kõigi selle võimalike olekute abstraktses ruumis. Regulaarseid tsükleid läbivad süsteemid jälgiksid ruumis korduvat orbiiti, samas kui kaootiline evolutsioon näeks välja nagu segane segadus. Pöördepunkt võib põhjustada orbiidi kontrolli alt väljumise, kuid jääda süžee samasse ossa või põhjustada algselt kaootilise liikumise levimist suuremasse piirkonda. Sellistel juhtudel võib närvivõrk leida vihjeid süsteemi saatuse kohta, mis on kodeeritud tema minevikus olekuruumi asjakohaste piirkondade uurimisel.
Väljakutsuvamad on üleminekud, kus süsteem äkitselt ühest piirkonnast välja heidetakse ja selle hilisem areng avaneb kauges piirkonnas. "Mitte ainult dünaamika ei muutu, vaid nüüd ekslete territooriumile, mida te pole kunagi näinud," selgitas Patel. Sellised üleminekud on tavaliselt "hüstereetilised", mis tähendab, et neid ei ole lihtne tagasi pöörata – isegi kui näiteks ülemineku põhjustanud aeglaselt kasvav parameeter nihutatakse uuesti alla. Selline hüsterees on tavaline: tapke näiteks ökosüsteemis üks liiga palju tippkiskjaid ja muutunud dünaamika võib põhjustada saaklooma populatsiooni ootamatu plahvatuse; lisage kiskja uuesti tagasi ja saakloomade populatsioon püsib kõrgel.
Kui Pateli ja Oti reservuaaride arvutusalgoritm õpetati hüstereetilise üleminekuga süsteemi andmetele, suutis ta ennustada peatset murdepunkti, kuid see ajas valesti ega suutnud ennustada süsteemi edasist käitumist. Seejärel proovisid teadlased hübriidset lähenemisviisi, mis ühendas masinõppe ja süsteemi tavapärase teadmistepõhise modelleerimise. Nad leidsid, et hübriidalgoritm ületas oma osade summa: see suutis ennustada tulevase käitumise statistilisi omadusi isegi siis, kui teadmistepõhisel mudelil olid valed parameetrite väärtused ja seetõttu ebaõnnestus see iseenesest.
Varsti Hoe Lim, Stockholmi Põhjamaade Teoreetilise Füüsika Instituudi masinõppeteadlane, kes on uurinud mittestatsionaarsete süsteemide lühiajalist käitumist, loodab, et hiljutine töö "toimib edasiste uuringute katalüsaatorina", sealhulgas reservuaaride ja reservuaaride andmetöötluse jõudluse võrdlemisel. sellest sügav õpe algoritmid. Kui reservuaaride andmetöötlus suudab ressursimahukamate meetodite vastu pidada, oleks see hea võimalus uurida murdepunkte suurtes keerukates süsteemides, nagu ökosüsteemid ja Maa kliima.
"Selles valdkonnas on palju teha," ütles Ott. "See on päris lahti."
