Monimutkaisten järjestelmien, kuten sään, ennustaminen on tunnetusti vaikeaa. Mutta ainakaan säätä hallitsevat yhtälöt eivät muutu päivästä toiseen. Sitä vastoin tietyissä monimutkaisissa järjestelmissä voi tapahtua "käännekohta"-siirtymiä, jotka voivat yhtäkkiä muuttaa käyttäytymistään dramaattisesti ja ehkä peruuttamattomasti ilman varoitusta ja mahdollisesti katastrofaalisia seurauksia.
Riittävän pitkällä aikavälillä useimmat reaalimaailman järjestelmät ovat tällaisia. Ajatellaanpa Pohjois-Atlantin Golfvirtaa, joka kuljettaa lämmintä päiväntasaajan vettä pohjoiseen osana valtameristä kuljetinhihnaa, joka auttaa säätelemään maapallon ilmastoa. Yhtälöt, jotka kuvaavat näitä kiertäviä virtoja, muuttuvat hitaasti sulavista jääpeitteistä tulevan makean veden vuoksi. Toistaiseksi kierto on hidastunut vähitellen, mutta vuosikymmenten kuluttua se voi pysähtyä äkillisesti.
"Oletetaan, että kaikki on nyt kunnossa", sanoi Ying-Cheng Lai, fyysikko Arizonan osavaltion yliopistossa. "Kuinka voit kertoa, että se ei tule olemaan kunnossa tulevaisuudessa?"
Useissa viimeaikaisissa julkaisuissa tutkijat ovat osoittaneet, että koneoppimisalgoritmit voivat ennustaa kääntöpisteen siirtymiä tällaisten "ei-stationaaristen" järjestelmien arkkityyppisissä esimerkeissä sekä niiden käyttäytymisen piirteitä kallistumisen jälkeen. Yllättävän tehokkaat uudet tekniikat voisivat jonain päivänä löytää sovelluksia ilmastotieteessä, ekologia, epidemiologia ja monet muut alat.
Kiinnostus ongelmaa kohtaan alkoi neljä vuotta sitten uraauurtavia tuloksia ryhmästä Edward Ott, johtava kaaoksen tutkija Marylandin yliopistosta. Ottin tiimi havaitsi, että eräänlainen koneoppimisalgoritmi, jota kutsutaan toistuvaksi hermoverkoksi, voisi ennustaa kiinteiden kaoottisten järjestelmien (joilla ei ole kääntöpisteitä) kehitystä hämmästyttävän pitkälle tulevaisuuteen. Verkko luotti vain tietueisiin kaoottisen järjestelmän aiemmasta käyttäytymisestä - sillä ei ollut tietoa taustalla olevista yhtälöistä.
Verkon oppimistapa erosi syvien hermoverkkojen lähestymistavasta, jotka syöttävät tietoa korkean keinotekoisten hermosolujen kerrosten läpi puheentunnistukseen ja luonnollisen kielen käsittelyyn. Kaikki hermoverkot oppivat säätämällä hermosolujensa välisten yhteyksien voimakkuutta vasteena harjoitustietoihin. Ott ja hänen työtoverinsa käyttivät laskennallisesti halvempaa harjoitusmenetelmää, reservoir computingia, joka säätää vain muutamia yhteyksiä yhdessä keinotekoisten hermosolujen kerroksessa. Yksinkertaisuudestaan huolimatta säiliölaskenta näyttää sopivan kaoottisen evoluution ennustamiseen.
Vaikka vuoden 2018 tulokset olivatkin vaikuttavia, tutkijat epäilivät, että koneoppimisen datalähtöinen lähestymistapa ei pystyisi ennustamaan kääntöpisteen siirtymiä ei-stationaarisissa järjestelmissä tai päättelemään, kuinka nämä järjestelmät käyttäytyisivät myöhemmin. Neuraaliverkko harjoittelee menneisyyttä kehittyvästä järjestelmästä, mutta "se, mitä tapahtuu tulevaisuudessa, kehittyy eri sääntöjen mukaan", Ott sanoi. Se on kuin yrittäisi ennustaa baseball-ottelun lopputulosta ja huomata, että se on muuttunut krikettiotteluksi.
Silti Ottin ryhmä ja useat muut ovat viimeisen kahden vuoden aikana osoittaneet, että säiliölaskenta toimii yllättävän hyvin myös näissä järjestelmissä.
In 2021-paperi, Lai ja yhteistyökumppanit antoivat säiliölaskenta-algoritmilleen pääsyn hitaasti ajautuvaan parametrin arvoon, joka lopulta lähettäisi mallijärjestelmän käännepisteen yli – mutta he eivät antaneet muuta tietoa järjestelmän hallitsevista yhtälöistä. Tämä tilanne koskee useita tosielämän skenaarioita: Tiedämme esimerkiksi kuinka ilmakehän hiilidioksidipitoisuus nousee, mutta emme tiedä kaikkia tapoja, joilla tämä muuttuja vaikuttaa ilmastoon. Ryhmä havaitsi, että aiempien tietojen perusteella koulutettu neuroverkko voisi ennustaa arvon, jolla järjestelmästä tulee lopulta epävakaa. Ottin ryhmä julkaistiin liittyviä tuloksia viime vuonna.
Jonkin sisällä uusi paperi, julkaistu verkossa heinäkuussa ja parhaillaan vertaisarvioinnissa, Ott ja hänen jatko-opiskelijansa Dhruvit Patel tutki sellaisten hermoverkkojen ennustusvoimaa, jotka näkevät vain järjestelmän käyttäytymisen eivätkä tiedä mitään taustalla olevasta parametrista, joka on vastuussa käännepisteen siirtymisestä. He syöttivät neuroverkkonsa tietoja, jotka oli tallennettu simuloituun järjestelmään piilotetun parametrin ajautuessa verkon tietämättä. On huomattava, että monissa tapauksissa algoritmi voisi sekä ennustaa kaatumisen alkamisen että tarjota todennäköisyysjakauman mahdollisille kaatumisen jälkeisille käyttäytymismalleille.
Yllättäen verkko toimi parhaiten, kun sitä harjoitettiin meluisassa datassa. Melua on kaikkialla reaalimaailman järjestelmissä, mutta se tavallisesti estää ennustamisen. Tässä se auttoi, ilmeisesti altistamalla algoritmin laajemmalle alueelle järjestelmän mahdollista käyttäytymistä. Hyödyntääkseen tätä vastakohtaista tulosta Patel ja Ott muokkasivat säiliölaskentaproseduuriaan, jotta hermoverkko pystyisi tunnistamaan kohinan sekä järjestelmän keskimääräisen käyttäytymisen. "Se tulee olemaan tärkeää kaikille lähestymistavoille, jotka yrittävät ekstrapoloida", sanoi ei-stationaaristen järjestelmien käyttäytyminen. Michael Graham, nestedynamiikka Wisconsinin yliopistosta, Madisonista.
Patel ja Ott harkitsivat myös luokkaa käännekohtia, jotka merkitsevät erityisen jyrkkiä muutoksia käyttäytymisessä.
Oletetaan, että järjestelmän tila piirretään pisteeksi, joka liikkuu abstraktissa avaruudessa sen kaikista mahdollisista tiloista. Järjestelmät, jotka käyvät läpi säännöllisiä syklejä, jäljittäisivät toistuvan kiertoradan avaruudessa, kun taas kaoottinen evoluutio näyttäisi sekavalta sotkulta. Käännepiste voi saada kiertoradan kiertymään hallitsemattomasti, mutta pysyä juonen samassa osassa, tai se voi aiheuttaa alun perin kaoottisen liikkeen leviämisen laajemmalle alueelle. Näissä tapauksissa hermoverkko voi löytää vihjeitä järjestelmän kohtalosta, joka on koodattu sen aikaisemmassa tila-avaruuden relevanttien alueiden tutkimisessa.
Haastavampia ovat siirtymät, joissa järjestelmä karkotetaan yhtäkkiä yhdeltä alueelta ja sen myöhempi kehitys avautuu kaukaiselle alueelle. "Ei vain dynamiikka muutu, vaan nyt vaeltelet alueelle, jota et ole koskaan nähnyt", Patel selitti. Tällaiset siirtymät ovat tyypillisesti "hystereettisiä", mikä tarkoittaa, että niitä ei ole helppo peruuttaa - vaikka esimerkiksi hitaasti kasvava parametri, joka aiheutti siirtymän, painuisi jälleen alas. Tällainen hystereesi on yleistä: Tappaa esimerkiksi yksi liian monta huippupetoeläintä ekosysteemissä, ja muuttunut dynamiikka saattaa saada saalispopulaation äkillisesti räjähtämään; lisää saalistaja takaisin ja saaliskanta pysyy korkeana.
Kun Patelin ja Ottin säiliölaskenta-algoritmi opetettiin hystereettisen siirtymän järjestelmän tiedoista, se pystyi ennustamaan välittömän käännekohdan, mutta ajoitus meni väärin eikä pystynyt ennustamaan järjestelmän myöhempää käyttäytymistä. Tämän jälkeen tutkijat kokeilivat hybridilähestymistapaa, jossa yhdistettiin koneoppiminen ja järjestelmän perinteinen tietopohjainen mallinnus. He havaitsivat, että hybridialgoritmi ylitti osiensa summan: Se pystyi ennustamaan tulevan käyttäytymisen tilastollisia ominaisuuksia, vaikka tietopohjaisella mallilla olisi virheelliset parametriarvot ja siksi se epäonnistui itsestään.
Pian Hoe Lim, Tukholman pohjoismaisen teoreettisen fysiikan instituutin koneoppimistutkija, joka on tutkinut ei-stationaaristen järjestelmien lyhytaikaista käyttäytymistä, toivoo viimeaikaisen työn "toimivan katalysaattorina jatkotutkimuksille", mukaan lukien vertailut säiliölaskennan suorituskyvyn ja että syvä oppiminen algoritmeja. Jos säiliölaskenta pystyy kestämään resurssiintensiivisempiä menetelmiä, se lupaisi hyvin mahdollisuuden tutkia käännekohtia suurissa, monimutkaisissa järjestelmissä, kuten ekosysteemeissä ja maapallon ilmastossa.
"Tällä alalla on paljon tehtävää", Ott sanoi. "Se on todella auki."
