A bonyolult rendszerek, például az időjárás előrejelzése rendkívül nehéz. De legalább az időjárást szabályozó egyenletek nem változnak egyik napról a másikra. Ezzel szemben bizonyos összetett rendszerek „fordulópont” átmeneteken eshetnek át, hirtelen drámaian és talán visszafordíthatatlanul megváltoztatva viselkedésüket, kevés figyelmeztetéssel és potenciálisan katasztrofális következményekkel.
Elég hosszú időtávon a legtöbb valós rendszer ilyen. Gondoljunk csak a Golf-áramlatra az Atlanti-óceán északi részén, amely a meleg egyenlítői vizet észak felé szállítja egy óceáni szállítószalag részeként, amely segít szabályozni a Föld éghajlatát. A keringő áramlatokat leíró egyenletek lassan változnak az olvadó jégtáblákból beáramló édesvíz miatt. A keringés eddig fokozatosan lassult, de évtizedek múlva hirtelen leállhat.
– Tegyük fel, hogy most már minden rendben – mondta Ying-Cheng Lai, az Arizonai Állami Egyetem fizikusa. – Honnan tudod, hogy a jövőben nem lesz semmi baj?
A közelmúltban megjelent cikkek sorozatában a kutatók kimutatták, hogy a gépi tanulási algoritmusok megjósolhatják az ilyen „nem stacionárius” rendszerek archetipikus példáiban a fordulópont-átmeneteket, valamint a billenés utáni viselkedésük jellemzőit. A meglepően erős új technikák egy napon alkalmazásra találhatnak a klímatudományban, ökológia, epidemiológia és sok más terület.
A probléma iránti érdeklődés megugrása négy évvel ezelőtt kezdődött úttörő eredményeket csoportjából Edward Ott, a Marylandi Egyetem vezető káoszkutatója. Ott csapata azt találta, hogy egyfajta gépi tanulási algoritmus, az úgynevezett visszatérő neurális hálózat, megjósolhatja a stacionárius kaotikus rendszerek (amelyeknek nincs fordulópontja) evolúcióját lenyűgözően távoli jövőre. A hálózat csak a kaotikus rendszer múltbeli viselkedésének feljegyzéseire támaszkodott – nem volt információja a mögöttes egyenletekről.
A hálózat tanulási megközelítése különbözött a mély neurális hálózatokétól, amelyek mesterséges neuronok magas rétegein keresztül táplálják az adatokat olyan feladatokhoz, mint a beszédfelismerés és a természetes nyelvi feldolgozás. Minden neurális hálózat úgy tanul, hogy a betanítási adatoknak megfelelően módosítja a neuronjai közötti kapcsolatok erősségét. Ott és munkatársai egy számítási szempontból kevésbé költséges képzési módszert, az úgynevezett rezervoárszámítást alkalmazták, amely csak néhány kapcsolatot állít be a mesterséges neuronok egyetlen rétegében. Egyszerűsége ellenére a rezervoár számítástechnika alkalmasnak tűnik a kaotikus evolúció előrejelzésére.
Bármily lenyűgözőek is voltak a 2018-as eredmények, a kutatók azt gyanították, hogy a gépi tanulás adatvezérelt megközelítése nem lesz képes előre jelezni a fordulópont-átmeneteket a nem stacionárius rendszerekben, és nem lesz képes arra következtetni, hogy ezek a rendszerek hogyan fognak később viselkedni. Egy neurális hálózat egy fejlődő rendszerrel kapcsolatos múltbeli adatokra támaszkodik, de „ami a jövőben történik, az más szabályok szerint alakul” – mondta Ott. Ez olyan, mintha egy baseballmeccs kimenetelét próbálnánk megjósolni, de azt tapasztalnánk, hogy krikettmérkőzéssé alakult át.
Pedig az elmúlt két évben Ott csoportja és többen megmutatták, hogy ezeknél a rendszereknél is váratlanul jól működik a tározószámítás.
In 2021 papír, Lai és munkatársai hozzáférést biztosítottak tározószámítási algoritmusuknak egy olyan paraméter lassan sodródó értékéhez, amely végül a modellrendszert egy billenőponton keresztül juttatta el – de nem adtak más információt a rendszer irányító egyenleteiről. Ez a helyzet számos valós forgatókönyvre vonatkozik: Tudjuk például, hogyan növekszik a légkör szén-dioxid-koncentrációja, de nem tudjuk, hogy ez a változó milyen módon befolyásolja az éghajlatot. A csapat úgy találta, hogy a múltbeli adatokon kiképzett neurális hálózat előre jelezheti azt az értéket, amelynél a rendszer végül instabillá válik. Ott csoportja megjelent kapcsolódó eredményeket tavaly.
egy új lap, júliusban online közzétéve, és jelenleg szakértői értékelés alatt áll, Ott és végzős hallgatója Dhruvit Patel feltárta azoknak a neurális hálózatoknak a prediktív erejét, amelyek csak a rendszer viselkedését látják, és semmit sem tudnak a fordulópont-átmenetet előidéző mögöttes paraméterről. Egy szimulált rendszerben rögzített neurális hálózatuk adatait táplálták be, miközben a rejtett paraméter sodródott, a hálózat tudta nélkül. Figyelemre méltó, hogy az algoritmus sok esetben előre jelezte a billenés kezdetét, és egy valószínűségi eloszlást is megadhat a billenés utáni viselkedésekre.
Meglepő módon a hálózat akkor teljesített a legjobban, ha zajos adatokra tanította. A zaj mindenütt jelen van a való világ rendszereiben, de általában gátolja az előrejelzést. Itt ez segített, nyilván azáltal, hogy az algoritmust a rendszer lehetséges viselkedésének szélesebb körének tette ki. Ennek az ellentmondó eredménynek a kihasználása érdekében Patel és Ott módosította a tartályszámítási eljárását, hogy a neurális hálózat képes legyen felismerni a zajt, valamint a rendszer átlagos viselkedését. "Ez fontos lesz minden olyan megközelítésnél, amely megpróbálja extrapolálni" a nem stacionárius rendszerek viselkedését, mondta Michael Graham, folyadékdinamikus a Wisconsini Egyetemen, Madisonban.
Patel és Ott a fordulópontok egy osztályát is figyelembe vették, amelyek egy különösen éles viselkedésbeli változást jeleznek.
Tegyük fel, hogy egy rendszer állapotát egy pontként ábrázoljuk, amely az összes lehetséges állapotát tartalmazó absztrakt térben mozog. A rendszeres ciklusokon átmenő rendszerek ismétlődő pályát követnének az űrben, míg a kaotikus evolúció egy kusza káosznak tűnhet. A billenőpont azt okozhatja, hogy a pálya spirálisan kicsúszik az irányítás alól, de a cselekmény ugyanazon a részén marad, vagy a kezdetben kaotikus mozgás egy nagyobb területre szóródhat ki. Ezekben az esetekben a neurális hálózat az állapottér releváns régióinak múltbeli feltárása során utalásokat találhat a rendszer sorsára.
Nagyobb kihívást jelentenek azok az átmenetek, amikor egy rendszer hirtelen kiszorul az egyik régióból, és későbbi fejlődése egy távoli régióban bontakozik ki. „Nemcsak a dinamika változik, de most olyan területre téved, amelyet még soha nem látott” – magyarázta Patel. Az ilyen átmenetek jellemzően „hiszteretikusak”, vagyis nem könnyen visszafordíthatók – még akkor sem, ha mondjuk az átmenetet okozó, lassan növekvő paramétert ismét lefelé tolják. Ez a fajta hiszterézis gyakori: például túl sok csúcsragadozót ölj meg egy ökoszisztémában, és a megváltozott dinamika a zsákmánypopuláció hirtelen felrobbanását okozhatja; adjunk hozzá ismét egy ragadozót, és a zsákmánypopuláció magas szinten marad.
Amikor egy hiszteretikus átmenetet mutató rendszerből származó adatokra tanítottak, Patel és Ott tározószámítási algoritmusa képes volt megjósolni a közelgő fordulópontot, de rosszul időzítette, és nem tudta előre jelezni a rendszer későbbi viselkedését. A kutatók ezután egy hibrid megközelítést próbáltak ki, amely ötvözi a gépi tanulást és a rendszer hagyományos tudásalapú modellezését. Megállapították, hogy a hibrid algoritmus meghaladja részei összegét: a jövőbeni viselkedés statisztikai tulajdonságait még akkor is meg tudta jósolni, ha a tudásalapú modell hibás paraméterértékekkel rendelkezik, és ezért önmagában meghibásodott.
Hamarosan Hoe Lim, a stockholmi Nordic Institute for Theoretical Physics gépi tanulással foglalkozó kutatója, aki a nemstacionárius rendszerek rövid távú viselkedését tanulmányozta, reméli, hogy a közelmúltban megjelent munka „katalizátorként fog szolgálni a további vizsgálatokhoz”, beleértve a tározó-számítási teljesítmény és a számítástechnika teljesítményének összehasonlítását. hogy az mély tanulás algoritmusok. Ha a víztározók számítástechnikája megállja a helyét az erőforrás-igényesebb módszerekkel szemben, az jót jelentene a nagy, összetett rendszerek – például az ökoszisztémák és a Föld éghajlata – fordulópontjainak tanulmányozásának.
„Sok tennivaló van ezen a területen” – mondta Ott. – Tényleg tárva-nyitva van.
