Przewidywanie złożonych systemów, takich jak pogoda, jest znane z trudności. Ale przynajmniej równania rządzące pogodą nie zmieniają się z dnia na dzień. W przeciwieństwie do tego, niektóre złożone systemy mogą przechodzić zmiany „punktu krytycznego”, nagle drastycznie zmieniając swoje zachowanie i być może nieodwracalnie, z niewielkim ostrzeżeniem i potencjalnie katastrofalnymi konsekwencjami.
W wystarczająco długich skalach czasowych większość rzeczywistych systemów wygląda tak. Rozważmy Prąd Zatokowy na Północnym Atlantyku, który transportuje ciepłą wodę równikową na północ jako część oceanicznego przenośnika taśmowego, który pomaga regulować klimat Ziemi. Równania opisujące te prądy krążące powoli się zmieniają z powodu napływu świeżej wody z topniejących lądolodów. Jak dotąd krążenie stopniowo zwalniało, ale za kilkadziesiąt lat może nagle się zatrzymać.
„Załóżmy, że teraz wszystko jest w porządku”, powiedział Ying-Cheng Lai, fizyk z Arizona State University. „Jak możesz powiedzieć, że w przyszłości nie będzie dobrze?”
W serii ostatnich artykułów naukowcy wykazali, że algorytmy uczenia maszynowego mogą przewidywać przejścia w punktach krytycznych w archetypowych przykładach takich „niestacjonarnych” systemów, a także cechy ich zachowania po przejściu. Zaskakująco potężne nowe techniki mogą pewnego dnia znaleźć zastosowanie w nauce o klimacie, ekologia, epidemiologia i wiele innych dziedzin.
Gwałtowny wzrost zainteresowania problemem rozpoczął się cztery lata temu od przełomowe wyniki z grupy Edwarda Otta, czołowy badacz chaosu na Uniwersytecie Maryland. Zespół Otta odkrył, że rodzaj algorytmu uczenia maszynowego zwanego rekurencyjną siecią neuronową może przewidywać ewolucję stacjonarnych systemów chaotycznych (które nie mają punktów zwrotnych) zdumiewająco daleko w przyszłości. Sieć opierała się tylko na zapisach przeszłych zachowań chaotycznego systemu — nie miała żadnych informacji o leżących u jej podstaw równaniach.
Podejście sieci do uczenia się różniło się od głębokich sieci neuronowych, które przesyłają dane przez wysoki stos warstw sztucznych neuronów do zadań takich jak rozpoznawanie mowy i przetwarzanie języka naturalnego. Wszystkie sieci neuronowe uczą się, dostosowując siłę połączeń między swoimi neuronami w odpowiedzi na dane treningowe. Ott i jego współpracownicy zastosowali mniej kosztowną obliczeniowo metodę treningową zwaną przetwarzaniem rezerwuarowym, która dostosowuje tylko kilka połączeń w pojedynczej warstwie sztucznych neuronów. Pomimo swojej prostoty, obliczenia złożowe wydają się być odpowiednie do zadania przewidywania ewolucji chaotycznej.
Mimo imponujących wyników z 2018 r. naukowcy podejrzewali, że oparte na danych podejście oparte na uczeniu maszynowym nie będzie w stanie przewidzieć zmian punktu krytycznego w systemach niestacjonarnych ani wywnioskować, jak te systemy będą się zachowywać później. Sieć neuronowa szkoli się na danych z przeszłości o ewoluującym systemie, ale „to, co wydarzy się w przyszłości, ewoluuje według innych reguł”, powiedział Ott. To jak próba przewidzenia wyniku meczu baseballowego tylko po to, by odkryć, że przekształcił się on w mecz krykieta.
A jednak w ciągu ostatnich dwóch lat grupa Otta i kilka innych osób wykazało, że obliczenia rezerwuarowe działają nadspodziewanie dobrze również w przypadku tych systemów.
In papier 2021, Lai i współpracownicy udostępnili swojemu algorytmowi obliczania rezerwuaru powoli zmieniającą się wartość parametru, który ostatecznie wysłałby system modelowy do punktu krytycznego — ale nie dostarczyli żadnych innych informacji na temat równań rządzących systemem. Ta sytuacja odnosi się do wielu rzeczywistych scenariuszy: wiemy na przykład, jak rośnie stężenie dwutlenku węgla w atmosferze, ale nie znamy wszystkich sposobów, w jakie ta zmienna wpłynie na klimat. Zespół odkrył, że sieć neuronowa wytrenowana na danych z przeszłości może przewidzieć wartość, przy której system ostatecznie stanie się niestabilny. Opublikowano grupę Otta powiązane wyniki ostatni rok.
W nowy papier, opublikowana online w lipcu i obecnie poddawana wzajemnej ocenie, Ott i jego doktorant Dhruvit Patel zbadali moc predykcyjną sieci neuronowych, które widzą tylko zachowanie systemu i nie wiedzą nic o podstawowym parametrze odpowiedzialnym za kierowanie przejściem w punkcie krytycznym. Zasilili swoje dane z sieci neuronowej zarejestrowane w symulowanym systemie, podczas gdy ukryty parametr dryfował, o czym sieć nie wiedziała. Co ciekawe, w wielu przypadkach algorytm mógł zarówno przewidzieć początek przewrócenia, jak i przedstawić rozkład prawdopodobieństwa możliwych zachowań po osiągnięciu punktu krytycznego.
Co zaskakujące, sieć działała najlepiej, gdy została przeszkolona na zaszumionych danych. Hałas jest wszechobecny w systemach rzeczywistych, ale zwykle utrudnia przewidywanie. Tutaj pomogło, najwyraźniej wystawiając algorytm na szerszy zakres możliwych zachowań systemu. Aby skorzystać z tego sprzecznego z intuicją wyniku, Patel i Ott poprawili swoją procedurę obliczania rezerwuaru, aby umożliwić sieci neuronowej rozpoznawanie szumu oraz przeciętnego zachowania systemu. „Będzie to ważne dla każdego podejścia, które próbuje ekstrapolować” zachowanie systemów niestacjonarnych, powiedział Michael Graham, dynamika płynów na Uniwersytecie Wisconsin w Madison.
Patel i Ott rozważali również klasę punktów zwrotnych, które oznaczają szczególnie wyraźną zmianę w zachowaniu.
Załóżmy, że stan systemu jest wykreślony jako punkt poruszający się w abstrakcyjnej przestrzeni wszystkich jego możliwych stanów. Systemy, które przechodzą regularne cykle, śledziłyby powtarzającą się orbitę w przestrzeni, podczas gdy chaotyczna ewolucja wyglądałaby jak splątany bałagan. Punkt zwrotny może spowodować, że orbita wymknie się spirali spod kontroli, ale pozostanie w tej samej części wykresu, lub może spowodować, że początkowo chaotyczny ruch rozleje się na większy obszar. W takich przypadkach sieć neuronowa może znaleźć wskazówki dotyczące losu systemu zakodowane w jego przeszłych eksploracjach odpowiednich regionów przestrzeni państwa.
Większym wyzwaniem są przejścia, w których system jest nagle wyrzucany z jednego regionu, a jego późniejsza ewolucja rozwija się w odległym regionie. „Zmienia się nie tylko dynamika, ale teraz wędrujesz na terytorium, którego nigdy nie widziałeś” – wyjaśnił Patel. Takie przejścia są zazwyczaj „histeretyczne”, co oznacza, że nie można ich łatwo odwrócić — nawet jeśli, powiedzmy, powoli rosnący parametr, który spowodował przejście, zostanie ponownie obniżony. Ten rodzaj histerezy jest powszechny: na przykład zabij o jednego za dużo drapieżników w ekosystemie, a zmieniona dynamika może spowodować nagły wybuch populacji ofiar; dodaj ponownie drapieżnika, a populacja ofiary pozostanie podwyższona.
Po przeszkoleniu na danych z systemu wykazującego histeretyczne przejście, algorytm obliczania rezerwuarów Patela i Otta był w stanie przewidzieć zbliżający się punkt krytyczny, ale pomylił się w czasie i nie przewidział dalszego zachowania systemu. Następnie naukowcy wypróbowali podejście hybrydowe łączące uczenie maszynowe i konwencjonalne modelowanie systemu oparte na wiedzy. Odkryli, że algorytm hybrydowy przekroczył sumę swoich części: mógł przewidzieć statystyczne właściwości przyszłego zachowania, nawet jeśli model oparty na wiedzy miał nieprawidłowe wartości parametrów, a zatem sam zawiódł.
Wkrótce motyka Lim, naukowiec zajmujący się uczeniem maszynowym z Nordyckiego Instytutu Fizyki Teoretycznej w Sztokholmie, który badał krótkoterminowe zachowanie systemów niestacjonarnych, ma nadzieję, że niedawna praca „służy jako katalizator dalszych badań”, w tym porównań między wydajnością obliczeń w złożach i to z głęboka nauka algorytmy. Jeśli obliczenia w złożach mogą stawić czoła metodom wymagającym większych zasobów, dobrze wróżyłoby to perspektywie badania punktów krytycznych w dużych, złożonych systemach, takich jak ekosystemy i klimat Ziemi.
„W tej dziedzinie jest wiele do zrobienia” – powiedział Ott. „Jest naprawdę szeroko otwarty”.
