Die Vorhersage komplexer Systeme wie des Wetters ist bekanntermaßen schwierig. Aber zumindest ändern sich die Wettergesetze nicht von einem Tag auf den anderen. Im Gegensatz dazu können bestimmte komplexe Systeme „Kipppunkt“-Übergänge durchlaufen und ihr Verhalten plötzlich dramatisch und möglicherweise irreversibel ändern, mit wenig Vorwarnung und potenziell katastrophalen Folgen.
Auf ausreichend langen Zeitskalen sind die meisten realen Systeme so. Denken Sie an den Golfstrom im Nordatlantik, der als Teil eines ozeanischen Förderbandes, das zur Regulierung des Erdklimas beiträgt, warmes äquatoriales Wasser nach Norden transportiert. Die Gleichungen, die diese zirkulierenden Strömungen beschreiben, ändern sich langsam aufgrund des Zuflusses von Süßwasser aus schmelzenden Eisschilden. Bisher hat sich die Zirkulation allmählich verlangsamt, aber in Jahrzehnten kann sie abrupt zum Erliegen kommen.
„Angenommen, jetzt ist alles in Ordnung“, sagte er Ying-Cheng Lai, Physiker an der Arizona State University. „Woran erkennen Sie, dass es in Zukunft nicht gut wird?“
In einer Reihe neuerer Arbeiten haben Forscher gezeigt, dass maschinelle Lernalgorithmen Kipppunktübergänge in archetypischen Beispielen solcher „nicht stationären“ Systeme sowie Merkmale ihres Verhaltens nach dem Kippen vorhersagen können. Die überraschend leistungsfähigen neuen Techniken könnten eines Tages Anwendung in der Klimawissenschaft finden, Ökologie, Epidemiologie und vielen anderen Bereichen.
Eine Welle des Interesses an dem Problem begann vor vier Jahren mit bahnbrechende Ergebnisse aus der Gruppe der Eduard Ott, ein führender Chaosforscher an der University of Maryland. Otts Team fand heraus, dass eine Art maschineller Lernalgorithmus, der als rekurrentes neuronales Netzwerk bezeichnet wird, die Entwicklung stationärer chaotischer Systeme (die keine Kipppunkte haben) erstaunlich weit in die Zukunft vorhersagen kann. Das Netzwerk stützte sich nur auf Aufzeichnungen über das Verhalten des chaotischen Systems in der Vergangenheit – es hatte keine Informationen über die zugrunde liegenden Gleichungen.
Der Lernansatz des Netzwerks unterschied sich von dem tiefer neuronaler Netzwerke, die Daten durch einen hohen Stapel von Schichten künstlicher Neuronen für Aufgaben wie Spracherkennung und Verarbeitung natürlicher Sprache speisen. Alle neuronalen Netze lernen, indem sie die Stärke der Verbindungen zwischen ihren Neuronen als Reaktion auf Trainingsdaten anpassen. Ott und seine Mitarbeiter verwendeten eine weniger rechenintensive Trainingsmethode namens Reservoir Computing, die nur wenige Verbindungen in einer einzigen Schicht künstlicher Neuronen anpasst. Trotz seiner Einfachheit scheint Reservoir Computing für die Aufgabe geeignet, die chaotische Evolution vorherzusagen.
So beeindruckend die Ergebnisse von 2018 auch waren, die Forscher vermuteten, dass der datengesteuerte Ansatz des maschinellen Lernens nicht in der Lage sein würde, Wendepunkte in nichtstationären Systemen vorherzusagen oder darauf zu schließen, wie sich diese Systeme danach verhalten würden. Ein neuronales Netzwerk trainiert mit vergangenen Daten über ein sich entwickelndes System, aber „was in der Zukunft passiert, entwickelt sich nach anderen Regeln“, sagte Ott. Es ist, als würde man versuchen, das Ergebnis eines Baseballspiels vorherzusagen, nur um festzustellen, dass es sich in ein Cricket-Match verwandelt hat.
Und doch haben Otts Gruppe und mehrere andere in den letzten zwei Jahren gezeigt, dass Reservoir Computing auch für diese Systeme unerwartet gut funktioniert.
In ein 2021-Papier, Lai und Mitarbeiter gaben ihrem Reservoir-Computing-Algorithmus Zugriff auf den langsam driftenden Wert eines Parameters, der ein Modellsystem schließlich über einen Wendepunkt bringen würde – aber sie lieferten keine weiteren Informationen über die maßgeblichen Gleichungen des Systems. Diese Situation bezieht sich auf eine Reihe realer Szenarien: Wir wissen beispielsweise, wie die Kohlendioxidkonzentration in der Atmosphäre steigt, aber wir kennen nicht alle Möglichkeiten, wie diese Variable das Klima beeinflusst. Das Team fand heraus, dass ein neuronales Netzwerk, das auf vergangenen Daten trainiert wurde, den Wert vorhersagen konnte, bei dem das System schließlich instabil werden würde. Otts Gruppe veröffentlicht verwandte Ergebnisse letztes Jahr.
In einer neues Papier, die im Juli online gestellt wurde und jetzt einer Peer-Review unterzogen wird, von Ott und seinem Doktoranden Dhruvit Patel untersuchten die Vorhersagekraft neuronaler Netze, die nur das Verhalten eines Systems sehen und nichts über den zugrunde liegenden Parameter wissen, der für einen Wendepunkt-Übergang verantwortlich ist. Sie fütterten ihre neuronalen Netzwerkdaten, die in einem simulierten System aufgezeichnet wurden, während der verborgene Parameter ohne Wissen des Netzwerks driftete. Bemerkenswerterweise konnte der Algorithmus in vielen Fällen sowohl den Beginn des Kippens vorhersagen als auch eine Wahrscheinlichkeitsverteilung möglicher Verhaltensweisen nach dem Kippen liefern.
Überraschenderweise schnitt das Netzwerk am besten ab, wenn es mit verrauschten Daten trainiert wurde. Rauschen ist in realen Systemen allgegenwärtig, aber es behindert normalerweise die Vorhersage. Hier hat es geholfen, offenbar indem es den Algorithmus einem breiteren Bereich des möglichen Verhaltens des Systems aussetzte. Um sich dieses kontraintuitive Ergebnis zunutze zu machen, optimierten Patel und Ott ihr Reservoir-Computing-Verfahren, damit das neuronale Netzwerk sowohl Rauschen als auch das durchschnittliche Verhalten des Systems erkennen kann. „Das wird für jeden Ansatz wichtig sein, der versucht, das Verhalten nicht stationärer Systeme zu extrapolieren“, sagte er Michael Graham, Strömungsdynamiker an der University of Wisconsin, Madison.
Patel und Ott betrachteten auch eine Klasse von Kipppunkten, die eine besonders starke Verhaltensänderung markieren.
Angenommen, der Zustand eines Systems wird als Punkt dargestellt, der sich in einem abstrakten Raum all seiner möglichen Zustände bewegt. Systeme, die regelmäßigen Zyklen unterliegen, würden eine sich wiederholende Umlaufbahn im Raum nachzeichnen, während eine chaotische Evolution wie ein Wirrwarr aussehen würde. Ein Kipppunkt kann dazu führen, dass eine Umlaufbahn außer Kontrolle gerät, aber im selben Teil der Handlung bleibt, oder es kann dazu führen, dass sich die anfänglich chaotische Bewegung in eine größere Region ausbreitet. In diesen Fällen kann ein neuronales Netzwerk Hinweise auf das Schicksal des Systems finden, das in seiner früheren Erkundung relevanter Regionen des Zustandsraums codiert ist.
Schwieriger sind Übergänge, bei denen ein System plötzlich aus einer Region vertrieben wird und seine spätere Evolution sich in einer entfernten Region entfaltet. „Nicht nur die Dynamik ändert sich, sondern Sie wandern jetzt auch in ein Gebiet, das Sie noch nie gesehen haben“, erklärte Patel. Solche Übergänge sind typischerweise „hysteretisch“, was bedeutet, dass sie nicht leicht rückgängig gemacht werden können – selbst wenn beispielsweise ein langsam ansteigender Parameter, der den Übergang verursacht hat, wieder nach unten geschoben wird. Diese Art von Hysterese ist weit verbreitet: Tötet man beispielsweise einen Top-Raubfisch zu viel in einem Ökosystem, kann die veränderte Dynamik dazu führen, dass die Beutepopulation plötzlich explodiert; Fügen Sie wieder ein Raubtier hinzu und die Beutepopulation bleibt erhöht.
Beim Training mit Daten aus einem System, das einen hysteretischen Übergang zeigte, war der Reservoir-Computing-Algorithmus von Patel und Ott in der Lage, einen bevorstehenden Wendepunkt vorherzusagen, aber er verfehlte das Timing und konnte das nachfolgende Verhalten des Systems nicht vorhersagen. Die Forscher versuchten dann einen hybriden Ansatz, der maschinelles Lernen und herkömmliche wissensbasierte Modellierung des Systems kombiniert. Sie fanden heraus, dass der hybride Algorithmus die Summe seiner Teile übertrifft: Er konnte statistische Eigenschaften zukünftigen Verhaltens vorhersagen, selbst wenn das wissensbasierte Modell falsche Parameterwerte hatte und daher alleine versagt hatte.
Bald Hoe Lim, ein Forscher für maschinelles Lernen am Nordic Institute for Theoretical Physics in Stockholm, der das Kurzzeitverhalten nichtstationärer Systeme untersucht hat, hofft, dass die jüngsten Arbeiten „als Katalysator für weitere Studien dienen“, einschließlich Vergleichen zwischen der Leistung von Reservoir-Computing und das von tiefe Lernen Algorithmen. Wenn Reservoir Computing sich gegen ressourcenintensivere Methoden behaupten kann, wäre das ein gutes Zeichen für die Aussicht, Kipppunkte in großen, komplexen Systemen wie Ökosystemen und dem Erdklima zu untersuchen.
„Auf diesem Gebiet gibt es viel zu tun“, sagte Ott. "Es ist wirklich weit offen."
