Η πρόβλεψη περίπλοκων συστημάτων όπως ο καιρός είναι περίφημα δύσκολη. Αλλά τουλάχιστον οι εξισώσεις του καιρού δεν αλλάζουν από τη μια μέρα στην άλλη. Αντίθετα, ορισμένα πολύπλοκα συστήματα μπορούν να υποστούν μεταβάσεις «σημείων ανατροπής», αλλάζοντας ξαφνικά τη συμπεριφορά τους δραματικά και ίσως μη αναστρέψιμα, με ελάχιστες προειδοποιήσεις και δυνητικά καταστροφικές συνέπειες.
Σε αρκετά μεγάλα χρονικά διαστήματα, τα περισσότερα συστήματα του πραγματικού κόσμου είναι έτσι. Σκεφτείτε το Ρεύμα του Κόλπου στον Βόρειο Ατλαντικό, το οποίο μεταφέρει ζεστό ισημερινό νερό προς τα βόρεια ως μέρος μιας ωκεάνιας ταινίας μεταφοράς που βοηθά στη ρύθμιση του κλίματος της Γης. Οι εξισώσεις που περιγράφουν αυτά τα κυκλοφορούντα ρεύματα αλλάζουν αργά λόγω της εισροής γλυκού νερού από το λιώσιμο των φύλλων πάγου. Μέχρι στιγμής η κυκλοφορία έχει επιβραδυνθεί σταδιακά, αλλά σε δεκαετίες από τώρα μπορεί να σταματήσει απότομα.
«Ας υποθέσουμε ότι όλα είναι εντάξει τώρα», είπε Γινγκ-Τσενγκ Λάι, φυσικός στο Πολιτειακό Πανεπιστήμιο της Αριζόνα. «Πώς θα πεις ότι δεν θα είναι εντάξει στο μέλλον;»
Σε μια σειρά πρόσφατων εργασιών, οι ερευνητές έδειξαν ότι οι αλγόριθμοι μηχανικής μάθησης μπορούν να προβλέψουν μεταβάσεις σημείων αιχμής σε αρχετυπικά παραδείγματα τέτοιων «μη σταθερών» συστημάτων, καθώς και χαρακτηριστικά της συμπεριφοράς τους μετά την ανατροπή. Οι εκπληκτικά ισχυρές νέες τεχνικές θα μπορούσαν μια μέρα να βρουν εφαρμογές στην επιστήμη του κλίματος, οικολογία, την επιδημιολογία και πολλούς άλλους τομείς.
Ένα κύμα ενδιαφέροντος για το πρόβλημα ξεκίνησε πριν από τέσσερα χρόνια με πρωτοποριακά αποτελέσματα από την ομάδα του Έντουαρντ Οτ, κορυφαίος ερευνητής του χάους στο Πανεπιστήμιο του Μέριλαντ. Η ομάδα του Ott ανακάλυψε ότι ένας τύπος αλγόριθμου μηχανικής μάθησης που ονομάζεται επαναλαμβανόμενο νευρωνικό δίκτυο θα μπορούσε να προβλέψει την εξέλιξη στατικών χαοτικών συστημάτων (τα οποία δεν έχουν σημεία ανατροπής) εκπληκτικά μακριά στο μέλλον. Το δίκτυο βασίστηκε μόνο σε αρχεία της συμπεριφοράς του χαοτικού συστήματος στο παρελθόν — δεν είχε πληροφορίες για τις υποκείμενες εξισώσεις.
Η προσέγγιση εκμάθησης του δικτύου διέφερε από αυτή των βαθιών νευρωνικών δικτύων, τα οποία τροφοδοτούν δεδομένα μέσω μιας μεγάλης στοίβας στρωμάτων τεχνητών νευρώνων για εργασίες όπως η αναγνώριση ομιλίας και η επεξεργασία φυσικής γλώσσας. Όλα τα νευρωνικά δίκτυα μαθαίνουν προσαρμόζοντας την ισχύ των συνδέσεων μεταξύ των νευρώνων τους ως απόκριση στα δεδομένα εκπαίδευσης. Ο Ott και οι συνεργάτες του χρησιμοποίησαν μια λιγότερο υπολογιστικά ακριβή μέθοδο εκπαίδευσης που ονομάζεται reservoir computing, η οποία προσαρμόζει μόνο μερικές συνδέσεις σε ένα μόνο στρώμα τεχνητών νευρώνων. Παρά την απλότητά του, ο υπολογισμός της δεξαμενής φαίνεται κατάλληλος για την πρόβλεψη της χαοτικής εξέλιξης.
Όσο εντυπωσιακά ήταν τα αποτελέσματα του 2018, οι ερευνητές υποψιάστηκαν ότι η προσέγγιση βάσει δεδομένων της μηχανικής μάθησης δεν θα ήταν σε θέση να προβλέψει τις μεταβάσεις οριακών σημείων σε μη στάσιμα συστήματα ή να συμπεράνει πώς θα συμπεριφερθούν στη συνέχεια αυτά τα συστήματα. Ένα νευρωνικό δίκτυο εκπαιδεύεται σε δεδομένα του παρελθόντος για ένα εξελισσόμενο σύστημα, αλλά «αυτό που συμβαίνει στο μέλλον εξελίσσεται με διαφορετικούς κανόνες», είπε ο Ott. Είναι σαν να προσπαθείς να προβλέψεις το αποτέλεσμα ενός αγώνα μπέιζμπολ μόνο και μόνο για να διαπιστώσεις ότι έχει μεταμορφωθεί σε αγώνα κρίκετ.
Και όμως, τα τελευταία δύο χρόνια, η ομάδα του Ott και αρκετοί άλλοι έδειξαν ότι η υπολογιστική δεξαμενή λειτουργεί απροσδόκητα καλά και για αυτά τα συστήματα.
In ένα χαρτί 2021, ο Lai και οι συνεργάτες τους έδωσαν πρόσβαση στον αλγόριθμο υπολογιστικής δεξαμενής τους στην αργά μεταβαλλόμενη τιμή μιας παραμέτρου που θα έστελνε τελικά ένα σύστημα μοντέλου σε ένα σημείο καμπής — αλλά δεν παρείχαν άλλες πληροφορίες σχετικά με τις εξισώσεις που διέπουν το σύστημα. Αυτή η κατάσταση σχετίζεται με μια σειρά πραγματικών σεναρίων: Γνωρίζουμε πώς αυξάνεται η συγκέντρωση διοξειδίου του άνθρακα στην ατμόσφαιρα, για παράδειγμα, αλλά δεν γνωρίζουμε όλους τους τρόπους με τους οποίους αυτή η μεταβλητή θα επηρεάσει το κλίμα. Η ομάδα ανακάλυψε ότι ένα νευρωνικό δίκτυο εκπαιδευμένο σε δεδομένα του παρελθόντος θα μπορούσε να προβλέψει την τιμή στην οποία το σύστημα θα γινόταν τελικά ασταθές. Η ομάδα του Ott δημοσιεύτηκε σχετικά αποτελέσματα πέρυσι.
Σε νέο χαρτί, δημοσιεύτηκε στο διαδίκτυο τον Ιούλιο και τώρα υποβάλλεται σε αξιολόγηση από ομοτίμους, ο Ott και ο μεταπτυχιακός φοιτητής του Dhruvit Patel διερεύνησε την προγνωστική δύναμη των νευρωνικών δικτύων που βλέπουν μόνο τη συμπεριφορά ενός συστήματος και δεν γνωρίζουν τίποτα για την υποκείμενη παράμετρο που είναι υπεύθυνη για την οδήγηση μιας μετάβασης σε σημείο καμπής. Τροφοδοτούσαν τα δεδομένα του νευρωνικού τους δικτύου που καταγράφηκαν σε ένα προσομοιωμένο σύστημα ενώ η κρυφή παράμετρος μετακινούνταν, εν αγνοία του δικτύου. Είναι αξιοσημείωτο ότι σε πολλές περιπτώσεις ο αλγόριθμος θα μπορούσε να προβλέψει την έναρξη της ανατροπής και να παρέχει μια κατανομή πιθανοτήτων πιθανών συμπεριφορών μετά το σημείο ανατροπής.
Παραδόξως, το δίκτυο είχε καλύτερη απόδοση όταν εκπαιδεύτηκε σε θορυβώδη δεδομένα. Ο θόρυβος είναι πανταχού παρόν στα συστήματα του πραγματικού κόσμου, αλλά συνήθως εμποδίζει την πρόβλεψη. Εδώ βοήθησε, προφανώς εκθέτοντας τον αλγόριθμο σε ένα ευρύτερο φάσμα της πιθανής συμπεριφοράς του συστήματος. Για να επωφεληθούν από αυτό το αδιανόητο αποτέλεσμα, οι Patel και Ott τροποποίησαν τη διαδικασία υπολογισμού της δεξαμενής τους για να επιτρέψουν στο νευρωνικό δίκτυο να αναγνωρίσει το θόρυβο καθώς και τη μέση συμπεριφορά του συστήματος. "Αυτό θα είναι σημαντικό για κάθε προσέγγιση που προσπαθεί να προεκβάλει" τη συμπεριφορά των μη στάσιμων συστημάτων, είπε Μάικλ Γκράχαμ, ρευστοδυναμικός στο Πανεπιστήμιο του Ουισκόνσιν, Μάντισον.
Ο Patel και ο Ott εξέτασαν επίσης μια κατηγορία σημείων ανατροπής που σηματοδοτούν μια ιδιαίτερα έντονη αλλαγή στη συμπεριφορά.
Ας υποθέσουμε ότι η κατάσταση ενός συστήματος απεικονίζεται ως ένα σημείο που κινείται σε έναν αφηρημένο χώρο όλων των πιθανών καταστάσεων του. Τα συστήματα που υποβάλλονται σε τακτικούς κύκλους θα ανιχνεύσουν μια επαναλαμβανόμενη τροχιά στο διάστημα, ενώ η χαοτική εξέλιξη θα έμοιαζε με ένα μπερδεμένο χάος. Ένα σημείο ανατροπής μπορεί να προκαλέσει μια τροχιά να βγει εκτός ελέγχου, αλλά να παραμείνει στο ίδιο μέρος της πλοκής ή μπορεί να προκαλέσει αρχικά χαοτική κίνηση να διαρρεύσει σε μια μεγαλύτερη περιοχή. Σε αυτές τις περιπτώσεις ένα νευρωνικό δίκτυο μπορεί να βρει υπαινιγμούς της μοίρας του συστήματος κωδικοποιημένες στην προηγούμενη εξερεύνηση σχετικών περιοχών του χώρου κατάστασης.
Πιο προκλητικές είναι οι μεταβάσεις κατά τις οποίες ένα σύστημα αποβάλλεται ξαφνικά από μια περιοχή και η μετέπειτα εξέλιξή του εκτυλίσσεται σε μια μακρινή περιοχή. «Όχι μόνο αλλάζει η δυναμική, αλλά τώρα περιπλανιέσαι σε μια περιοχή που δεν έχεις δει ποτέ», εξήγησε ο Patel. Τέτοιες μεταβάσεις είναι τυπικά «υστερητικές», που σημαίνει ότι δεν αντιστρέφονται εύκολα — ακόμα κι αν, ας πούμε, μια αργά αυξανόμενη παράμετρος που προκάλεσε τη μετάβαση ωθηθεί ξανά προς τα κάτω. Αυτό το είδος υστέρησης είναι συνηθισμένο: Σκοτώστε έναν πάρα πολλούς κορυφαίους θηρευτές σε ένα οικοσύστημα, για παράδειγμα, και η αλλοιωμένη δυναμική μπορεί να προκαλέσει ξαφνική έκρηξη του πληθυσμού των θηραμάτων. προσθέστε ξανά ένα αρπακτικό και ο πληθυσμός των θηραμάτων παραμένει αυξημένος.
Όταν εκπαιδεύτηκε σε δεδομένα από ένα σύστημα που παρουσίαζε υστερητική μετάβαση, ο υπολογιστικός αλγόριθμος της δεξαμενής των Patel και Ott μπόρεσε να προβλέψει ένα επικείμενο σημείο καμπής, αλλά έκανε λάθος τον χρονισμό και απέτυχε να προβλέψει την επακόλουθη συμπεριφορά του συστήματος. Στη συνέχεια, οι ερευνητές δοκίμασαν μια υβριδική προσέγγιση που συνδυάζει τη μηχανική μάθηση και τη συμβατική μοντελοποίηση του συστήματος που βασίζεται στη γνώση. Βρήκαν ότι ο υβριδικός αλγόριθμος υπερέβαινε το άθροισμα των μερών του: μπορούσε να προβλέψει στατιστικές ιδιότητες της μελλοντικής συμπεριφοράς ακόμη και όταν το μοντέλο που βασίζεται στη γνώση είχε εσφαλμένες τιμές παραμέτρων και επομένως απέτυχε από μόνο του.
Σύντομα Hoe Lim, ερευνητής μηχανικής μάθησης στο Σκανδιναβικό Ινστιτούτο Θεωρητικής Φυσικής στη Στοκχόλμη, ο οποίος έχει μελετήσει τη βραχυπρόθεσμη συμπεριφορά των μη στάσιμων συστημάτων, ελπίζει ότι η πρόσφατη εργασία θα «χρησιμοποιήσει ως καταλύτης για περαιτέρω μελέτες», συμπεριλαμβανομένων συγκρίσεων μεταξύ της απόδοσης των υπολογιστών δεξαμενών και αυτό του βαθιά μάθηση αλγόριθμους. Εάν ο υπολογισμός των δεξαμενών μπορεί να αντισταθεί σε μεθόδους που απαιτούν περισσότερους πόρους, αυτό θα προοιωνόταν καλά για την προοπτική της μελέτης των σημείων αιχμής σε μεγάλα, πολύπλοκα συστήματα όπως τα οικοσυστήματα και το κλίμα της Γης.
«Υπάρχουν πολλά να γίνουν σε αυτόν τον τομέα», είπε ο Ott. «Είναι πραγματικά ορθάνοιχτο».
