Il est notoirement difficile de prévoir des systèmes complexes comme la météo. Mais au moins, les équations qui régissent la météo ne changent pas d'un jour à l'autre. En revanche, certains systèmes complexes peuvent subir des transitions de « point de basculement », modifiant soudainement leur comportement de manière spectaculaire et peut-être irréversible, avec peu d'avertissement et des conséquences potentiellement catastrophiques.
Sur des échelles de temps suffisamment longues, la plupart des systèmes du monde réel sont comme ça. Considérez le Gulf Stream dans l'Atlantique Nord, qui transporte l'eau équatoriale chaude vers le nord dans le cadre d'un tapis roulant océanique qui aide à réguler le climat de la Terre. Les équations qui décrivent ces courants circulants changent lentement en raison de l'afflux d'eau douce provenant de la fonte des calottes glaciaires. Jusqu'à présent, la circulation a progressivement ralenti, mais dans des décennies, elle pourrait s'arrêter brusquement.
"Supposons que tout va bien maintenant", a déclaré Ying Cheng Lai, physicien à l'Arizona State University. "Comment pouvez-vous dire que ça ne va pas aller à l'avenir?"
Dans une série d'articles récents, des chercheurs ont montré que les algorithmes d'apprentissage automatique peuvent prédire les transitions de point de basculement dans des exemples archétypaux de tels systèmes «non stationnaires», ainsi que les caractéristiques de leur comportement après leur basculement. Les nouvelles techniques étonnamment puissantes pourraient un jour trouver des applications dans la science du climat, écologie, l'épidémiologie et bien d'autres domaines.
Un regain d'intérêt pour le problème a commencé il y a quatre ans avec des résultats révolutionnaires du groupe de Edouard Ott, un chercheur de premier plan sur le chaos à l'Université du Maryland. L'équipe d'Ott a découvert qu'un type d'algorithme d'apprentissage automatique appelé réseau neuronal récurrent pouvait prédire l'évolution des systèmes chaotiques stationnaires (qui n'ont pas de points de basculement) dans un avenir étonnamment lointain. Le réseau ne s'appuyait que sur les enregistrements du comportement passé du système chaotique - il n'avait aucune information sur les équations sous-jacentes.
L'approche d'apprentissage du réseau différait de celle des réseaux de neurones profonds, qui transmettent des données à travers une grande pile de couches de neurones artificiels pour des tâches telles que la reconnaissance vocale et le traitement du langage naturel. Tous les réseaux de neurones apprennent en ajustant la force des connexions entre leurs neurones en réponse aux données d'apprentissage. Ott et ses collaborateurs ont utilisé une méthode de formation moins coûteuse en calcul appelée calcul de réservoir, qui n'ajuste que quelques connexions dans une seule couche de neurones artificiels. Malgré sa simplicité, l'informatique des réservoirs semble adaptée à la tâche de prédire l'évolution chaotique.
Aussi impressionnants que soient les résultats de 2018, les chercheurs soupçonnaient que l'approche basée sur les données de l'apprentissage automatique ne serait pas en mesure de prédire les transitions de point de basculement dans les systèmes non stationnaires ou de déduire comment ces systèmes se comporteraient par la suite. Un réseau de neurones s'entraîne sur des données passées concernant un système en évolution, mais "ce qui se passe dans le futur évolue selon des règles différentes", a déclaré Ott. C'est comme essayer de prédire le résultat d'un match de baseball pour découvrir qu'il se transforme en match de cricket.
Et pourtant, au cours des deux dernières années, le groupe d'Ott et plusieurs autres ont montré que l'informatique des réservoirs fonctionne également de manière inattendue pour ces systèmes.
In un papier 2021, Lai et ses collaborateurs ont donné à leur algorithme de calcul de réservoir l'accès à la valeur à dérive lente d'un paramètre qui finirait par envoyer un système modèle au-dessus d'un point de basculement - mais ils n'ont fourni aucune autre information sur les équations gouvernantes du système. Cette situation se rapporte à un certain nombre de scénarios réels : Nous savons comment la concentration de dioxyde de carbone dans l'atmosphère augmente, par exemple, mais nous ne connaissons pas toutes les façons dont cette variable influencera le climat. L'équipe a découvert qu'un réseau de neurones formé sur des données passées pouvait prédire la valeur à laquelle le système deviendrait éventuellement instable. Le groupe d'Ott a publié résultats associés l'année dernière.
Dans un nouveau papier, mis en ligne en juillet et actuellement en cours d'examen par les pairs, Ott et son étudiant diplômé Dhrouvit Patel ont exploré le pouvoir prédictif des réseaux de neurones qui ne voient que le comportement d'un système et ne savent rien du paramètre sous-jacent responsable de la conduite d'une transition de point de basculement. Ils ont alimenté leurs données de réseau de neurones enregistrées dans un système simulé alors que le paramètre caché dérivait, à l'insu du réseau. Remarquablement, dans de nombreux cas, l'algorithme pouvait à la fois prédire le début du basculement et fournir une distribution de probabilité des comportements possibles après le point de basculement.
Étonnamment, le réseau fonctionnait mieux lorsqu'il était formé sur des données bruyantes. Le bruit est omniprésent dans les systèmes du monde réel, mais il entrave généralement la prédiction. Ici, cela a aidé, apparemment en exposant l'algorithme à un plus large éventail de comportements possibles du système. Pour tirer parti de ce résultat contre-intuitif, Patel et Ott ont peaufiné leur procédure de calcul de réservoir pour permettre au réseau de neurones de reconnaître le bruit ainsi que le comportement moyen du système. "Cela va être important pour toute approche qui essaie d'extrapoler" le comportement des systèmes non stationnaires, a déclaré Michael Graham, dynamique des fluides à l'Université du Wisconsin, Madison.
Patel et Ott ont également considéré une classe de points de basculement qui marquent un changement de comportement particulièrement brutal.
Supposons que l'état d'un système est tracé comme un point se déplaçant dans un espace abstrait de tous ses états possibles. Les systèmes qui subissent des cycles réguliers traceraient une orbite répétitive dans l'espace, tandis que l'évolution chaotique ressemblerait à un désordre enchevêtré. Un point de basculement peut provoquer une spirale incontrôlable d'une orbite mais rester dans la même partie de l'intrigue, ou il peut provoquer un mouvement initialement chaotique se répandre dans une région plus large. Dans ces cas, un réseau de neurones peut trouver des indices du destin du système codés dans son exploration passée des régions pertinentes de l'espace d'état.
Plus difficiles sont les transitions dans lesquelles un système est soudainement expulsé d'une région et son évolution ultérieure se déroule dans une région éloignée. "Non seulement la dynamique change, mais maintenant vous vous promenez dans un territoire que vous n'avez jamais vu", a expliqué Patel. De telles transitions sont généralement « hystérétiques », ce qui signifie qu'elles ne sont pas facilement inversées, même si, par exemple, un paramètre qui augmente lentement et qui a provoqué la transition est à nouveau poussé vers le bas. Ce type d'hystérésis est courant : tuez un trop grand nombre de grands prédateurs dans un écosystème, par exemple, et la dynamique altérée pourrait faire exploser soudainement la population de proies ; ajoutez à nouveau un prédateur et la population de proies reste élevée.
Lorsqu'il a été formé sur les données d'un système présentant une transition hystérétique, l'algorithme de calcul de réservoir de Patel et Ott a pu prédire un point de basculement imminent, mais il s'est trompé de timing et n'a pas réussi à prédire le comportement ultérieur du système. Les chercheurs ont ensuite essayé une approche hybride combinant apprentissage automatique et modélisation conventionnelle du système basée sur les connaissances. Ils ont découvert que l'algorithme hybride dépassait la somme de ses parties : il pouvait prédire les propriétés statistiques du comportement futur même lorsque le modèle basé sur les connaissances avait des valeurs de paramètre incorrectes et échouait donc de lui-même.
Bientôt Hoe Lim, un chercheur en apprentissage automatique à l'Institut nordique de physique théorique de Stockholm qui a étudié le comportement à court terme des systèmes non stationnaires, espère que les travaux récents "serviront de catalyseur pour d'autres études", y compris des comparaisons entre les performances du calcul des réservoirs et celui de l'apprentissage en profondeur algorithmes. Si l'informatique des réservoirs peut résister à des méthodes plus gourmandes en ressources, cela serait de bon augure pour la perspective d'étudier les points de basculement dans de grands systèmes complexes comme les écosystèmes et le climat de la Terre.
"Il y a beaucoup à faire dans ce domaine", a déclaré Ott. "C'est vraiment très ouvert."
