预测像天气这样的复杂系统是出了名的困难。 但至少天气的控制方程不会从一天到另一天发生变化。 相比之下，某些复杂的系统可能会经历“临界点”转变，突然改变它们的行为，甚至可能是不可逆转的，几乎没有警告和潜在的灾难性后果。
在足够长的时间尺度上，大多数现实世界的系统都是这样的。 想想北大西洋的墨西哥湾暖流，它将温暖的赤道水向北输送，作为有助于调节地球气候的海洋传送带的一部分。 由于融化的冰盖流入淡水，描述这些循环电流的方程正在缓慢变化。 到目前为止，流通已经逐渐放缓，但几十年后它可能会突然停止。
“假设现在一切都好，”说 赖英诚，亚利桑那州立大学的物理学家。 “你怎么说以后不行了？”
在最近的一系列论文中，研究人员表明，机器学习算法可以预测此类“非平稳”系统的原型示例中的临界点转换，以及它们在倾斜后的行为特征。 令人惊讶的强大新技术有一天可能会在气候科学中得到应用， 生态、流行病学等诸多领域。
对这个问题的兴趣激增始于四年前 开创性的成果 来自于 爱德华·奥特，马里兰大学的首席混沌研究员。 Ott 的团队发现，一种称为循环神经网络的机器学习算法可以惊人地预测未来的静止混沌系统（没有临界点）的演变。 该网络仅依赖于混沌系统过去行为的记录——它没有关于基础方程的信息。
该网络的学习方法不同于深度神经网络，后者通过大量人工神经元层为语音识别和自然语言处理等任务提供数据。 所有神经网络都通过调整神经元之间的连接强度来学习，以响应训练数据。 奥特和他的合作者使用了一种计算成本较低的训练方法，称为水库计算，它只调整单层人工神经元中的几个连接。 尽管它很简单，但储层计算似乎适合预测混沌演化的任务。
尽管 2018 年的结果令人印象深刻，但研究人员怀疑机器学习的数据驱动方法无法预测非平稳系统中的临界点转换或推断这些系统之后的行为方式。 Ott 说，神经网络会根据过去有关不断发展的系统的数据进行训练，但“未来发生的事情正在按照不同的规则发展”。 这就像试图预测一场棒球比赛的结果却发现它已经演变成一场板球比赛。
然而，在过去的两年里，Ott 的小组和其他几个人已经证明，水库计算对于这些系统也出乎意料地好。
In 一张2021纸, Lai 和合作者让他们的储层计算算法访问一个参数的缓慢漂移值，最终将模型系统发送到一个临界点——但他们没有提供有关系统控制方程的其他信息。 这种情况与许多现实世界的情景有关：例如，我们知道大气中的二氧化碳浓度是如何上升的，但我们不知道这个变量会影响气候的所有方式。 该团队发现，根据过去数据训练的神经网络可以预测系统最终会变得不稳定的值。 奥特小组发表 相关结果 去年。
在一个 新文，于 XNUMX 月在网上发布，目前正在接受同行评审，奥特和他的研究生 德鲁维特·帕特尔 探索了神经网络的预测能力，这些网络只看到系统的行为，对驱动临界点转换的基本参数一无所知。 当隐藏参数在漂移时，他们将记录在模拟系统中的神经网络数据提供给网络，而网络并不知道。 值得注意的是，在许多情况下，该算法既可以预测倾翻的开始，又可以提供可能的倾翻点后行为的概率分布。
令人惊讶的是，该网络在对噪声数据进行训练时表现最佳。 噪声在现实世界的系统中无处不在，但它通常会阻碍预测。 在这里，它显然是通过将算法暴露于更广泛的系统可能行为来帮助的。 为了利用这一违反直觉的结果，Patel 和 Ott 调整了他们的储层计算程序，以使神经网络能够识别噪声以及系统的平均行为。 “这对于任何试图推断”非平稳系统行为的方法都很重要，说 迈克尔格雷厄姆，威斯康星大学麦迪逊分校的流体动力学家。
帕特尔和奥特还考虑了一类标志行为特别明显变化的临界点。
假设一个系统的状态被绘制为一个在其所有可能状态的抽象空间中移动的点。 经历有规律循环的系统会在太空中追踪一个重复的轨道，而混沌演化看起来就像一团乱七八糟的东西。 一个临界点可能会导致轨道螺旋失控但仍留在绘图的同一部分，或者它可能会导致最初的混乱运动溢出到更大的区域。 在这些情况下，神经网络可能会在过去对状态空间相关区域的探索中发现系统命运的线索。
更具挑战性的是一个系统突然从一个区域被驱逐出并且其后来的演变在一个遥远的区域展开的过渡。 “不仅动态发生了变化，而且现在你正在徘徊在你从未见过的领域，”帕特尔解释道。 这种转变通常是“滞后的”，这意味着它们不容易逆转——即使导致转变的缓慢增加的参数再次被推低。 这种滞后现象很常见：例如，在生态系统中杀死过多的顶级捕食者，改变的动态可能导致猎物种群突然爆炸； 再次添加捕食者，猎物数量保持在较高水平。
Patel 和 Ott 的油藏计算算法在对表现出滞后过渡的系统的数据进行训练时，能够预测即将到来的临界点，但它弄错了时间，无法预测系统的后续行为。 然后，研究人员尝试了一种将机器学习和传统的基于知识的系统建模相结合的混合方法。 他们发现混合算法超出了其部分的总和：即使基于知识的模型具有不正确的参数值并因此自行失败，它也可以预测未来行为的统计特性。
顺和林斯德哥尔摩北欧理论物理研究所的机器学习研究员，研究了非平稳系统的短期行为，他希望最近的工作将“作为进一步研究的催化剂”，包括比较油藏计算的性能和那个 深入学习 算法。 如果水库计算能够对抗更多资源密集型方法，那将预示着研究大型复杂系统（如生态系统和地球气候）的临界点的前景。
“在这个领域有很多事情要做，”奥特说。 “它真的很开放。”
