天気のような複雑なシステムを予測するのは難しいことで知られています。 しかし、少なくとも天候の支配方程式は、ある日から次の日に変わることはありません。 対照的に、特定の複雑なシステムは「転換点」の移行を経て、ほとんど警告がなく、壊滅的な結果をもたらす可能性があるだけで、突然その動作が劇的に、おそらく不可逆的に変化する可能性があります。
十分に長いタイムスケールでは、ほとんどの現実世界のシステムはこのようなものです. 地球の気候を調節するのに役立つ海洋コンベヤー ベルトの一部として、赤道付近の暖かい水を北に運ぶ、北大西洋のメキシコ湾流を考えてみましょう。 これらの循環電流を記述する方程式は、溶けた氷床からの真水の流入により、ゆっくりと変化しています。 これまでのところ、流通は徐々に減速していますが、数十年後には突然停止する可能性があります.
「今はすべてが順調だと仮定しよう」と彼は言った インチェン・ライ、アリゾナ州立大学の物理学者。 「将来うまくいかないことをどのように伝えますか?」
最近の一連の論文で、研究者は、機械学習アルゴリズムが、そのような「非定常」システムの典型的な例における転換点の遷移と、転換後の動作の特徴を予測できることを示しました。 驚くほど強力な新しい技術は、いつか気候科学に応用されるかもしれません。 エコロジー、疫学および他の多くの分野。
この問題への関心の高まりは、XNUMX 年前に始まりました。 画期的な結果 のグループから エドワード・オット、メリーランド大学の主要なカオス研究者。 Ott のチームは、再帰型ニューラル ネットワークと呼ばれる一種の機械学習アルゴリズムが、静止したカオス システム (転換点を持たない) の進化を驚くほど遠い未来まで予測できることを発見しました。 このネットワークは、混沌としたシステムの過去の動作の記録のみに依存していました。基礎となる方程式に関する情報はありませんでした。
ネットワークの学習アプローチは、音声認識や自然言語処理などのタスクのために、人工ニューロンの層の高いスタックを介してデータをフィードするディープ ニューラル ネットワークのアプローチとは異なりました。 すべてのニューラル ネットワークは、トレーニング データに応じてニューロン間の接続の強度を調整することで学習します。 Ott と彼の共同研究者は、リザーバー コンピューティングと呼ばれる計算コストの低いトレーニング方法を使用しました。これは、人工ニューロンの XNUMX つの層で数個の接続のみを調整します。 その単純さにもかかわらず、リザーバー コンピューティングはカオス進化を予測するタスクに適しているようです。
2018 年の結果は印象的でしたが、研究者は、機械学習のデータ駆動型アプローチでは、非定常システムの転換点遷移を予測したり、これらのシステムがその後どのように動作するかを推測したりできないのではないかと疑っていました。 ニューラル ネットワークは、進化するシステムに関する過去のデータに基づいてトレーニングしますが、「未来に起こっていることは、さまざまなルールによって進化しています」と Ott 氏は述べています。 それは、野球の試合の結果を予測しようとして、結果がクリケットの試合に変わっていることに気付くようなものです。
しかし、過去 XNUMX 年間で、オットのグループと他の数名のグループは、リザーバー コンピューティングがこれらのシステムでも予想外にうまく機能することを示してきました。
In 2021論文、ライと協力者は、リザーバーコンピューティングアルゴリズムに、最終的にモデルシステムを転換点に送るパラメーターのゆっくりとドリフトする値へのアクセスを許可しましたが、システムの支配方程式に関する他の情報は提供しませんでした. この状況は、多くの現実世界のシナリオに関連しています。たとえば、大気中の二酸化炭素濃度がどのように上昇しているかはわかっていますが、この変数が気候にどのように影響するかはわかっていません。 チームは、過去のデータでトレーニングされたニューラル ネットワークが、システムが最終的に不安定になる値を予測できることを発見しました。 Ott のグループが公開されました 関連する結果 昨年。
で 新しい紙、XNUMX月にオンラインで投稿され、現在査読を受けている、オットと彼の大学院生 ドゥルビット・パテル システムの動作のみを確認し、転換点の移行を促進する基礎となるパラメーターについては何も知らないニューラル ネットワークの予測能力を調査しました。 彼らは、シミュレートされたシステムで記録されたニューラル ネットワーク データを、ネットワークに知られていない間に、隠しパラメータがドリフトしている間に供給しました。 驚くべきことに、多くの場合、このアルゴリズムは転倒の開始を予測し、転倒点後の行動の確率分布を提供することができました。
驚くべきことに、ネットワークは、ノイズの多いデータでトレーニングしたときに最高のパフォーマンスを発揮しました。 ノイズは実世界のシステムではいたるところにありますが、通常は予測の妨げになります。 ここでは、システムの可能な動作のより広い範囲にアルゴリズムを公開することで明らかに役に立ちました。 この直感に反する結果を利用するために、Patel と Ott はリザーバー計算手順を微調整して、ニューラル ネットワークがシステムの平均的な動作だけでなくノイズも認識できるようにしました。 「それは、非定常系の挙動を外挿しようとするアプローチにとって重要になるだろう」と述べた. マイケル・グラハム、ウィスコンシン大学マディソン校の流体力学。
Patel と Ott はまた、行動の特に急激な変化を示す転換点の種類についても考察しました。
システムの状態が、考えられるすべての状態の抽象空間内を移動する点としてプロットされているとします。 定期的なサイクルを経るシステムは、宇宙で繰り返される軌道をたどりますが、混沌とした進化はもつれた混乱のように見えます。 転換点は軌道を制御不能にらせん状に動かしますが、プロットの同じ部分にとどまります。または、最初は無秩序な動きがより大きな領域に流出する可能性があります。 このような場合、ニューラル ネットワークは、状態空間の関連領域の過去の探索でエンコードされたシステムの運命のヒントを見つけることができます。
システムが突然ある地域から追放され、その後の進化が遠く離れた地域で展開されるという移行は、より困難です。 「ダイナミクスが変化しているだけでなく、今まで見たことのない領域に迷い込んでいます」とパテル氏は説明します。 このようなトランジションは通常「ヒステリシス」があり、簡単に元に戻すことはできません。たとえば、トランジションの原因となったゆっくりと増加するパラメーターを再び少しずつ下げたとしてもです。 この種のヒステリシスは一般的です。たとえば、生態系でトップの捕食者を殺しすぎると、ダイナミクスの変化により、獲物の個体数が突然爆発する可能性があります。 捕食者を再び追加すると、獲物の個体数は上昇したままになります。
ヒステリシス遷移を示すシステムからのデータでトレーニングした場合、Patel と Ott のリザーバー コンピューティング アルゴリズムは差し迫った転換点を予測することができましたが、タイミングが間違っており、システムのその後の動作を予測できませんでした。 次に、研究者は、機械学習と従来の知識ベースのシステム モデリングを組み合わせたハイブリッド アプローチを試みました。 彼らは、ハイブリッド アルゴリズムがその部分の合計を超えていることを発見しました。知識ベースのモデルのパラメーター値が正しくなく、それによって単独で失敗した場合でも、将来の行動の統計的特性を予測できました。
スン・ホイ・リムストックホルムにある北欧理論物理学研究所の機械学習研究者であり、非定常系の短期的な挙動を研究している .の 深い学習 アルゴリズム。 リザーバー コンピューティングが、より多くのリソースを消費する方法に対抗できる場合、生態系や地球の気候など、大規模で複雑なシステムの転換点を研究する可能性が高まるでしょう。
「この分野でやるべきことはたくさんあります」と Ott は言いました。 「それは本当に広く開かれています。」
