研究者が機械学習へのより柔軟なアプローチを発見

人工知能研究者は、一連の成功を祝ってきました ニューラルネットワーク、私たちの脳がどのように組織されているかを大まかに模倣するコンピュータープログラム。 しかし、急速な進歩にもかかわらず、ニューラル ネットワークは依然として比較的柔軟性に欠けており、その場で変更したり、なじみのない状況に適応したりする能力はほとんどありません。

2020 年、マサチューセッツ工科大学の XNUMX 人の研究者がチームを率いて、 新しい種類のニューラル ネットワーク 現実の知性に基づいていますが、私たち自身のものではありません。 代わりに、彼らは小さな回虫からインスピレーションを得ました。 シノラブディス·エレガンス、液体ニューラル ネットワークと呼ばれるものを生成します。 昨年のブレークスルーの後、この新しいネットワークは、特定のアプリケーションで従来のネットワークに取って代わるのに十分な汎用性を備えている可能性があります。

リキッド ニューラル ネットワークは、「エレガントでコンパクトな代替手段」を提供します。 ケンゴールドバーグ、カリフォルニア大学バークレー校のロボット工学者。 彼は、これらのネットワークが時間とともに変化するシステムをモデル化する他のいわゆる連続時間ニューラル ネットワークよりも高速かつ正確に実行できることを実験がすでに示していると付け加えました。

ラミン・ハサニ および マティアス・レヒナー、新しいデザインの背後にある原動力は、何年も前に次のことに気づきました。 C.エレガンス 驚きに対応できる回復力のあるニューラル ネットワークを作成する方法を理解するために使用する理想的な生物である可能性があります。 体長XNUMXミリのボトムフィーダーは、完全に地図化された神経系を持つ数少ない生物のXNUMXつであり、移動、食物の発見、睡眠、交尾、さらには経験からの学習など、さまざまな高度な行動が可能です. 「それは常に変化が起こっている現実の世界に住んでおり、ほとんどすべての条件の下でうまく機能することができます」と Lechner 氏は言います。

卑劣なワームへの敬意が、彼と Hasani を彼らの新しい液体ネットワークに導きました。そこでは、各ニューロンは、時間の経過に伴うその行動を予測する方程式によって管理されます。 ニューロンが互いにリンクしているように、これらの方程式は互いに依存しています。 ネットワークは本質的に、リンクされた方程式の集合全体を解き、特定の時点でのシステムの状態を特徴付けることができます。これは、特定の時点でのみ結果を出す従来のニューラル ネットワークからの脱却です。

「[彼らは] 0.53、2.14、または XNUMX 秒で何が起こっているかしかわかりません」と Lechner 氏は言います。 「しかし、私たちのような連続時間モデルは、XNUMX 秒や XNUMX 秒、または任意の時間で何が起こっているかを説明できます。」

液体ネットワークは、人工ニューロン間の接続であるシナプスの扱い方も異なります。 標準的なニューラル ネットワークにおけるこれらの接続の強度は、その重みという XNUMX つの数値で表すことができます。 液体ネットワークでは、ニューロン間の信号交換は「非線形」関数によって支配される確率的プロセスです。つまり、入力に対する応答は常に比例するとは限りません。 たとえば、入力が XNUMX 倍になると、出力のシフトが大幅に大きくなったり小さくなったりする可能性があります。 この組み込みの変動性が、ネットワークが「液体」と呼ばれる理由です。 ニューロンが反応する方法は、受け取る入力によって異なります。

従来のネットワークの中心にあるアルゴリズムはトレーニング中に設定されますが、これらのシステムに一連のデータが供給されて重みの最適な値が調整されると、リキッド ニューラル ネットワークはより適応性が高くなります。 「彼らは、観察した入力に基づいて基礎となる方程式を変更することができます」と、具体的にはニューロンの応答速度を変更することができます。 ダニエラ·ルーシ、MIT のコンピューター サイエンスおよび人工知能研究所の所長。

この能力を実証する初期のテストの 19 つは、自動運転車の操縦を試みることでした。 従来のニューラル ネットワークでは、自動車のカメラからの視覚データを一定間隔で分析することしかできませんでした。 液体ネットワーク — 253 個のニューロンと XNUMX 個のシナプス (機械学習の基準からすると非常に小さい) で構成される — は、 はるかに応答性が高い. 「私たちのモデルは、たとえば道路が曲がりくねったときなど、より頻繁にサンプリングできます」と、液体ネットワークに関するこの論文と他のいくつかの論文の共著者である Rus 氏は述べています。

このモデルはうまく車を軌道に乗せ続けましたが、XNUMX つの欠点があったと Lechner 氏は言います。 この問題は、シナプスとニューロンを表す非線形方程式に起因していました。この方程式は通常、コンピューターで計算を繰り返さないと解決できず、最終的に解に収束するまでに複数回の反復が行われます。 この作業は通常、ソルバーと呼ばれる専用のソフトウェア パッケージに委任されます。ソルバーは、すべてのシナプスとニューロンに個別に適用する必要があります。

で 昨年の論文、チームはそのボトルネックを回避する新しい液体ニューラル ネットワークを明らかにしました。 このネットワークは同じタイプの方程式に依存していましたが、重要な進歩は、これらの方程式を難しいコンピューター計算で解く必要がないことを Hasani が発見したことです。 代わりに、ネットワークは、原則として鉛筆と紙で解決できるほぼ正確な、または「閉じた形式」のソリューションを使用して機能する可能性があります。 通常、これらの非線形方程式には閉形式の解はありませんが、Hasani は使用するのに十分な近似解を見つけました。

「閉じた形式の解を持つということは、パラメータの値を差し込んで基本的な計算を行うことができる方程式が得られ、答えが得られることを意味します」と Rus 氏は述べています。 十分に近いと判断するまでコンピュータに処理を任せるのではなく、「一発で答えが得られます」。 これにより、計算時間とエネルギーが削減され、プロセスが大幅に高速化されます。

「彼らの方法は、精度を犠牲にすることなく、競合他社を数桁上回っています。」 サヤン・マイトラ、イリノイ大学アーバナ シャンペーン校のコンピューター科学者。

ハサニ氏によると、彼らの最新のネットワークは高速であるだけでなく、非常に安定しており、システムが混乱することなく大量の入力を処理できることを意味します。 「ここでの主な貢献は、安定性やその他の優れた特性が、その完全な構造によってこれらのシステムに組み込まれていることです。」 シュリラム サンカラナラヤナン、コロラド大学ボルダー校のコンピューター科学者。 液体ネットワークは、彼が「スイート スポット: 興味深いことが起こるのに十分なほど複雑ですが、無秩序な動作につながるほど複雑ではありません」と呼ばれるもので動作しているようです。

現在、MIT グループは自律型空中ドローンで最新のネットワークをテストしています。 ドローンは森の中を移動するように訓練されていましたが、ケンブリッジの都市環境に移動して、新しい条件をどのように処理するかを確認しました。 Lechner は、予備的な結果を有望なものと呼びました。

現在のモデルを改良するだけでなく、チームはネットワークのアーキテクチャの改善にも取り組んでいます。 Lechner 氏によると、次のステップは、「特定のタスクを実行するために実際に必要なニューロンの数を把握することです」と述べています。 グループはまた、ニューロンを接続する最適な方法を考案したいと考えています。 現在、すべてのニューロンは他のすべてのニューロンにリンクしていますが、それはそうではありません C.エレガンス、シナプス接続がより選択的です。 回虫の配線システムをさらに研究することで、システム内のどのニューロンを結合させるべきかを決定したいと考えています。

自動運転や飛行などのアプリケーションとは別に、液体ネットワークは、電力網、金融取引、天候、その他の時間とともに変動する現象の分析に適しているようです。 さらに、ハサニ氏は、液体ネットワークの最新バージョンを使用して、「これまで実現できなかった規模で脳活動シミュレーションを実行できる」と述べました。

Mitra は、この可能性に特に興味をそそられています。 「ある意味、これは詩的で、この研究が一巡する可能性があることを示しています」と彼は言いました。 「ニューラル ネットワークは、私たちが自然から引き出したアイデアそのものが、自然をよりよく理解するのに役立つ可能性があるところまで発展しています。」