脳がどのように空間情報を整理してアクセスするかを理解することは、私たちがどこにいて、角を曲がったところにあるのか、そこに行く方法など、依然として非常に難しい課題です. このプロセスには、記憶のネットワーク全体と、それぞれが他の何千ものニューロンに接続されている数百億のニューロンから格納された空間データを思い出すことが含まれます。 神経科学者は、次のような重要な要素を特定しました。 グリッドセル、位置をマッピングするニューロン。 研究者が人間の灰白質のスライスを取り出して研究し、位置に基づく画像、音、匂いの記憶がどのように流れ、互いに接続するかを観察できるわけではありません。
人工知能は別の方法を提供します。何年もの間、神経科学者は、脳内のニューロンの発火をモデル化するために、多くの種類のニューラル ネットワーク (ほとんどのディープ ラーニング アプリケーションを強化するエンジン) を利用してきました。 最近の研究では、記憶に重要な脳の構造である海馬が基本的に特別な種類の神経網であり、 トランス、 変装した。 彼らの新しいモデルは、脳の内部の働きに対応する方法で空間情報を追跡します。 彼らは目覚ましい成功を収めました。
「脳のこれらのモデルが変圧器と同等であることがわかっているという事実は、私たちのモデルがはるかに優れたパフォーマンスを発揮し、トレーニングが容易であることを意味します。」 ジェームズ・ウィッティントン、スタンフォード大学と研究所の間で時間を割く認知神経科学者 ティム・ベーレンス オックスフォード大学で。
Whittington などによる研究は、トランスフォーマーがニューラル ネットワーク モデルの能力を大幅に向上させ、グリッド セルや脳の他の部分によって実行される種類の計算を模倣できることを示唆しています。 このようなモデルは、人工ニューラル ネットワークがどのように機能するか、さらには、脳内で計算がどのように実行されるかについての理解を深める可能性があるとウィッティントン氏は述べています。
「私たちは脳を再構築しようとしているわけではありません」と彼は言いました。 デビッドハ、変圧器モデルにも取り組んでいる Google Brain のコンピューター科学者。 「しかし、脳と同じようなメカニズムを作ることはできるでしょうか?」
トランスフォーマーは、AI が言語を処理する新しい方法として XNUMX 年前に初めて登場しました。 それらは、見出しをつかむ文章補完プログラムの秘密のソースです。 ベルト 説得力のある歌詞を生成し、シェイクスピアのソネットを作成し、顧客サービス担当者になりすますことができる GPT-3。
トランスフォーマーは、自己注意と呼ばれるメカニズムを使用して動作します。このメカニズムでは、すべての入力 (一連の単語、ピクセル、数字) が常に他のすべての入力に接続されます。 (他のニューラル ネットワークは、入力を他の特定の入力にのみ接続します。) しかし、トランスフォーマーは言語タスク用に設計されましたが、それ以来、画像の分類などの他のタスクに優れており、現在では脳のモデル化を行っています。
2020年、 ゼップ・ホホライターオーストリアのヨハネス ケプラー大学リンツのコンピューター科学者である . プリンストン大学の物理学者ジョン ホップフィールドによって 40 年前に初めて紹介されたこれらのネットワークは、一般的な規則に従っています。同時に活動しているニューロンは、互いに強力な接続を構築します。
Hochreiter と彼の共同研究者は、研究者が記憶検索のより良いモデルを探していたことに注目し、Hopfield ネットワークが記憶を検索する方法とトランスフォーマーが注意を実行する方法との間に関連があることを発見しました。 彼らはホップフィールドネットワークをアップグレードし、本質的にそれを変圧器に変えました. この変更により、モデルはより効果的な接続により、より多くの記憶を保存および取得できるようになったとウィッティントン氏は述べています。 ホップフィールド自身は、MIT-IBM ワトソン AI ラボのドミトリー クロトフと共に、変圧器ベースのホップフィールド ネットワークが生物学的に妥当であることを証明しました。
その後、 今年初め、Whittington と Behrens は、Hochreiter のアプローチをさらに微調整するのに役立ち、トランスフォーマーを修正して、記憶を線形シーケンス (文中の単語の文字列のように) として扱うのではなく、高次元空間の座標としてエンコードするようにしました。 その「ひねり」は、研究者が呼んだように、神経科学のタスクにおけるモデルのパフォーマンスをさらに改善しました。 彼らはまた、このモデルが、神経科学者が fMRI スキャンで見る格子細胞発火パターンのモデルと数学的に同等であることも示しました。
ユニバーシティ カレッジ ロンドンの神経科学者である Caswell Barry は、次のように述べています。 新しい研究は、トランスフォーマーが海馬で観察されたパターンを正確に複製する方法を示しました。 「彼らは、変圧器が以前の状態に基づいてどこにあり、どのように移動したかを把握できることを認識しました。これは、グリッドセルの従来のモデルに合わせた方法です。」
他の最近の研究は、トランスフォーマーが他の脳機能の理解を深めることができることを示唆しています。 昨年、マサチューセッツ工科大学の計算神経科学者であるマーティン・シュリンプは、 43種類のニューラルネットモデルを分析 fMRIと皮質電図によって報告された人間の神経活動の測定値を、彼らがどれだけうまく予測したかを確認するために。 彼が発見したトランスフォーマーは、現在最先端のニューラルネットワークであり、画像で見つかったほぼすべての変動を予測します。
そしてHaは、仲間のコンピューター科学者と一緒に ユジン・タンは最近、人体が感覚観察を脳に伝達する方法を模倣して、変圧器を介して大量のデータをランダムで順序付けられていない方法で意図的に送信できるモデルを設計しました。 彼らの変換器は、私たちの脳のように、無秩序な情報の流れをうまく処理することができました.
「ニューラル ネットは、特定の入力を受け入れるように組み込まれています」と Tang 氏は述べています。 しかし実際には、データセットは頻繁に急速に変化し、ほとんどの AI には調整する方法がありません。 「私たちは、非常に迅速に適応できるアーキテクチャを試したかったのです。」
これらの進歩の兆しにもかかわらず、Behrens は変圧器を脳の正確なモデルへの一歩に過ぎず、探求の終わりではないと考えています。 「私はここでは懐疑的な神経科学者でなければなりません」と彼は言いました。 「たとえば、トランスフォーマーは、現在の文の最良のモデルを持っているとしても、脳内で言語について考える方法になるとは思いません。」
「これは、自分がどこにいるのか、次に何を見るのかを予測するための最も効率的な根拠でしょうか? 正直なところ、断言するには時期尚早です」とバリーは言いました。
Schrimpf 氏も、最高のパフォーマンスを発揮するトランスフォーマーでさえ限られており、たとえば、単語や短いフレーズではうまく機能しますが、物語を語るような大規模な言語タスクではうまく機能しないと指摘しました。
「私の感覚では、このアーキテクチャ、このトランスフォーマーは、脳の構造を理解するのに適切な空間にあなたを置き、トレーニングによって改善できるということです」と Schrimpf 氏は述べています。 「これは良い方向ですが、この分野は非常に複雑です。」
