AI は脳をモデル化し、私たちが見る、聞く、創造するのを支援します

これは、最初に実行された投稿の編集版です こちら.

---

神経科学と AI には、長く絡み合った歴史があります。 人工知能のパイオニアたちは、インテリジェントな機械を作るためのインスピレーションとして、脳の組織の原理に注目しました。 驚くべきことに、AI は現在、まさにそのインスピレーションの源である人間の脳を理解するのに役立っています。 AI を使用して脳のモデルを構築するこのアプローチは、neuroAI と呼ばれます。 今後 XNUMX 年間で、より正確な <font style="vertical-align: inherit;">in silico</font> 脳モデル、特に視覚と聴覚の XNUMX つの最も顕著な感覚のモデル。 その結果、感覚モデルをオンデマンドでダウンロードして使用できるようになり、物体認識や自然言語処理と同じ利便性が得られます。

多くの神経科学者や人工知能研究者は、当然のことながら、そうです! – これについて非常に興奮しています: オンデマンドの頭脳! 見て、感じて、人間であることの意味を発見しよう！ あまり知られていないのは、産業界に幅広い実用的なアプリケーションがあることです。 私はこの分野で長い間研究を続けており、博士号を取得して以来、脳がどのように視覚を意味に変換するかを研究してきました。 私はこの分野の発展を最初から見てきました。今こそ、neuroAI がどのように創造性を高め、私たちの健康を改善できるかを追求する時だと思います。 

特に GPT-3 や DALL-E などの新しい生成 AI モデルに接続された場合、neuroAI はアートや広告で広く使用されるようになると予測しています。 現在のジェネレーティブ AI モデルはクリエイティブなアートやメディアを生み出すことができますが、そのメディアが最終的に対象の聴衆にメッセージを伝えるかどうかはわかりませんが、neuroAI は可能です。. たとえば、フォーカス グループや A/B テストの試行錯誤に取って代わり、私たちが望むものを正確に伝えるメディアを直接作成することができます。 このアプリケーションをめぐる巨大な市場の圧力は、neuroAI モデルを改善する好循環を生み出します。 

結果として得られる強化されたモデルは、神経学的問題を持つ人々の支援から井戸の能力の強化まで、医療における健康への応用を可能にします。 レーシック手術後または人工内耳の移植後に、視覚または聴覚をより迅速に回復させるために適切な画像と音声を作成することを想像してみてください。 

これらのイノベーションは、拡張現実や脳とコンピューターのインターフェースなど、今後登場する他のテクノロジーによってさらに強力になるでしょう。 ただし、オンデマンドでダウンロード可能な感覚システムの潜在的な有用性を完全に実現するには、ツール、人材、資金の現在のギャップを埋める必要があります。

この記事では、neuroAI とは何か、どのように進化し始め、私たちの生活に影響を与え始めるか、他のイノベーションやテクノロジーをどのように補完するか、そしてそれを前進させるために何が必要かを説明します。  

ニューロAIとは？

NeuroAI は、1) 脳を研究してより優れた人工知能を構築する方法を学び、2) 人工知能を使用して脳をよりよく理解することを目指している新しい分野です。 NeuroAI のコア ツールの 2014 つは、人工ニューラル ネットワークを使用して、特定の脳機能のコンピューター モデルを作成することです。 このアプローチは XNUMX 年に開始されました。 マサチューセッツ工科大学（MIT） & Columbia 深い人工ニューラルネットが、物体認識を行う脳の一部である下側頭葉皮質（IT）の反応を説明できることを示しました。 彼らは、人工ニューラルネットを脳と比較するための基本的なレシピを紹介しました。 このレシピを使用し、形状認識、動作処理、音声処理、腕の制御、空間記憶など、脳のプロセス全体にわたって反復テストを繰り返すことで、科学者は脳のコンピューター モデルのパッチワークを構築しています。 

脳の一部のニューロ AI モデルには、XNUMX つの重要な特徴があります。 計算可能です。このコンピューター モデルに刺激を与えると、脳の領域がどのように反応するかがわかります。 また、微分可能です。これは、視覚認識や自然言語処理を解決するモデルを最適化するのと同じ方法で最適化できるディープ ニューラル ネットワークです。 つまり、神経科学者は、PyTorch や TensorFlow などのテンソル代数システムを含む、ディープ ラーニング革命を推進してきたすべての強力なツールにアクセスできます。 

これは何を意味するのでしょうか？ 私たちは、脳の大きな塊を理解していなかったところから、XNUMX 年足らずで優れたモデルをダウンロードできるようになりました。 適切な投資を行えば、すぐに脳の大部分の優れたモデルを手に入れることができます。 視覚系は最初にモデル化されました。 聴覚系はそれほど遅れていませんでした; 勇敢な神経科学者が脳の謎を解明しようと急ぐ中、他の領域は確実にドミノ倒しになるでしょう。 私たちの知的好奇心を満たすだけでなく、科学者にとって大きなモチベーションになります!この革新により、プログラマーは誰でも脳の優れたモデルをダウンロードし、無数のアプリケーションのロックを解除できるようになります。

応用分野

アートと広告

この単純な前提から始めましょう: 私たちが経験するメディアの 99% は、私たちの目と耳を通してのものです。 これらの感覚に適切なピクセルとトーンを提供するために要約できる業界全体があります。ビジュアル アート、デザイン、映画、ゲーム、音楽、広告はそのほんの一部です。 これらの経験を解釈するのは私たちの目や耳そのものではありません。これらは単なるセンサーにすぎません。その情報を理解するのは私たちの脳です。 メディアは、情報を提供し、楽しませ、望ましい感情をもたらすために作成されます。 しかし、絵画、プロの顔写真、または広告のメッセージが意図したとおりに受け取られるかどうかを判断することは、試行錯誤の苛立たしい作業です。メッセージがヒットするかどうかを判断するために人間がループに参加する必要があり、これには費用と時間がかかります。消費する。

大規模なオンライン サービスは、試行錯誤を自動化することでこれを回避する方法を見つけ出しました。A/B テストです。 グーグルで有名 検索エンジンの結果ページのリンクに使用する青の 50 の色合いをテストしました。 The Guardian によると、最良の選択により、200 年のベースラインである 2009 億ドルを超える収益の改善がもたらされました。 当時の Google の収益の 1%. Netflixはサムネイルをカスタマイズします ユーザーエクスペリエンスを最適化するために視聴者に。 これらの方法は、大量のトラフィックを持つオンラインの巨人が利用でき、人々の行動に内在するノイズを克服できます.

データを取得する前に、人々がメディアにどのように反応するかを予測できたらどうでしょうか? これにより、中小企業は、既存の牽引力がほとんどないにもかかわらず、文書やウェブサイトを最適化することが可能になります. NeuroAI は、人々が視覚的な素材にどのように反応するかを予測できるように、ますます近づいています。 例えば、研究者 アドビではツールに取り組んでいます イラストの視覚的注意を予測して指示する。

研究者は、写真を編集してそれらを作成することも実証しています より視覚的に記憶に残る、または審美的に 喜ばしい。 たとえば、人々が自分自身に投影したいイメージ (プロフェッショナル、真面目、またはクリエイティブ) に最も一致するプロの顔写真を自動的に選択するために使用できます。 人工ニューラル ネットワークは、現実の画像よりも効果的にメッセージを伝達する方法を見つけることさえできます。 OpenAI の CLIP をプローブして、感情に沿った画像を見つけることができます。 衝撃の概念に最もよく合ったイメージは、ムンクの叫びの次に場違いではありません。

昨年、OpenAI と Google は、テキスト プロンプトから写真のようにリアルな画像を生成する優れた機能を備えたジェネレーティブ アート ネットワークを実証してきました。 音楽に関してはまだその瞬間を迎えていませんが、生成モデルの進歩のペースにより、これは今後数年で確実に起こるでしょう. 人間のように聞こえる機械を構築することで、音楽制作を民主化し、熟練した音楽プロデューサーができることを誰にでもできるようにすることができるかもしれません。 メロディーのイヤーワームを作成します。 または作品をたまらなく踊らせるために。

オーディオビジュアル メディア、ウェブサイト、特に広告を最適化するという大きな市場圧力があり、私たちはすでにニューロ AI とアルゴリズム アートをこのプロセスに統合しています。 このプレッシャーは、より多くのリソースが実際のアプリケーションに注がれるにつれて、neuroAI がより良くなり、より有用になるという好循環につながります。 その副次的な効果として、広告以外でも役立つ非常に優れた脳のモデルが得られるということです。 

アクセシビリティとアルゴリズム設計

NeuroAI の最もエキサイティングなアプリケーションの 8 つはアクセシビリティです。 ほとんどのメディアは「平均的な」人向けに設計されていますが、視覚情報と聴覚情報の処理方法は人によって異なります。 男性の 0.5%、女性の XNUMX% が赤緑の色盲であり、多くのメディアが彼らのニーズに適合していません。 現在、色覚異常をシミュレートする製品は数多くありますが、結果を解釈して必要な変更を加えるには、正常な色覚を持つ人が必要です。 静的なカラー リマッピングは、これらのニーズに対しても機能しません。マテリアルによっては、カラー リマッピングでセマンティクスが保持されないためです (たとえば、グラフが読みにくくなるなど)。 既存のグラフィックスのセマンティクスを維持するニューロAI メソッドを使用して、色覚異常に安全な素材と Web サイトの生成を自動化できます。

もう 10 つの例は、世界中の最大 XNUMX% の人々に影響を与える失読症などの学習障害を持つ人々を支援することです。 失読症の根底にある問題のXNUMXつは、 混雑に対する感受性これは、p や q などの鏡像対称の文字を含む、基本的な特徴が似ている形状を認識するのが難しいことです。 MIT の Anne Harrington と Arturo Deza は、neuroAI モデルに取り組んでいます この効果をモデル化する そして、いくつかの非常に有望な結果を得ています。 失読症の視覚システムのモデルを使用して、見た目が美しく読みやすいフォントをデザインすることを想像してみてください。 特定の人の視覚系に関する正しいデータがあれば、 特定の個人に合わせてフォントをパーソナライズする、読書のパフォーマンスを向上させる見込みを示しています。 これらは、ここで待っている生活の質を大幅に改善する可能性があります。

健康

多くの神経科学者は、自分たちの研究が人間の健康、特に神経障害やメンタルヘルスの問題を抱えている人々にプラスの影響を与えることを期待して、この分野に参入しています。 ニューロAIが新しい治療法を解き放つことを強く望んでいます.脳の優れたモデルを使用すると、適切な刺激を作成して、適切なメッセージが届くようにすることができます.鍵がロックに合うように. その意味で、neuroAI はアルゴリズムによる医薬品設計と同様に適用できますが、小分子の代わりに画像と音を提供します。 

最もアプローチしやすい問題は、目と耳の受容器に関するもので、すでに十分に特徴付けられています。 何十万人もの人々が人工内耳、つまり耳の蝸牛を電気的に刺激する神経補綴物を受けて、聴覚障害者や難聴者が再び聞くことができるようにしています. 数十個の電極を含むこれらのインプラントは、複数のスピーカーがある騒々しい環境で使用するのが難しい場合があります。 脳モデルは インプラントの刺激パターンを最適化する スピーチを増幅する。 注目に値するのは、インプラントを装着した人々のために開発されたこの技術が、聴覚処理障害を持っているか、騒々しい環境に頻繁にいるかどうかに関係なく、リアルタイムで音を変更することにより、インプラントを装着していない人々が発話をよりよく理解できるように適応できることです。

多くの人は、白内障手術からの回復や加齢による近視など、一生を通じて感覚系の変化を経験します。 このような変化の後、人々は反復を通じて世界を正しく再解釈することを学ぶことができます。これは知覚学習と呼ばれる現象です。 この知覚学習を最大化して、人々がスキルをより迅速かつ効果的に回復できるようにすることができるかもしれません。 同様のアイデアは、脳卒中後に手足を滑らかに動かす能力を失った人々を助けることができます. 脳を最適に強化するための適切な一連の動作を見つけることができれば、脳卒中の生存者が、より滑らかに歩いたり、コーヒーをこぼさずに持ったりするなど、より多くの機能を取り戻すのを助けることができるかもしれません. 人々が失われた身体機能を回復するのを助けることに加えて、同じアイデアは、健康な人々が野球選手、射手、または病理学者であろうと、最高の感覚パフォーマンスに到達するのを助けることができます.

最後に、これらのアイデアが気分障害の治療に適用されていることがわかりました。 パンデミック中の退屈を紛らわすために多くのビジュアル アート ショーに行きましたが、気分が非常に高揚しました。 ビジュアル アートと音楽は私たちの精神を高揚させることができます。 感覚を通して気分障害の治療法を提供することができます。 電気刺激で脳の特定の部分の活動を制御すると、治療抵抗性のうつ病を緩和できることがわかっています。 おそらく、感覚を介して脳の活動を間接的に制御することで、同様の効果が得られる可能性があります。 脳のよく理解されている部分に影響を与える単純なモデル (容易に達成できる成果) を展開することで、人間の健康に役立つ、より複雑なモデルの構築に着手できます。 

技術トレンドを可能にする

NeuroAI が使いこなされ、アプリケーションに展開されるまでには何年もかかるでしょう。また、他の新しいテクノロジー トレンドを傍受することになるでしょう。 ここでは特に、neuroAI をはるかに強力にする XNUMX つのトレンドを取り上げます。 また、脳の活動を測定して、刺激が期待どおりに作用することを確認できるブレイン コンピューター インターフェース (BCI) もあります。  

拡張現実

ニューロ AI アプリケーションをはるかに強力にする傾向は、拡張現実メガネの採用です。 拡張現実 (AR) は日常生活に統合されるため、ユビキタス コンピューティング プラットフォームになる可能性があります。

Meta Reality Labs のチーフ サイエンティストである Michael Abrash の仮説は、十分に機能する AR グラスを作れば、誰もがそれを欲しがるだろうというものです。 それは建物を意味します 世界にロックされた永続的な仮想オブジェクトを作成できる世界認識メガネ; 軽くておしゃれなフレーム、レイバンのペアのように。 そして、あなたに現実のスーパーパワーを与えます。 距離に関係なく人と自然に交流する & あなたの聴力を高める. これらを構築できれば、これは大きな技術的課題ですが、AR メガネは iPhone のような軌道をたどり、発売から 5 年後に誰もが XNUMX つ (または模造品) を持つようになるでしょう。

これを実現するために、Meta は 昨年、メタバースの研究開発に 10 億ドル. Apple が何をしようとしているのかは定かではありませんが、 彼らがARメガネに取り組んでいるという強い兆候. そのため、AR を実現するために供給側にも多大な圧力がかかっています。

これにより、現在の静的な画面よりもはるかに強力なディスプレイ デバイスが広く利用できるようになります。 それであれば VRの軌跡をたどる、最終的にはアイトラッキングが統合される予定です。 これは、現在可能であるよりもはるかに制御された刺激を提示するための広く利用可能な方法を意味し、神経科学者にとっての夢です. そして、これらのデバイスは、広範囲に及ぶ健康アプリケーションを持つ可能性が高く、 2017年にマイケル・アブラッシュが語ったようにたとえば、低照度視力を強化したり、黄斑変性症があっても普通の生活を送れるようにしたりします。

ニューロ AI の重要性は明らかです。高度に制御された方法で、適切な刺激を日常生活の中で継続的に提供できます。 これは視覚にも当てはまりますが、空間音声を提供できるため、聴覚にはそれほど明白ではありません。 これが意味することは、神経学的問題を抱えている人やアクセシビリティを改善するためのニューロ AI 療法を実現するツールが、はるかに強力になるということです。

BCI

優れたディスプレイとスピーカーにより、脳への主要な入力を正確に制御できます。 感覚を介して刺激を与える次のより強力な段階は、読み取り専用のブレイン コンピューター インターフェース (BCI) を介して、脳が期待どおりに反応していることを確認することです。 このようにして、脳に対する刺激の影響を測定し、期待どおりでない場合は、閉ループ制御と呼ばれるものでそれに応じて調整することができます。 

明確にするために、ここでは、Neuralink のチップや頭蓋骨の内部に入る脳深部刺激装置のような BCI の方法について話しているのではありません。 これらの目的には、頭蓋骨の外側の脳活動を非侵襲的に測定するだけで十分です。 脳を直接刺激する必要もありません。メガネとヘッドフォンだけで、脳のほとんどの入力を制御できます。

クローズド ループ制御に使用できる非侵襲的な読み取り専用 BCI が、現在、またはパイプラインで商品化されています。 いくつかの例は次のとおりです。

• 脳波 脳波計は、頭蓋骨の外側にある脳の電気的活動を測定します。 頭蓋骨はボリューム コンダクタとして機能するため、EEG の時間分解能は高くなりますが、空間分解能は低くなります。 これは瞑想製品への消費者の用途を制限していますが（ミューズ) とニッチなニューロマーケティング アプリケーション、クローズド ループ制御のコンテキストでの使用のいくつかについては強気です。 提示された刺激を EEG 信号と相関させ、人が何に注意を払っていたかを解読することができるため (誘発電位法)、刺激を制御できる場合、EEG ははるかに強力になります。 実際、誘発電位に基づいて脳波ベースの「マインドクリック」を行った NextMind が買収されました。 スナップによる、現在AR製品を作っています。 OpenBCIは 計画 その EEG センサーを Varjo のハイエンド Aero ヘッドセットと統合したヘッドセットをリリースします。 私はEEGを除外しません。
• fMRI。 機能的磁気共鳴画像法は、神経活動に関連する血液酸素化の小さな変化を測定します。 それは遅く、持ち運びができず、専用の部屋が必要で、非常に高価です。 ただし、fMRI は、空間的に正確な方法で脳の深部の活動を非侵襲的に読み取ることができる唯一の技術です。 かなり成熟しており、閉ループ神経制御に関連する XNUMX つのパラダイムがあります。 XNUMX つ目は、fMRI ベースのバイオフィードバックです。 fMRIのサブフィールド 画面やヘッドフォンに視覚的に表示することで、人々が脳の活動を調整できることを示しています。 XNUMX つ目は皮質マッピングであり、集団受容野や ムービー クリップを使用したボクセルの選択性の推定 またはポッドキャスト。これにより、さまざまな脳領域がさまざまな視覚的および聴覚的刺激にどのように反応するかを推定できます。 これら XNUMX つの方法は、ニューロ AI 介入が脳にどのように影響するかを推定し、それをより効果的にすることが可能であることを示唆しています。
• fNIRS。 機能的近赤外分光法では、拡散光を使用して、送信機と受容体の間の脳血液量を推定します。 これは、血液が不透明であり、神経活動の増加が特定の脳容積への血液流入の遅延につながるという事実に依存しています (fMRI と同じ原理)。 従来の NIRS は空間分解能が低いですが、タイム ゲーティング (TD-NIRS) と大量のオーバーサンプリング (拡散光トモグラフィー) を使用すると、空間分解能がはるかに向上します。 学術面では、 WUSTLのジョー・カルバーのグループ 視覚野からの映画の解読を実証しました。 商業面では、カーネルは現在 TD-NIRS ヘッドセットの製造と出荷 これはエンジニアリングの素晴らしい偉業です。 そして、それは人々が推進し続け、進歩が急速な分野です。 Meta の私の古いグループは、関連する手法で信号対雑音比 (>32 にスケーリング可能) で 300 倍の改善を示しました。.
• メグ。 脳磁計は磁場の小さな変化を測定し、脳の活動を特定します。 MEG は電磁界の変化を測定するという点で EEG に似ていますが、体積伝導の影響を受けないため、空間分解能が優れています。 冷蔵を必要としないポータブル MEG は、非侵襲的 BCI のゲームチェンジャーになります。 人々は光ポンピング磁力計で進歩を遂げており、QuSpin などのメーカーから個々の OPM センサーを公開市場で購入することが可能です。

これらのよく知られている技術に加えて、デジタル ホログラフィー、光音響トモグラフィー、機能的超音波などのいくつかのダーク ホース技術は、この分野で急速なパラダイム シフトをもたらす可能性があります。

コンシューマ グレードの非侵襲的 BCI はまだ初期段階にありますが、AR のユース ケースをめぐる市場の圧力はパイを大きくする可能性があります。 実際、AR の重大な問題はデバイスの制御です。回避できるのであれば、コントローラーを持って歩き回ったり、メガネに向かってつぶやいたりする必要はありません。 Facebook が CTRL+Labs を買収したことからも明らかなように、企業はこの問題の解決に真剣に取り組んでいます。 in 2019、Snap が NextMind を買収し、Valve が OpenBCI と提携しています。 したがって、低次元の BCI が急速に開発される可能性があります。 高次元の BCI は、AR のようなキラー アプリを見つけた場合、同じ軌道をたどる可能性があります。 ここで私が提唱する種類のニューロ AI アプリケーションは、まさにこのテクノロジーの適切な使用例である可能性があります。

目や耳への入力を制御し、脳の状態を正確に測定できれば、最大の効果が得られるように監視された方法でニューロ AI ベースの治療を提供できます。

現場に足りないもの

NeuroAI アプリケーションの背後にあるコア サイエンスは急速に成熟しており、その一般的な適用性を高めるいくつかの肯定的な傾向があります。 それでは、neuroAI アプリケーションを市場に投入するには何が欠けているのでしょうか?

1. ツーリング。 AI 内の他のサブフィールドは、迅速な進歩と結果の共有を可能にするツールボックスから多大な恩恵を受けています。 これには、Tensorflow や PyTorch などのテンソル代数ライブラリ、OpenAI Gym などのトレーニング環境、🤗HuggingFace などのデータとモデルを共有するためのエコシステムが含まれます。 モデルと方法の集中リポジトリ、および評価スイートは、潜在的に豊富なシミュレーション データを活用することで、この分野を前進させるでしょう。 オープンソースの神経科学組織の強力なコミュニティがすでに存在しており、これらの取り組みの自然なホストとして機能する可能性があります。
2. 才能。 神経科学と AI の交差点で研究開発が行われている場所はほとんどありません。 スタンフォードとバークレーに研究所があるベイエリアと、MITとハーバードに多数の研究所があるボストン大都市圏は、既存のベンチャーキャピタルエコシステムからの投資のほとんどを見る可能性が高い. 第 XNUMX の可能性のあるハブはカナダのモントリオールで、マギル大学とモントリオール大学の大規模な神経科学部門と、AI のパイオニアであるヨシュア・ベンジオ氏によって設立された人工知能研究所ミラの牽引力が組み合わされています。 私たちの分野は、専門の博士号取得プログラムとニューロ AI のセンター オブ エクセレンスから利益を得て、商業化を開始することができます。
3. 医療アプリケーションのための新しい資金調達と商業化モデル。 医療アプリケーションが商品化されるまでには長い道のりがあり、保護された知的財産は通常、技術への投資のリスクを軽減するための資金を獲得するための前提条件です。 AI ベースのイノベーションは特許を取得するのが難しいことで有名であり、医療機器としてのソフトウェア (SaMD) は市場に出始めたばかりであり、商品化への道は不確実です。 AI と医療技術の専門知識を結集してこの新生分野を育成することに重点を置いた資金が必要です。 

ニューロAIを作ろう

科学者や哲学者は、太古の昔から脳がどのように機能するかについて頭を悩ませてきました。 面積が XNUMX 平方フィートの薄いティッシュ シートで、私たちはどのように見たり、聞いたり、感じたり、考えたりすることができるのでしょうか? NeuroAI は、コンピューターで神経系のモデルを構築することにより、これらの深い問題を解決するのに役立っています。 知識に対する根本的な渇望を満たすことによって、人間であることは何を意味するのでしょうか? –神経科学者は、何百万人もの人々がより豊かな生活を送るのに役立つツールも構築しています.

4年2022月XNUMX日に投稿