IBMの脳からインスピレーションを得たアナログチップはAIの持続可能性を高めることを目指す

プラトン再発行

フォロワー： 0

AI言語モデルを活用してコードのデバッグからデータの異常検出まで、, DALL-E, 安定拡散、その他の生成型 AI は世界を席巻しました。彼らは素晴らしい詩やイメージを生み出します。彼らは、マーケティングから法的準備書面の作成、創薬に至るまで、私たちの世界の隅々にまで浸透しています。彼らは、人間と機械の心が融合した成功物語の象徴のように見えます。

しかし、内部では事態はそれほど甘くないように見えます。これらのシステムは大量のエネルギーを消費し、数千トンの二酸化炭素を排出するデータセンターを必要とし、すでに不安定な気候をさらに強調し、数十億ドルを吸い上げます。ニューラルネットワークがより洗練され、より広く使用されるようになるにつれて、エネルギー消費はさらに急増する可能性があります。

生成型 AI に大量のインクがこぼれたカーボンフットプリント。エネルギー需要がその衰退の原因となり、さらに成長するにつれて発展を妨げる可能性があります。現在のハードウェアを使用すると、生成 AI は「標準のコンピューティングハードウェアに依存し続けるとすぐに失速すると予想されます」。とインテル研究所のHechen Wang博士。

持続可能な AI を構築する時期が来ています。

今週、調査 IBM からは、その方向に向けて実際的な一歩を踏み出しました。彼らは、14 万個のメモリユニットを搭載した 35 ナノメートルのアナログチップを作成しました。現在のチップとは異なり、計算はこれらのユニット内で直接行われるため、データを往復する必要がなくなり、エネルギーが節約されます。

データの往復により、エネルギー消費が実際の計算に必要なエネルギー消費量の 3 倍から 10,000 倍に増加する可能性があると Wang 氏は述べています。

このチップは、XNUMX つの音声認識タスクに挑戦したときに非常に効率的でした。 XNUMX つの Google Speech Commands は小さいですが実用的です。ここではスピードが鍵となります。もう XNUMX つの Librispeech は、音声をテキストに書き写すのに役立つ巨大なシステムで、大量のデータを処理するチップの能力に負担をかけます。

従来のコンピューターと比較した場合、このチップは同等の精度で動作しましたが、一部のタスクに通常必要とされるエネルギーの XNUMX 分の XNUMX 以下で、はるかに少ないエネルギーでより速くジョブを完了しました。

「我々の知る限り、これらは商業的に適切な精度レベルを商業的に適切なモデルで、効率性と大規模な並列性を備えてアナログチップで実証したのは初めてだ」と研究チームは述べた。

ブレイニーバイト

これは決して最初のアナログチップではありません。しかし、これはニューロモーフィックコンピューティングのアイデアを実用の領域に押し上げます。いつか、脳に近い効率で携帯電話、スマートホーム、その他のデバイスに電力を供給できるチップです。

えっと、何？バックアップしましょう。

現在のコンピューターは、フォンノイマンアーキテクチャ。複数の部屋がある家と考えてください。 XNUMX つは中央処理装置 (CPU) で、データを分析します。もう XNUMX つはメモリを保存します。

計算ごとに、コンピューターはこれら XNUMX つの部屋の間でデータを往復する必要があり、時間とエネルギーがかかり、効率が低下します。

対照的に、脳は計算と記憶の両方をワンルームアパートに組み合わせています。シナプスと呼ばれるキノコのような接合部は、両方ともニューラルネットワークを形成し、同じ場所に記憶を保存します。シナプスは非常に柔軟性があり、保存された記憶と新しい学習、つまり「重み」と呼ばれる特性に基づいて、他のニューロンとの結合の強さを調整します。私たちの脳は、これらのシナプスの重みを調整することで、絶えず変化する環境に素早く適応します。

IBMは設計の最前線に立ってきましたアナログチップそれを真似する脳の計算。画期的な進歩 2016年に来ました、書き換え可能なCDに通常見られる魅力的な素材に基づいたチップを導入したとき。この材料は、電気を当てると物理的状態が変化し、ネバネバしたスープから結晶のような構造に形状が変化します。デジタルの 0 と 1 に似ています。

ここが重要です。チップはハイブリッド状態でも存在できるということです。言い換えれば、生物学的シナプスと同様に、人工シナプスはバイナリだけでなく無数の異なる重みをエンコードできるため、データを XNUMX ビットも移動することなく複数の計算を蓄積することができます。

ジキルとハイド

新しい研究は、相変化材料も使用することにより、以前の研究に基づいて構築されました。基本コンポーネントは「メモリータイル」です。それぞれに何千もの相変化材料が格子状に詰め込まれています。タイルは互いに容易に通信します。

各タイルはプログラム可能なローカルコントローラーによって制御されるため、チームはニューロンに似たコンポーネントを正確に微調整できます。さらに、チップは何百ものコマンドを順番に保存し、そのパフォーマンスを掘り下げて分析できる一種のブラックボックスを作成します。

全体として、チップには 35 万個の相変化メモリ構造が含まれていました。接続数は 45 万のシナプスに達し、人間の脳とは程遠いものの、14 ナノメートルのチップ上では非常に印象的です。

IBMの脳からインスピレーションを得たアナログチップは、AIをより持続可能なPlatoBlockchainデータインテリジェンスにすることを目指しています。垂直検索。あい。 — *研究者の手に置かれた 14nm アナログ AI チップ。画像クレジット: IBMのライアン・ラビン*

これらの気が遠くなるような数字は、AI チップの初期化に問題を引き起こします。つまり、探索するにはパラメータが多すぎるのです。研究チームは、計算を開始する前にシナプスの重みを事前にプログラミングするという、AI 幼稚園に相当する問題に取り組みました。 (これは、新しい鋳鉄鍋で調理する前に味付けするのと少し似ています。)

彼らは「ハードウェアの利点と限界を念頭に置いてネットワークトレーニング技術を調整し」、最適な結果が得られるように重みを設定したと、研究には関与していない Wang 氏は説明しました。

それはうまくいきました。ある最初のテストでは、チップは電力 12.4 ワットあたり XNUMX 秒あたり XNUMX 兆回の動作を容易に実行しました。エネルギー消費量は「最も強力な CPU や GPU よりも数十倍、さらには数百倍も高い」と Wang 氏は述べています。

このチップは、メモリタイル内のわずか数個の古典的なハードウェアコンポーネントを使用して、ディープニューラルネットワークの基礎となるコア計算プロセスを確立しました。対照的に、従来のコンピューターには数百または数千のトランジスタ (計算を実行する基本単位) が必要です。

町の話

次にチームは、このチップに XNUMX つの音声認識タスクを課しました。それぞれがチップの異なる側面を強調しました。

最初のテストは、比較的小さなデータベースを使用した場合の速度でした。の使用 Google音声コマンドこのタスクでは、数千人が 12 語の短い単語を話している約 65,000 個のクリップのセットから 30 のキーワードを AI チップが見つけ出す必要がありました (「小さい」は深層学習の世界では相対的なものです)。認められたベンチマークを使用する場合—MLPerf— チップのパフォーマンスが XNUMX 倍高速になりました前作よりも.

このチップは大規模なデータベースに挑戦したときにも輝きました。リブスピーチ。このコーパスには、AI による音声解析や自動音声テキスト変換のトレーニングに一般的に使用される 1,000 時間以上の読み上げられた英語音声が含まれています。

全体として、チームは 45 つのチップを使用して、140 億 14 万個の相変化デバイスからのデータを使用して最終的に 550 万を超える重みをエンコードしました。従来のハードウェアと比較した場合、このチップはエネルギー効率が約 9 倍高く、エネルギー消費 XNUMX ワットあたり毎秒 XNUMX 近くのサンプルを処理し、エラー率は XNUMX% をわずかに上回りました。

素晴らしいものではありますが、アナログチップはまだ初期段階にあります。これらは「AIに関連する持続可能性の問題と闘う上で非常に有望である」とワン氏は述べた。しかし、前進するにはさらにいくつかのハードルをクリアする必要がある。

要因の XNUMX つは、メモリテクノロジ自体とその周囲のコンポーネントの設計、つまりチップのレイアウトを工夫することです。 IBMの新しいチップには、必要な要素がすべてまだ含まれていない。次の重要なステップは、その有効性を維持しながら、すべてを XNUMX つのチップに統合することです。

ソフトウェア側では、特にアナログチップに合わせたアルゴリズムや、コードを機械が理解できる言語に容易に変換するソフトウェアも必要になります。これらのチップが商業的に実現可能になるにつれて、専用アプリケーションを開発することで、アナログチップの将来の夢を生き続けることができます。

「CPU と GPU が非常にうまく動作する計算エコシステムを形成するのに数十年かかりました」と Wang 氏は言います。「そして、アナログ AI にも同様の環境を確立するには、おそらく何年もかかるでしょう。」

画像のクレジット： IBMのライアン・ラビン