AIモデルは、 電力消費者.
アルゴリズムが成長し、より複雑になるにつれて、現在のコンピューター チップへの負担が増大しています。複数の企業が消費電力を削減するために AI に合わせたチップを設計しました。しかし、それらはすべて、電気を使用するという 1 つの基本的なルールに基づいています。
今月、中国の清華大学のチームがレシピを変更した。彼らは ニューラルネットワークチップを構築しました 電気ではなく光を使用して、わずかなエネルギーコストで AI タスクを実行します。 NVIDIAのH100、AI モデルのトレーニングと実行に使用される最先端のチップ。
Taichi と呼ばれるこのチップは、2 種類の光ベースの処理を内部構造に組み合わせています。以前と比較して 光学チップ, Taichi は、手書きの数字やその他の画像の認識など、比較的単純なタスクでははるかに正確です。前任者とは異なり、このチップはコンテンツも生成できます。たとえば、オランダの芸術家フィンセント ファン ゴッホをベースにしたスタイルで基本的な画像を作成したり、ヨハン セバスティアン バッハからインスピレーションを得たクラシック音楽の曲を作成したりできます。
Taichi の効率の一部はその構造によるものです。チップはチップレットと呼ばれる複数のコンポーネントで構成されています。脳の組織と同様に、各チップレットは独自の計算を並行して実行し、その結果が他のチップレットと統合されて解決策が得られます。
1,000 カテゴリを超える画像を分離するという困難な問題に直面しましたが、Taichi はほぼ 92% の確率で成功し、現在のチップのパフォーマンスに匹敵しながら、エネルギー消費を XNUMX 分の XNUMX 以上削減しました。
AI にとって、「より高度なタスクを処理する傾向は、不可逆的である」と著者らは書いています。 「Taichi は大規模なフォトニック(光ベースの)コンピューティングへの道を切り開き」、より低いエネルギーコストでより柔軟な AI につながります。
肩のチップ
今日のコンピューター チップは AI とうまく適合しません。
問題の一部は構造的なものです。従来のチップの処理とメモリは物理的に分離されています。それらの間でデータをやり取りするには、膨大なエネルギーと時間がかかります。
このセットアップは、比較的単純な問題を解決するには効率的ですが、ChatGPT を強化する大規模な言語モデルなどの複雑な AI に関しては、信じられないほど電力を消費します。
主な問題は、コンピューターチップがどのように構築されるかです。各計算はトランジスタに依存しており、トランジスタは計算で使用される 0 と 1 を表すためにオンまたはオフになります。エンジニアは、チップ上にさらに多くのトランジスタを詰め込めるように、数十年にわたってトランジスタを大幅に縮小してきました。しかし、現在のチップ技術は、これ以上小型化できない限界点に向かって進んでいます。
科学者たちは長い間、現在のチップを改良することを模索してきました。脳にヒントを得た戦略の 1 つは、同じ場所で情報を計算して保存する「シナプス」(ニューロンを接続する生物学的な「ドック」)に依存しています。これらの脳にヒントを得た、またはニューロモーフィックなチップは、エネルギー消費を削減し、計算を高速化します。しかし、現在のチップと同様に、それらは電気に依存しています。
もう 1 つのアイデアは、まったく異なるコンピューティング メカニズム、つまり光を使用することです。 「フォトニック・コンピューティング」は「ますます注目を集めている」と著者らは書いている。電気を使うのではなく、光の粒子を乗っ取って光の速さでAIを動かすことも可能かもしれない。
Let There Be Light
電気ベースのチップと比較して、光は消費電力がはるかに少なく、同時に複数の計算に取り組むことができます。これらの特性を利用して、科学者たちは、AI チップに電気の代わりに光子 (光の粒子) を使用する光ニューラル ネットワークを構築しました。
これらのチップは 2 つの方法で動作します。 1 つは、チップが光信号を操作されたチャネルに散乱させ、最終的に光線を結合して問題を解決するというものです。回折と呼ばれるこれらの光ニューラル ネットワークは、人工ニューロンを密に詰め込み、エネルギー コストを最小限に抑えます。しかし、それらは簡単には変更できません。つまり、単一の単純な問題にしか取り組むことができません。
異なる設定は、干渉と呼ばれる光の別の特性に依存します。海の波のように、光の波は結合し、互いに打ち消し合います。チップ上のマイクロトンネル内では、それらが衝突してお互いを強化したり抑制したりする可能性があり、これらの干渉パターンを計算に使用できます。干渉に基づくチップは、干渉計と呼ばれるデバイスを使用して簡単に再構成できます。問題は、物理的に大きく、大量のエネルギーを消費することです。
あとは精度の問題ですね。干渉実験によく使用される彫刻されたチャネルでも、光は跳ね返ったり散乱したりするため、計算の信頼性が低くなります。単一の光ニューラル ネットワークの場合、エラーは許容できます。しかし、光ネットワークが大規模になり、問題がより複雑になると、ノイズが指数関数的に増加し、耐えられなくなります。
これが、光ベースのニューラル ネットワークを簡単にスケールアップできない理由です。これまでのところ、彼らは数字や母音の認識などの基本的なタスクしか解決できていません。
「既存のアーキテクチャの規模を拡大しても、それに比例してパフォーマンスは改善されません」とチームは書いています。
ダブル·トラブル
新しい AI である Taichi は、2 つの特性を組み合わせて、光ニューラル ネットワークを現実世界での使用に向けて推進しました。
チームは、単一のニューラル ネットワークを構成するのではなく、タスクのさまざまな部分を複数の機能ブロックに委任するチップレット方式を使用しました。各ブロックには独自の長所がありました。1 つは回折を分析するために設定され、短時間で大量のデータを圧縮できました。別のブロックには干渉を提供する干渉計が埋め込まれており、タスク間でチップを簡単に再構成できるようになりました。
深層学習と比較して、Taichi はタスクが複数のチップレットに分散される「浅い」アプローチを採用しました。
標準的な深層学習構造では、レイヤーや時間の経過とともにエラーが蓄積する傾向があります。この設定により、逐次処理から生じる問題を芽のうちに摘み取ります。問題に直面した場合、Taichi はワークロードを複数の独立したクラスターに分散し、最小限のエラーでより大きな問題に簡単に対処できるようにします。
戦略は報われた。
Taichi は合計 4,256 個の人工ニューロンの計算能力を備えており、学習と記憶をコード化する脳の接続を模倣する 14 万近くのパラメーターを備えています。画像を1,000のカテゴリに分類した場合、フォトニックチップの精度はほぼ92パーセントで、「現在普及している電子ニューラルネットワーク」に匹敵すると研究チームは書いている。
このチップは、異なるアルファベットの手書き文字の識別など、他の標準的な AI 画像認識テストでも優れた成績を収めました。
最終テストとして、チームはフォトニック AI にさまざまなアーティストやミュージシャンのスタイルでコンテンツを把握して再作成することに挑戦しました。バッハのレパートリーでトレーニングを受けると、AI は最終的に音楽家のピッチと全体的なスタイルを学習しました。同様に、有名な絵画の背後にある芸術家であるファン ゴッホやエドヴァルド ムンクの画像、 悲鳴AI に入力すると、同様のスタイルの画像を生成できるようになりましたが、その多くは幼児のレクリエーションのように見えました。
光ニューラルネットワークには、まだまだ発展すべき点がたくさんあります。しかし、広く使用されれば、現在の AI システムに代わるよりエネルギー効率の高い代替手段となる可能性があります。 Taichi は、以前のバージョンよりもエネルギー効率が 100 倍以上優れています。しかし、このチップには依然として電力およびデータ転送ユニット用のレーザーが必要であり、これらを凝縮するのは困難です。
次にチームは、すぐに入手できるミニレーザーやその他のコンポーネントを単一の凝集したフォトニックチップに統合したいと考えています。一方、彼らは、Taichiが「より強力な光学ソリューションの開発を加速」し、最終的には強力でエネルギー効率の高いAIの「新時代」につながる可能性があることを期待している。
画像のクレジット: スパインターvfx / Shutterstock.com
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源: https://singularityhub.com/2024/04/15/a-new-photonic-computer-chip-uses-light-to-slash-ai-energy-costs/
- :持っている
- :は
- :not
- :どこ
- $UP
- 000
- 1
- 100
- 14
- a
- できる
- 累積する
- 精度
- 正確な
- 越えて
- 高度な
- AI
- AIモデル
- AIシステム
- アルゴリズム
- すべて
- 許可されて
- 許可
- また
- 代替案
- しかし
- 全部
- 金額
- an
- 分析します
- および
- 別の
- アプローチ
- アーキテクチャ
- です
- 人工の
- アーティスト
- Artists
- AS
- At
- 注意
- 著者
- 利用できます
- ベース
- 基本
- BE
- になる
- になる
- き
- 背後に
- の間に
- ブロック
- ブロック
- ブースト
- 脳
- 破壊
- 広く
- 内蔵
- 焙煎が極度に未発達や過発達のコーヒーにて、クロロゲン酸の味わいへの影響は強くなり、金属を思わせる味わいと乾いたマウスフィールを感じさせます。
- by
- 計算
- 計算
- 呼ばれます
- 缶
- 容量
- カテゴリ
- 挑戦した
- 挑戦
- 変更
- チャンネル
- 文字
- AI言語モデルを活用してコードのデバッグからデータの異常検出まで、
- 中国
- チップ
- チップ
- 密接に
- 凝集
- 衝突する
- 組み合わせる
- 組み合わせた
- 組み合わせ
- 来ます
- 来ます
- 企業
- 匹敵します
- 比べ
- 複雑な
- コンポーネント
- 計算的
- 計算
- コンピュータ
- コンピューティング
- 構成する
- 接続する
- Connections
- 消費する
- 消費
- コンテンツ
- 費用
- コスト
- 可能性
- クレジット
- 電流プローブ
- データ
- 取引
- 数十年
- 深いです
- 深い学習
- 依存
- 設計
- 開発
- デバイス
- 異なります
- ドント
- 劇的に
- ドロー
- 原因
- オランダ語
- 各
- 容易
- 簡単に
- 効率
- 効率的な
- 電気
- エレクトロニック
- 埋め込まれた
- エネルギー
- エネルギー消費
- エネルギーコスト
- 設計された
- エンジニア
- 巨大な
- エラー
- さらに
- 最終的に
- EVER
- ますます増加する
- 例
- 優れた
- 既存の
- 実験
- 指数関数的に
- 直面して
- 有名な
- 遠く
- ファイナル
- フレキシブル
- 分数
- から
- 機能的な
- 基本的な
- さらに
- 生成する
- Go
- 把握
- 成長する
- 持っていました
- ハード
- 持ってる
- ハイジャック
- 希望
- 期待して
- 認定条件
- HTTPS
- 飢えました
- アイデア
- 識別
- if
- 画像
- 改善します
- in
- その他の
- ますます
- 信じられないほど
- 独立しました
- 情報
- 内部
- インスピレーションある
- を取得する必要がある者
- 統合する
- 統合された
- 干渉
- 内部
- に
- IT
- 繰り返し
- ITS
- JPG
- 言語
- 大
- 大規模
- より大きい
- レーザー
- 層
- つながる
- 主要な
- 学んだ
- 学習
- less
- 光
- ような
- 場所
- 長い
- 見
- 下側
- 製
- メイン
- make
- 作成
- 多くの
- マッチング
- 五月..
- 意味
- その間
- メカニズム
- メモリ
- メッシュ
- 方法
- 百万
- 最小限の
- 最小限に抑えます
- モデル
- 月
- 他には?
- ずっと
- の試合に
- ミュージカル
- ミュージシャン
- ミュージシャン
- ほぼ
- ネットワーク
- ネットワーク
- ニューラル
- ニューラルネットワーク
- ニューラルネットワーク
- ニューロン
- 新作
- ノイズ
- 番号
- Nvidia
- 海洋
- of
- オフ
- 頻繁に
- on
- ONE
- の
- 〜に
- or
- 組織
- その他
- その他
- でる
- が
- 全体
- 自分の
- パック
- 支払われた
- 絵画
- 並列シミュレーションの設定
- パラメータ
- 部品
- パターン
- 難破船
- パーセント
- パフォーマンス
- 公演
- 実行する
- 期間
- 物理的に
- ピッチ
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- ポイント
- 人気
- 可能
- 電力
- 強力な
- 電源
- 前
- 問題
- 問題
- 処理
- プロパティ
- 財産
- 提供します
- プッシュ
- むしろ
- リーチ
- すぐに
- 現実の世界
- レシピ
- 認識
- 減らします
- 相対的に
- 信頼する
- 頼る
- 表す
- 必要
- 結果
- 上昇
- ラン
- 同じ
- 規模
- 縮尺
- 科学
- 科学者たち
- 彫刻された
- セバスチャン
- 切り離す
- セッションに
- ショート
- シャッター
- 信号
- 同様の
- 同様に
- 簡単な拡張で
- 同時に
- 斬る
- より小さい
- So
- これまでのところ
- 溶液
- 解決する
- 解決
- 洗練された
- 求め
- スピード
- 広がる
- 標準
- 最先端の
- まだ
- 店舗
- 戦略
- 強み
- 構造の
- 構造
- 構造
- 成功した
- そのような
- スイッチ
- 切り替え
- システム
- タックル
- テーラード
- 取り
- タップ
- 仕事
- タスク
- チーム
- テクノロジー
- 傾向があります
- test
- テスト
- より
- それ
- それら
- その後
- そこ。
- ボーマン
- 彼ら
- この
- 時間
- <font style="vertical-align: inherit;">回数</font>
- 〜へ
- 一緒に
- トーン
- あまりに
- 取った
- トータル
- に向かって
- 伝統的な
- トレーニング
- 訓練された
- 転送
- トレンド
- 清華
- 2
- ユニット
- 大学
- 異なり、
- つかいます
- 中古
- 使用されます
- バン
- ヴィンセント
- ました
- 波浪
- 仕方..
- 方法
- we
- WELL
- いつ
- which
- なぜ
- Wikipedia
- 意志
- 仕事
- でしょう
- 書いた
- ゼファーネット