主要な大規模言語モデルは説得力があるかもしれませんが、実際にそれらを有意義な規模で展開およびトレーニングするためのリソースを持っているのは大企業だけであるという事実は変わりません。
AIを競争上の優位性に活用することを熱望している企業にとって、特に特定の業界やドメインに合わせて調整できる場合は、より安価で簡素化された代替手段の方が適している可能性があります。
ここで、ニッチを切り開くことを望んでいる新しいAIスタートアップのセットがあります。それは、おそらくそれほど強力ではない、まばらで調整されたモデルを構築することによってです。 GPT-3、エンタープライズユースケースには十分であり、コモディティDDR用の高価な高帯域幅メモリ（HBM）を捨てるハードウェアで実行されます。
ドイツのAIスタートアップAlephAlphaはその一例です。 2019年に設立された、ドイツのハイデルベルクに本拠を置く会社 明るい 自然言語モデルは、OpenAIのGPT-3と同じ見出しをつかむ機能の多くを誇っています。たとえば、コピーライティング、分類、要約、翻訳などです。
モデルのスタートアップはGraphcoreと協力して、英国でまばらな言語モデルを調査および開発しました。 チップメーカーのハードウェア.
「GraphcoreのIPUは、条件付きスパース性などの高度な技術的アプローチを評価する機会を提供します」とAlephAlphaのCEOであるJonasAndruliusは次のように述べています。 ステートメント。 「これらのアーキテクチャは、間違いなくAlephAlphaの将来の研究で役割を果たすでしょう。」
グラフコアのスパース性への大きな賭け
条件付きスパースモデル（エキスパートまたはルーテッドモデルの混合と呼ばれることもあります）は、該当するパラメーターに対してのみデータを処理します。これにより、モデルの実行に必要なコンピューティングリソースを大幅に削減できます。
たとえば、言語モデルがインターネット上のすべての言語でトレーニングされ、ロシア語で質問された場合、そのデータをモデル全体で実行することは意味がなく、ロシア語に関連するパラメータのみが実行されます。 GraphcoreのCTOであるSimonKnowlesは、 登録.
「それは完全に明白です。 これがあなたの脳の働きであり、AIの働きでもあります」と彼は言いました。 「これは何度も言いましたが、AIが多くのことを実行できるのであれば、XNUMXつのことを実行するためにすべての知識にアクセスする必要はありません。」
この種のモデルに合わせたアクセラレータを構築しているKnowlesは、当然のことながら、それらがAIの未来であると信じています。 「来年までに、誰かが高密度言語モデルを構築しているとしたら、私は驚きます」と彼は付け加えました。
HBM-2は高価ですか？ 代わりにDDRにキャッシュイン
スパース言語モデルには課題があります。 Knowlesによると、最も差し迫ったもののXNUMXつは、記憶に関係しています。 これらのモデルに必要な帯域幅と容量を実現するためにハイエンドGPUで使用されるHBMは高価であり、さらに高価なアクセラレータに接続されています。
これは、すべてのコンピューティングとメモリが必要になる可能性がある高密度言語モデルでは問題になりませんが、コンピューティングよりもメモリを優先するスパースモデルでは問題になると彼は説明しました。
NvidiaのNVLinkなどの相互接続技術を使用して複数のGPUにメモリをプールできますが、モデルがそのすべてのコンピューティングを必要としない場合は、GPUをアイドル状態のままにしておくことができます。 「それはメモリを購入するための本当に高価な方法です」とKnowlesは言いました。
Graphcoreのアクセラレータは、コンピューティング自体と同じくらい古い手法であるキャッシングを借用することで、この課題を回避しようとします。 各IPUは、これらのモデルの帯域幅要件を満たすために比較的大きなSRAMキャッシュ（1GB）を備えていますが、生の容量は安価なDDR4メモリの大きなプールを使用して実現されます。
「SRAMが多ければ多いほど、必要なDRAM帯域幅は少なくなります。これにより、HBMを使用できなくなります」とKnowles氏は述べています。
アクセラレータからメモリを切り離すことにより、企業がより大きなAIモデルをサポートするためのコストがはるかに低くなります（いくつかのコモディティDDRモジュールのコスト）。
Knowlesは、より安価なメモリをサポートすることに加えて、少なくともスパースモデルに関しては、同社のIPUにはGPUよりもアーキテクチャ上の利点があると主張しています。
テンソルプロセッシングユニットで見られるように、少数の大きな行列乗算器で実行する代わりに、Graphcoreのチップは、メモリを個別にアドレス指定できる多数の小さな行列数学ユニットを備えています。
これにより、スパースモデルの粒度が向上します。「関連するサブセットをフェッチする自由が必要であり、フェッチする必要のあるユニットが小さいほど、自由度が高くなります」と彼は説明しました。
評決はまだ出ていない
まとめると、Knowlesは、このアプローチにより、IPUが数千億または数兆ものパラメーターを備えた大規模なAI / MLモデルを、GPUと比較して大幅に低いコストでトレーニングできるようになると主張しています。
ただし、エンタープライズAI市場はまだ揺籃期にあり、Graphcoreは、この分野で、より大きく、より確立されたライバルとの激しい競争に直面しています。
そのため、AIの超スパースでカットレートの言語モデルの開発がすぐに衰える可能性は低いですが、それがGraphcoreのIPUなのか、それとも他の誰かのアクセラレーターなのか、最終的にエンタープライズAIワークロードを強化するのかどうかは不明です。 ®
