AWS と Hugging Face が協力して、ジェネレーティブ AI をよりアクセスしやすく、費用対効果の高いものにします

ジェネレーティブ AI アプリケーションの作成に使用される大規模な言語およびビジョンモデルのトレーニング、微調整、および展開を加速するために、AWS と Hugging Face の間の拡張されたコラボレーションを発表できることを嬉しく思います。 Generative AI アプリケーションは、テキストの要約、質問への回答、コード生成、画像の作成、エッセイや記事の作成など、さまざまなタスクを実行できます。

AWS には、ジェネレーティブ AI におけるイノベーションの深い歴史があります。 たとえば、Amazon は AI を使用して、顧客が毎週何十億回もやり取りしている Alexa との会話体験を提供しています。 Alexa で作成する. さらに、Amazon Search 内のグループである M5 は、Amazon 全体のチームが大規模なモデルをアプリケーションに導入し、大規模なモデルをトレーニングして改善するのを支援します。 Amazon.com での検索結果. AWS は、インフラストラクチャ、ツール、 アマゾンセージメーカー、AI サービスなど アマゾン コード ウィスパラーは、IDE のコードとコメントに基づいてコードの推奨事項を生成することにより、開発者の生産性を向上させるサービスです。 AWS は、トレーニング用に専用の ML アクセラレーターも作成しました (AWS トレーニング) と推論 (AWSインフェレンティア) AWS での大規模な言語モデルとビジョン モデル。

Hugging Face が AWS を選択したのは、以下を含む Hugging Face モデルをトレーニング、微調整、およびデプロイするための最先端のツール全体に柔軟性を提供するためです。 アマゾンセージメーカー, AWS トレーニング, AWSインフェレンティア. Hugging Face を使用する開発者は、パフォーマンスを簡単に最適化し、コストを削減して、ジェネレーティブ AI アプリケーションをより迅速に運用できるようになりました。

高性能で費用対効果の高いジェネレーティブ AI

大規模な言語およびビジョン モデルの構築、トレーニング、デプロイは、費用と時間がかかるプロセスであり、機械学習 (ML) に関する深い専門知識が必要です。 モデルは非常に複雑で、何千億ものパラメータを含む可能性があるため、ジェネレーティブ AI は多くの開発者にとって手が届かないところにあります。

このギャップを埋めるために、Hugging Face は現在 AWS と協力して、開発者が AWS サービスにアクセスしやすくし、生成 AI アプリケーション専用の Hugging Face モデルをデプロイしやすくしています。 利点は次のとおりです。より高速なトレーニングと、低レイテンシーで高スループットの推論のスケーリング。 たとえば、Amazon EC2 Trn1 インスタンスは、 AWS トレーニング 同等の GPU ベースのインスタンスよりも最大 50% のコスト削減を実現しながら、トレーニング時間を短縮します。 Amazon EC2 の新しい Inf2 インスタンスは、最新世代の AWSインフェレンティア、最新世代の大規模な言語およびビジョン モデルを展開し、最大 1 倍のスループットと最大 4 倍の低レイテンシを実現することで Inf10 のパフォーマンスを向上させるために構築されています。 開発者は、ML 用のツールとワークフローを備えたサービスである Amazon SageMaker などのマネージド サービスを通じて、AWS Trainium と AWS Inferentia を使用できます。 または、Amazon EC2 で自己管理できます。

今日から始めましょう

AWS で Hugging Face モデルの使用を開始するには、次の XNUMX つの方法があります。SageMaker を使用する ジャンプスタート、 　 ハグフェイス AWS Deep Learning Containers (DLC),  または チュートリアル モデルを AWS Trainium または AWS Inferentia にデプロイします。 Hugging Face DLC には、最適化されたトランスフォーマー、データセット、およびトークナイザー ライブラリが詰め込まれており、最小限のコード変更で生成 AI アプリケーションを数週間ではなく数時間で大規模に微調整およびデプロイできるようになります。 SageMaker JumpStart と Hugging Face DLC は、 すべての地域 Amazon SageMaker の場所 利用できます 追加料金なしでご利用いただけます。 読む ドキュメント および ディスカッションフォーラム詳細を確認するか、 サンプルノートブック 。

• SEO を活用したコンテンツと PR 配信。 今日増幅されます。
• Platoblockchain。 Web3メタバースインテリジェンス。 知識の増幅。 こちらからアクセスしてください。
• 情報源： https://aws.amazon.com/blogs/machine-learning/aws-and-hugging-face-collaborate-to-make-generative-ai-more-accessible-and-cost-efficient/