この投稿では、テキストの要約に使用される、最もダウンロードされたHuggingFaceの事前トレーニング済みモデルのXNUMXつを実装する方法を示します。 ディスティルBART-CNN-12-6、Jupyterノートブック内で アマゾンセージメーカー と SageMaker ハグ顔推論ツールキット。 この投稿に示されている手順に基づいて、からのテキストを要約してみることができます ウィキテキスト-2 データセット fast.aiによって管理されます、で入手可能 AWSでのオープンデータのレジストリ.
企業や消費者がデジタル製品やオンラインサービスの使用を拡大するにつれて、グローバルなデータ量はゼタバイト規模で増加しています。 この増大するデータをよりよく理解するために、テキスト分析のための機械学習(ML)自然言語処理(NLP)技術は、テキストの要約、エンティティの認識、分類、翻訳などを含むユースケースに対処するために進化しました。 AWSは事前トレーニング済みを提供しています AWS AIサービス API呼び出しを使用してアプリケーションに統合でき、MLの経験は必要ありません。 例えば、 Amazon Comprehend カスタムエンティティ認識、感情分析、キーフレーズ抽出、トピックモデリングなどのNLPタスクを実行して、テキストから洞察を収集できます。 実行できます 多種多様な言語でのテキスト分析 そのさまざまな機能のために。
テキスト要約は、ソースドキュメントからコンテキスト上意味のある情報のサブセットを作成するため、大量のテキストデータを理解するのに役立つ手法です。 このNLP手法をより長い形式のテキスト文書や記事に適用して、たとえば会議からの通話メモを要約するなど、より迅速な消費とより効果的な文書索引付けを可能にすることができます。
ハグ顔 は、NLPで人気のあるオープンソースライブラリであり、さまざまなフレームワークをサポートする49,000185を超える言語でXNUMXを超える事前トレーニング済みモデルを備えています。 AWSとHuggingFaceには パートナーシップ これにより、SageMakerを介して、PyTorchまたはTensorFlowでのトレーニングと推論、およびSageMaker PythonSDKのHuggingFaceエスティメータとプレディクタ用の一連のAWSディープラーニングコンテナ(DLC)とのシームレスな統合が可能になります。 SageMakerのこれらの機能は、開発者とデータサイエンティストがAWSでNLPをより簡単に開始するのに役立ちます。 PyTorchなどのディープラーニングフレームワークでトランスフォーマーを使用してテキストを処理することは、通常、データサイエンティストにとって複雑で時間のかかる作業であり、NLPプロジェクトを開発する際のフラストレーションや効率の欠如につながることがよくあります。 Hugging FaceのようなAIコミュニティの台頭は、SageMakerのようなクラウドのMLサービスの力と組み合わされて、これらのテキスト処理タスクの開発を加速および簡素化します。 SageMakerは、Hugging Faceモデルの構築、トレーニング、デプロイ、運用を支援します。
テキスト要約の概要
テキスト要約を適用して、ドキュメント内のキーセンテンスを識別したり、複数のドキュメント間でキーセンテンスを識別したりできます。 テキストの要約では、抽出と抽象のXNUMX種類の要約を作成できます。 抽出サマリーには、マシンで生成されたテキストは含まれず、入力ドキュメントから選択された重要な文のコレクションです。 要約要約には、テキスト要約モデルによって生成された、人間が読める新しいフレーズや文が含まれています。 正確な抽象テキスト要約を実現するのは難しいため、ほとんどのテキスト要約システムは抽出要約に基づいています。
Hugging Faceには、400を超える事前トレーニング済みの最先端技術があります 利用可能なテキスト要約モデル、NLP技術のさまざまな組み合わせを実装します。 これらのモデルは、さまざまなデータセットでトレーニングされ、テクノロジー企業やHuggingFaceコミュニティのメンバーによってアップロードおよび保守されています。 最もダウンロードされた、または最も気に入ったモデルでフィルタリングし、使用時に直接ロードすることができます。 要約パイプラインHuggingFaceトランスフォーマーAPI。 Hugging Faceトランスフォーマーは、NLP実装プロセスを簡素化するため、MLの操作に関する広範な知識を必要とせずに、高性能NLPモデルを微調整してテキストの要約を提供できます。
AWSでのHuggingFaceテキスト要約モデル
SageMakerは、ビジネスアナリスト、データサイエンティスト、MLOpsエンジニアに、AWSでMLワークロードを設計および運用するためのツールの選択肢を提供します。 これらのツールは、最適な結果を達成するためのMLモデルのより迅速な実装とテストを提供します。
ノーザンダイバー社の SageMaker ハグ顔推論ツールキット、オープンソースライブラリでは、Jupyterノートブックを使用してHuggingFaceテキスト要約モデルを実装およびホストするXNUMXつの異なる方法の概要を説明します。
- HuggingFace要約パイプライン –を作成します HuggingFace要約パイプライン 「
summarization
」タスク識別子。Jupyterノートブック内の推論にデフォルトのテキスト要約モデルを使用します。 これらのパイプラインは複雑なコードを抽象化し、初心者のML実践者に、推論エンドポイントを構成せずにテキストの要約をすばやく実装するためのシンプルなAPIを提供します。 パイプラインにより、ML実践者は、事前にトレーニングされた特定のモデルとそれに関連するトークナイザーを選択することもできます。 トークナイザーは、テキストを単語またはサブワードに分割し、ルックアップテーブルを介してIDに変換することにより、モデルの入力として使用できるようにテキストを準備します。 簡単にするために、次のコードスニペットはパイプラインを使用する場合のデフォルトのケースを提供します。 The ディスティルBART-CNN-12-6 モデルは、Hugging Faceで最もダウンロードされた要約モデルのXNUMXつであり、 要約パイプラインのデフォルトモデル。 最後の行は、事前にトレーニングされたモデルを呼び出して、提供されたXNUMXつの引数が与えられた場合に渡されたテキストの要約を取得します。 - 事前にトレーニングされたモデルを使用したSageMakerエンドポイント –事前にトレーニングされたモデルを使用してSageMakerエンドポイントを作成します フェイスモデルハブを抱き締める 次のコードスニペットのml.m5.xlargeインスタンスなどの推論エンドポイントにデプロイします。 この方法により、経験豊富なML実践者は、特定のオープンソースモデルをすばやく選択して微調整し、モデルを高性能の推論インスタンスにデプロイできます。
- トレーニング済みモデルを使用したSageMakerエンドポイント –トレーニング済みモデルを保存したSageMakerモデルエンドポイントを作成します Amazon シンプル ストレージ サービス (Amazon S3)バケットを作成し、推論エンドポイントにデプロイします。 この方法により、経験豊富なML実践者は、AmazonS3に保存されている独自のモデルを高性能の推論インスタンスにすばやくデプロイできます。 モデル自体はHuggingFaceからダウンロードされて圧縮され、AmazonS3にアップロードできます。 この手順は、次のコードスニペットで示されています。
AWSには、MLワークロードのデプロイを支援するために利用できるいくつかのリソースがあります。 The 機械学習レンズ AWSの適切に設計されたフレームワーク リソースの最適化やコストの削減など、MLワークロードのベストプラクティスを推奨します。 これらの推奨される設計原則により、AWSで適切に設計されたMLワークロードが本番環境にデプロイされます。 AmazonSageMaker推論レコメンダー 最適な推論パフォーマンスとコストでMLモデルをデプロイするための適切なインスタンスを選択するのに役立ちます。 Inference Recommendationrは、負荷テストを自動化し、MLインスタンス全体でモデルのパフォーマンスを最適化することにより、モデルの展開をスピードアップし、市場投入までの時間を短縮します。
次のセクションでは、トレーニング済みモデルをS3バケットからロードし、適切な推論インスタンスにデプロイする方法を示します。
前提条件
このチュートリアルでは、次の前提条件を満たしている必要があります。
- An AWSアカウント.
- Jupyter ノートブック内の Amazon SageMakerスタジオ または SageMaker ノートブック インスタンス。この投稿では、提供されたコード スニペットとともに「Python 3 (PyTorch 1.4 Python 3.6 CPU Optimized)」イメージを使用しますが、他の上位バージョンの PyTorch イメージを使用することもできます。 利用可能な SageMaker カーネル.
- S3 バケット内のデータセット。 ウィキテキスト-2 からのデータセット AWSでのオープンデータのレジストリ.
テキスト要約推論のためにHuggingFaceモデルをSageMakerにロードします
次のコードを使用して、HuggingFaceの事前トレーニング済みテキスト要約モデルをダウンロードします ディスティルBART-CNN-12-6 とそのトークナイザーを使用して、SageMakerのJupyterノートブックディレクトリにローカルに保存します。
保存されたテキスト要約モデルとそのトークナイザーをtar.gz形式に圧縮し、圧縮されたモデルアーティファクトをS3バケットにアップロードします。
選択する 推論Dockerコンテナイメージ テキスト要約推論を実行します。 Linux OS、PyTorchフレームワーク、およびHugging Face Transformerのバージョンを定義し、 アマゾン エラスティック コンピューティング クラウド (Amazon EC2)コンテナを実行するためのインスタンスタイプ。
Dockerイメージはで利用可能です Amazon エラスティック コンテナ レジストリ (Amazon ECR)同じAWSアカウントであり、そのコンテナイメージのリンクがURIとして返されます。
推論を実行する選択されたコンテナイメージによって展開されるテキスト要約モデルを定義します。 次のコードスニペットでは、AmazonS3にアップロードされた圧縮モデルがデプロイされています。
サンプル入力で展開されたテキスト要約モデルをテストします。
推論レコメンダーを使用して、推論タスクに最適なEC2インスタンスを評価します
次に、入力テキストの複数のペイロードサンプルをJSON形式で作成し、それらを単一のペイロードファイルに圧縮します。 これらのペイロードサンプルは、異なるEC2インスタンスタイプ間の推論パフォーマンスを比較するために推論レコメンダーによって使用されます。 各サンプルペイロードは、前に示したJSON形式と一致する必要があります。 あなたはから例を得ることができます ウィキテキスト-2 データセット fast.aiによって管理されます、で入手可能 AWSでのオープンデータのレジストリ.
圧縮されたテキスト要約モデルアーティファクトと圧縮されたサンプルペイロードファイルをS3バケットにアップロードします。 前のステップでモデルをアップロードしましたが、わかりやすくするために、モデルを再度アップロードするためのコードを含めています。
SageMakerで利用可能な標準MLモデルのリストを確認してください 一般的なモデル動物園、NLPやコンピュータビジョンなど。 NLPモデルを選択して、テキスト要約推論を実行します。
次の例では、 bert-base-cased
NLPモデル。 テキスト要約モデルをに登録します SageMakerモデルレジストリ 前の手順で正しく識別されたドメイン、フレームワーク、およびタスクを使用します。 この例のパラメーターは、次のコードスニペットの冒頭に示されています。
InferenceRecommenderによって評価されるEC2インスタンスタイプの範囲に注意してください。 SupportedRealtimeInferenceInstanceTypes
次のコードで。 次のことを確認してください AWSアカウントのサービス制限 これらのタイプの推論ノードの展開を許可します。
を使用して推論レコメンダーのデフォルトジョブを作成します ModelPackageVersion
前のステップの結果です。 The uuid
Pythonライブラリは、ジョブの一意の名前を生成するために使用されます。
次のコードを実行すると、推論推奨ジョブのステータスを取得できます。
ジョブステータスが COMPLETED
、推論レコメンダーのデフォルトジョブによって評価されたEC2インスタンスタイプの推論レイテンシー、ランタイム、およびその他のメトリックを比較します。 ユースケースの要件に基づいて、適切なノードタイプを選択します。
まとめ
SageMakerは、HuggingFaceモデルを使用するための複数の方法を提供します。 その他の例については、 AWSサンプルGitHub。 ユースケースの複雑さとモデルの微調整の必要性に応じて、これらのモデルを使用するための最適な方法を選択できます。 Hugging Faceパイプラインは、適切なモデルをすばやく実験して選択するための良い出発点になります。 選択したモデルをカスタマイズしてパラメーター化する必要がある場合は、モデルをダウンロードして、カスタマイズされた推論エンドポイントにデプロイできます。 特定のユースケースに合わせてモデルをさらに微調整するには、モデルをダウンロードした後にトレーニングする必要があります。
テキスト要約モデルを含む一般的なNLPモデルは、ユースケースに固有のデータセットでトレーニングされた後のパフォーマンスが向上します。 SageMakerのMLOPとモデル監視機能により、デプロイされたモデルが期待どおりに機能し続けることが保証されます。 この投稿では、推論レコメンダーを使用して、テキスト要約モデルをデプロイするのに最適なインスタンスタイプを評価しました。 これらの推奨事項により、MLユースケースのパフォーマンスとコストを最適化できます。
著者について
ニダル・アルベイルティ博士 アマゾンウェブサービスのシニアソリューションアーキテクトであり、機械学習ソリューションに情熱を注いでいます。 Nidalは、さまざまなレベルおよび業種でさまざまなグローバルITの役割に携わってきた25年以上の経験があります。 Nidalは、多くのAWSのお客様がクラウド導入の過程をサポートし、加速するための信頼できるアドバイザーとして機能します。
ダレン・コ ロンドンを拠点とするソリューションアーキテクトです。 彼は、英国とアイルランドの中小企業の顧客に、クラウドでの再設計と革新についてアドバイスしています。 ダレンはサーバーレスアーキテクチャで構築されたアプリケーションに興味があり、機械学習で持続可能性の課題を解決することに情熱を注いでいます。
- '
- "
- 000
- 10
- 100
- 28
- a
- 私たちについて
- 抽象
- 加速する
- 正確な
- 達成する
- 越えて
- 住所
- 養子縁組
- 顧問
- AI
- ことができます
- Amazon
- Amazon Webサービス
- 金額
- 分析
- API
- Apple
- 申し込む
- 引数
- 物品
- 関連する
- 自動化する
- 利用できます
- 受賞
- AWS
- なぜなら
- 開始
- さ
- BEST
- ベストプラクティス
- の間に
- ビルド
- ビジネス
- コール
- 取得することができます
- 機能
- 場合
- 例
- 課題
- 選択
- class
- 分類
- クラウド
- コード
- コレクション
- 組み合わせ
- 組み合わせた
- コミュニティ
- コミュニティ
- 企業
- 複雑な
- 計算
- コンピュータ
- 消費者
- 消費
- コンテナ
- コンテナ
- 続ける
- 作ります
- 作成します。
- カスタム
- Customers
- カスタマイズ
- データ
- 中
- 深いです
- 配達
- 実証します
- 実証
- によっては
- 展開します
- 展開
- 展開する
- 展開
- 設計
- 開発者
- 開発
- 開発
- 異なります
- 難しい
- デジタル
- 直接に
- ディスプレイ
- デッカー
- 医師
- ドキュメント
- ドメイン
- ドメイン
- ダウンロード
- 各
- 簡単に
- 効果的な
- 効率
- 有効にする
- エンドポイント
- エンジニア
- エンティティ
- 環境
- 評価する
- 例
- 例
- 詳細
- 期待
- 体験
- 経験豊かな
- 実験
- 広範囲
- 顔
- スピーディー
- 速いです
- 特徴
- フォロー中
- 形式でアーカイブしたプロジェクトを保存します.
- フレームワーク
- フレームワーク
- から
- 生成する
- 生成された
- グローバル
- 良い
- 成長
- 助けます
- 役立つ
- ことができます
- より高い
- 認定条件
- How To
- HTTPS
- ハブ
- 人間が読める
- 識別する
- 画像
- 実装する
- 実装
- 実装
- 重要
- include
- 含めて
- 情報
- 革新的
- 洞察
- 統合された
- 統合
- 興味がある
- アイルランド
- IT
- 自体
- ジョブ
- 旅
- キー
- 知識
- 言語
- ESL, ビジネスESL <br> 中国語/フランス語、その他
- 大
- 主要な
- 学習
- レベル
- 図書館
- 制限
- LINE
- LINK
- linuxの
- リスト
- 負荷
- 局部的に
- ロンドン
- 検索
- 機械
- 機械学習
- make
- 市場
- 一致
- 意味のある
- ミーティング
- メンバー
- メトリック
- ML
- モデル
- モニタリング
- 他には?
- 最も
- の試合に
- ナチュラル
- 次の
- ノード
- ノート
- ノート
- 提供すること
- オファー
- オンライン
- 開いた
- 操作する
- 操作
- 最適化
- 最適化
- 最適化
- その他
- 自分の
- 情熱
- 情熱的な
- パフォーマンス
- 実行
- フレーズ
- ポイント
- 人気
- 電力
- 準備
- 前
- プロセス
- 処理
- 作り出す
- 生産
- 製品
- プロジェクト(実績作品)
- 提供します
- 提供
- は、大阪で
- すぐに
- 範囲
- お勧めする
- 縮小
- 地域
- 登録
- 要求
- 必要とする
- 要件
- リソース
- 結果として
- 職種
- ラン
- ランニング
- 同じ
- 規模
- 科学者たち
- SDDK
- シームレス
- 選択
- 感情
- サーバレス
- サービス
- セッションに
- いくつかの
- 示す
- 簡単な拡張で
- So
- ソリューション
- 特定の
- 速度
- 標準
- 開始
- 最先端の
- Status:
- ストレージ利用料
- サポート
- 3つの柱
- システム
- タスク
- テクニック
- テクノロジー
- テスト
- 三
- 介して
- 時間
- 時間がかかる
- 豊富なツール群
- トピック
- トレーニング
- インタビュー
- 信頼されている
- 一般的に
- Uk
- 下
- わかる
- 理解する
- ユニーク
- つかいます
- 多様
- さまざまな
- バージョン
- 垂直
- ビジョン
- ボリューム
- 方法
- ウェブ
- Webサービス
- 以内
- 無し
- 言葉
- ワーキング
- X
- 年
- あなたの