Amazon SageMaker Ground Truth Plus PlatoBlockchain Data Intelligence の新しい組み込みインターフェースを使用することで、本番グレードのデータをより迅速に取得できます。垂直検索。あい。

Amazon SageMaker Ground Truth Plus の新しい組み込みインターフェイスを使用して、本番グレードのデータをより迅速に取得します

タイムスタンプ：22年2022月2日36:XNUMX

AWS re:Invent 2021 で発表された、 Amazon SageMaker グラウンド トゥルース プラス は、データ ラベル付けアプリケーションの構築とラベル付け作業員の管理に関連する、差別化につながらない重労働を取り除くことで、高品質のトレーニング データセットを作成するのに役立ちます。 データをラベル付け要件とともに共有するだけで、Ground Truth Plus はこれらの要件に基づいてデータのラベル付けワークフローを設定および管理します。 そこから、さまざまな機械学習 (ML) タスクのトレーニングを受けた専門家がデータにラベルを付けます。 Ground Truth Plus を使用するのに、ML に関する深い専門知識やワークフロー設計および品質管理の知識は必要ありません。

本日、Ground Truth Plus の新しいビルトイン インターフェイスのリリースを発表できることを嬉しく思います。 この新しい機能により、複数の Ground Truth Plus ユーザーが新しい プロジェクト および バッチ、データを共有し、セルフサービス インターフェイスを介して同じ AWS アカウントを使用してデータを受信します。 これにより、プロジェクトのセットアップ時間を短縮して、高品質のトレーニング データセットの開発を加速できます。 さらに、スコープを設定することで、データへのきめ細かいアクセスを制御できます。 AWS IDおよびアクセス管理 (IAM) ロールのアクセス許可は、個々のレベルに合わせて Amazon シンプル ストレージ サービス (Amazon S3) アクセス、および特定のバケットへのアクセスを取り消すオプションが常にあります。

これまで、Ground Truth Plus オペレーション プログラム マネージャー (OPM) に連絡して、新しいデータ ラベルを作成する必要がありました。 プロジェクト(実績作品) および バッチ. このプロセスには、3 人のユーザーのみが新しいプロジェクトとバッチをリクエストできるため、いくつかの制限がありました。組織内の複数のユーザーが同じ AWS アカウントを使用している場合、Ground Truth Plus を使用して新しいデータ ラベル付けプロジェクトとバッチをリクエストできるのは 3 人のユーザーのみです。コンソール。 さらに、このプロセスでは、複数の手動タッチポイントと、問題が発生した場合に必要なトラブルシューティングが原因で、ラベル付けプロセスの開始に人為的な遅延が生じました。 これとは別に、すべてのプロジェクトがデータへのアクセスに同じ IAM ロールを使用しました。 したがって、さまざまな Amazon S3 バケットなどのさまざまなデータ ソースへのアクセスが必要なプロジェクトやバッチを実行するには、Ground Truth Plus OPM に依存してアカウント固有の SXNUMX ポリシーを提供する必要があり、それを SXNUMX バケットに手動で適用する必要がありました。 この操作全体が手作業で集中的に行われるため、運用上のオーバーヘッドが発生していました。

この投稿では、新しいプロジェクトとバッチを作成し、データを共有し、新しいセルフサービス インターフェイスを使用してデータを受信し、ラベル付けプロセスを効率的に開始する手順について説明します。 この投稿は、Ground Truth Plus に精通していることを前提としています。 詳細については、次を参照してください。 Amazon SageMaker Ground Truth Plus – コードや社内リソースなしでトレーニング データセットを作成.

ソリューションの概要

次の方法を示します。

  • 既存のプロジェクトを更新する
  • 新しいプロジェクトをリクエストする
  • プロジェクトチームを立ち上げる
  • バッチを作成する

前提条件

開始する前に、次の前提条件があることを確認してください。

  • An AWSアカウント
  • IAM ロールを作成するためのアクセス権を持つ IAM ユーザー
  • 　 アマゾン S3 URI ラベル付けオブジェクトが保存されているバケットの

既存のプロジェクトを更新する

この投稿で説明されている新機能のリリース (9 年 2022 月 XNUMX 日) より前に Ground Truth Plus プロジェクトがある場合は、既存の Ground Truth Plus プロジェクトでこれらの機能を使用できるように、IAM ロールを作成して共有する必要があります。 . Ground Truth Plus の新規ユーザーは、このセクションをスキップできます。

IAM ロールを作成するには、次の手順を実行します。

  1. IAMコンソールで、 役割を作成する.
  2. 選択 カスタム信頼ポリシー.
  3. ロールに次の信頼関係を指定します。 
    {
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": 
                    "sagemaker-ground-truth-plus.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

  4. 選択する Next.
  5. 選択する ポリシーを作成する.
  6. [JSON] タブで、次のポリシーを指定します。 バケットごとに XNUMX つのエントリを指定して Resource プロパティを更新します。XNUMX つはバケット ARN のみ、もう XNUMX つはバケット ARN の後に /*. たとえば、 　 arn:aws:s3:::my-bucket/myprefix/ および /* 　 arn:aws:s3:::my-bucket/myprefix/*. 
    {
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:GetBucketLocation",
                "s3:ListBucket"
            ],
     "Resource": [
                "",
                "/*",
                "",
                "/*"
            ]
        }
    ]
}

  7. 選択する 次：タグ および 次：レビュー.
  8. ポリシーの名前とオプションの説明を入力します。
  9. 選択する ポリシーを作成する.
  10. このタブを閉じて前のタブに戻り、ロールを作成します。

[アクセス許可の追加] タブに、作成した新しいポリシーが表示されます (表示されない場合はページを更新してください)。

  1. 新しく作成したポリシーを選択し、 Next.
  2. 名前を入力します (例: GTPlusExecutionRole) およびオプションでロールの説明。
  3. 選択する 役割を作成する.
  4. ロール ARN を Ground Truth Plus OPM に提供します。これにより、この新しく作成されたロールで既存のプロジェクトが更新されます。

新しいプロジェクトをリクエストする

新しいプロジェクトをリクエストするには、次の手順を完了します。

  1. ソフトウェア設定ページで、下図のように Ground Truth Plus コンソール、 プロジェクト のセクションから無料でダウンロードできます。

これは、すべてのプロジェクトが一覧表示される場所です。

  1. 選択する プロジェクトを依頼する.

　 プロジェクトを依頼する ページは、最初のコンサルテーション コールのスケジュールを設定し、プロジェクトを設定するのに役立つ詳細を提供する機会です。

  1. プロジェクト名や説明などの一般的な情報を指定するだけでなく、プロジェクトのタスクの種類と、個人を特定できる情報 (PII) が含まれているかどうかを指定する必要があります。

データにラベルを付けるには、Ground Truth Plus は S3 バケット内の生データに一時的にアクセスする必要があります。 ラベル付けプロセスが完了すると、Ground Truth Plus はラベル付け出力を S3 バケットに戻します。 これは、IAM ロールを通じて行われます。 新しいロールを作成するか、IAM コンソールに移動して新しいロールを作成できます (手順については、前のセクションを参照してください)。

  1. ロールを作成する場合は、 カスタムIAMロールARNを入力します IAM ロールの ARN を次の形式で入力します。 arn:aws:iam:::role/.
  2. 組み込みツールを使用するには、下のドロップダウン メニューで IAMの役割、選択する 新しい役割を作成する.
  3. ラベル付けデータのバケットの場所を指定します。 ラベル付けデータの場所がわからない場合、またはラベル付けデータがアップロードされていない場合は、 S3バケット、これにより、Ground Truth Plus がアカウントのすべてのバケットにアクセスできるようになります。
  4. 選択する 創造する ロールを作成します。

あなたの IAM ロールは、次のように識別される Ground Truth Plus を許可します。 sagemaker-ground-truth-plus.amazonaws.com 役割で 信頼ポリシー、S3 バケットで次のアクションを実行します。

[
    "s3:GetObject",
    "s3:PutObject",
    "s3:GetBucketLocation",
    "s3:ListBucket"
]

  1. 選択する プロジェクトを依頼する リクエストを完了します。

Ground Truth Plus OPM は、データ ラベル付けプロジェクトの要件と価格について話し合うために、お客様との最初のコンサルテーション コールをスケジュールします。

プロジェクトチームを立ち上げる

プロジェクトをリクエストしたら、プロジェクト チームを作成してプロジェクト ポータルにログインする必要があります。 プロジェクト チームは、組織またはチームのメンバーにアクセスを提供して、プロジェクトの追跡、指標の表示、およびラベルのレビューを行います。 オプションを使用できます 新しいメンバーをメールで招待する or 既存からメンバーをインポートする アマゾンコグニート ユーザグループ. この投稿では、既存のメンバーをインポートする方法を示します アマゾンコグニート プロジェクト チームにユーザーを追加するためのユーザー グループ。

  1. ソフトウェア設定ページで、下図のように Ground Truth Plus コンソール、 プロジェクトチーム のセクションから無料でダウンロードできます。
  2. 選択する プロジェクトチームを作成します。
  3. 選択する 既存の Amazon Cognito ユーザー グループからメンバーをインポートします。
  4. Amazon Cognito ユーザープールを選択します。

ユーザー プールには、ドメインと既存のユーザー グループが必要です。

  1. アプリ クライアントを選択します。

によって生成されたクライアントを使用することをお勧めします。 アマゾンセージメーカー.

  1. プールからユーザー グループを選択して、メンバーをインポートします。
  2. 選択する プロジェクトチームの作成.
    Amazon SageMaker Ground Truth Plus PlatoBlockchain Data Intelligence の新しい組み込みインターフェースを使用することで、本番グレードのデータをより迅速に取得できます。垂直検索。あい。

を選択して、プロジェクト チームを作成した後、さらにチーム メンバーを追加できます。 新しいメンバーを招待する メンバー Ground Truth Plus コンソールのページ。

バッチを作成する

プロジェクト リクエストを正常に送信し、プロジェクト チームを作成したら、 をクリックして Ground Truth Plus プロジェクト ポータルにアクセスできます。 プロジェクト ポータルを開く Ground Truth Plus コンソールで。

プロジェクト ポータルを使用してプロジェクトのバッチを作成できますが、プロジェクトのステータスが Request approved.

  1. プロジェクト名を選択して、プロジェクトの詳細とバッチを表示します。
    Amazon SageMaker Ground Truth Plus PlatoBlockchain Data Intelligence の新しい組み込みインターフェースを使用することで、本番グレードのデータをより迅速に取得できます。垂直検索。あい。プロジェクト名のタイトルが付いたページが開きます。
  2. バッチ セクションでは、選択 バッチを作成.
    Amazon SageMaker Ground Truth Plus PlatoBlockchain Data Intelligence の新しい組み込みインターフェースを使用することで、本番グレードのデータをより迅速に取得できます。垂直検索。あい。
  3. バッチ名とオプションの説明を入力します。
  4. 入力データセットと出力データセットの S3 の場所を入力します。

バッチが正常に作成されるようにするには、次の要件を満たす必要があります。

    • S3 バケットとプレフィックスが存在し、ファイルの総数が 0 より大きい必要があります
    • オブジェクトの総数は 10,000 未満である必要があります
    • 各オブジェクトのサイズは 2 GB 未満にする必要があります
    • 結合されたすべてのオブジェクトの合計サイズが 100 GB 未満である
    • プロジェクトを作成するために提供される IAM ロールには、バッチの作成に使用される入力バケット、出力バケット、および S3 ファイルにアクセスする権限があります。
    • 入力データセット用に提供された S3 の場所にあるファイルは、暗号化しないでください。 AWSキー管理サービス （AWS KMS）
  2. 選択する 送信.

Amazon SageMaker Ground Truth Plus PlatoBlockchain Data Intelligence の新しい組み込みインターフェースを使用することで、本番グレードのデータをより迅速に取得できます。垂直検索。あい。

バッチステータスは次のように表示されます Request submitted. Ground Truth Plus がお客様のデータに一時的にアクセスできるようになると、AWS の専門家がデータのラベル付けワークフローを設定し、お客様に代わってそれらを操作します。これにより、バッチ ステータスが次のように変更されます。 In-progress. ラベル付けが完了すると、バッチ ステータスが In-progress 〜へ Ready for review. ラベルを受け取る前にラベルを確認したい場合は、 バッチを確認します。 そこから、選択するオプションがあります バッチを受け入れる ラベル付きデータを受け取ります。

まとめ

この投稿では、複数の Ground Truth Plus ユーザーが、新しいセルフサービス インターフェイスを介して同じ AWS アカウントを使用して、新しいプロジェクトとバッチを作成し、データを共有し、データを受信できるようになったことを示しました。 この新しい機能により、ラベル付けプロジェクトをより迅速に開始し、運用上のオーバーヘッドを削減できます。 また、個々のアクセス レベルに合わせて IAM ロールのアクセス許可の範囲を設定することで、データへのきめ細かいアクセスを制御する方法も示しました。

この新しい機能を試して、 機械学習と AI コミュニティ 質問やフィードバックがあれば！

著者について

Amazon SageMaker Ground Truth Plus PlatoBlockchain Data Intelligence の新しい組み込みインターフェースを使用することで、本番グレードのデータをより迅速に取得できます。垂直検索。あい。マニッシュ・ゴエル Amazon SageMaker Ground Truth Plus のプロダクト マネージャーです。 彼は、顧客が機械学習をより簡単に採用できるようにする製品の構築に注力しています。 余暇には、ロードトリップや読書を楽しんでいます。

Amazon SageMaker Ground Truth Plus PlatoBlockchain Data Intelligence の新しい組み込みインターフェースを使用することで、本番グレードのデータをより迅速に取得できます。垂直検索。あい。カーシック・ガンドゥリ Amazon AWS のソフトウェア開発エンジニアであり、顧客向けの ML ツールと内部ソリューションの構築に取り組んでいます。 仕事以外では、彼は写真をクリックすることを楽しんでいます。  

Amazon SageMaker Ground Truth Plus PlatoBlockchain Data Intelligence の新しい組み込みインターフェースを使用することで、本番グレードのデータをより迅速に取得できます。垂直検索。あい。ジューリン・バイ Amazon AWS のソフトウェア開発エンジニアです。 彼女は、機械学習の問題を解決するための大規模な分散システムの開発に取り組んでいます。

Amazon SageMaker Ground Truth Plus PlatoBlockchain Data Intelligence の新しい組み込みインターフェースを使用することで、本番グレードのデータをより迅速に取得できます。垂直検索。あい。アーテフ・バランシー は、Amazon AWS のフロントエンド エンジニアです。 彼は、高速で信頼性が高く、徹底的にテストされたソフトウェアを作成して、業界で最も最先端の AI アプリケーションを育成および成長させています。

Amazon SageMaker Ground Truth Plus PlatoBlockchain Data Intelligence の新しい組み込みインターフェースを使用することで、本番グレードのデータをより迅速に取得できます。垂直検索。あい。モハマド・アドナン AWS の AI および ML のシニアエンジニアです。 彼は、Amazon Lookout for Metrics や AWS Panorama など、多くの AWS サービスの立ち上げに参加しました。 現在、彼は AWS のヒューマン イン ザ ループ サービス (AWS SageMaker のグラウンド トゥルース、グラウンド トゥルース プラス、拡張 AI) に注力しています。 彼はクリーン コードの提唱者であり、サーバーレスおよびイベント ドリブン アーキテクチャに関する専門家です。 LinkedIn で彼をフォローできます (mohammad-adnan-6a99a829)。

タイムスタンプ：

より多くの AWS機械学習