Amazon SageMaker Ground Truth Plusを使用して高品質のトレーニングデータセットを作成するための、コードなしの視覚的なツールを使用してデータラベルを検査します

AWS re:Invent 2021 で発表された、 Amazon SageMaker グラウンド トゥルース プラス は、データ ラベル付けアプリケーションの構築とラベル付け作業員の管理に関連する、差別化につながらない重労働を取り除くことで、高品質のトレーニング データセットを作成するのに役立ちます。 ラベル付け要件とともにデータを共有するだけで、Ground Truth Plus はこれらの要件に基づいてデータのラベル付けワークフローを設定および管理します。 そこから、さまざまな機械学習 (ML) タスクのトレーニングを受けた専門家がデータのラベル付けを行います。 Ground Truth Plus を使用するのに、ML に関する深い専門知識やワークフロー設計および品質管理の知識は必要ありません。

ML アルゴリズム用の高品質のトレーニング データセットの構築は、反復プロセスです。 正確にラベル付けされたデータは ML モデルの品質にとって重要であるため、ML 実践者はデータ ラベルを検査するカスタム システムを構築することがよくあります。 高品質のトレーニング データを確実に取得するために、Ground Truth Plus には組み込みのユーザー インターフェイス (レビュー UI) が用意されており、データ ラベルの品質を検査し、ラベルがグラウンド トゥルース、または現実世界で直接観察できるもの。

この投稿では、プロジェクト チームを作成し、レビュー UI ツールのいくつかの新しい組み込み機能を使用して、ラベル付けされたデータセットの検査を効率的に完了する手順について説明します。 このチュートリアルでは、アクティブな Ground Truth Plus ラベル付けプロジェクトがあることを前提としています。 詳細については、次を参照してください。 Amazon SageMaker Ground Truth Plus – コードや社内リソースなしでトレーニング データセットを作成.

プロジェクトチームを立ち上げる

プロジェクト チームは、レビュー UI ツールを使用してデータ ラベルを検査するために、組織のメンバーにアクセスを提供します。 プロジェクト チームを設定するには、次の手順を実行します。

1. オン ザ グラウンド トゥルース プラス コンソール、選択する プロジェクトチームの作成.
2. 選択 新しい Amazon Cognito ユーザー グループを作成する . すでに既存の アマゾンコグニート ユーザー グループで、 メンバーのインポート オプションを選択します。
3. Amazon Cognito ユーザーグループ名、名前を入力します。 この名前は変更できません。
4. メールアドレスに、最大 50 人のチーム メンバーの電子メール アドレスをカンマで区切って入力します。
5. 選択する プロジェクトチームの作成.

チーム メンバーは、Ground Truth Plus プロジェクト チームに参加するよう招待する電子メールを受け取ります。 そこから、Ground Truth Plus プロジェクト ポータルにログインして、データ ラベルを確認できます。

ラベル付けされたデータセットの品質を検査する

それでは、ビデオ オブジェクト トラッキングの例を見てみましょう。 CBCLストリートシーン データセット。

バッチ内のデータにラベルが付けられると、バッチは次のようにマークされます。 レビューの準備ができました.

バッチを選択して選択します レビューバッチ. レビュー UI にリダイレクトされます。 レビューするバッチごとに異なるサンプリング レートを柔軟に選択できます。 たとえば、この例のバッチでは、合計 XNUMX つのビデオがあります。 これら XNUMX つのビデオのサブセットのみを確認するか、すべてを確認するかを指定できます。

次に、ラベル付けされたデータセットの品質をより速いペースで検査し、品質に関するフィードバックを提供するのに役立つ、レビュー UI 内のさまざまな機能を見てみましょう。

• ラベル カテゴリに基づいてラベルをフィルタリングする – レビュー UI 内の右側のペインで、ラベル カテゴリに基づいてラベルをフィルタリングできます。 この機能は、複数のラベル カテゴリがある場合に便利です (たとえば、 Vehicles, Pedestrians, Poles) 密なデータセット オブジェクトで、一度に XNUMX つのラベル カテゴリのラベルを表示する場合。 たとえば、 Car ラベルのカテゴリ。 入力します Car タイプのみのすべての注釈をフィルタリングするための右ペインのラベル カテゴリ Car. 次のスクリーンショットは、フィルターを適用する前後のレビュー UI ビューを示しています。
  
• 関連する注釈付き属性値のオーバーレイ – 各ラベルには、注釈を付ける属性を割り当てることができます。 たとえば、ラベル カテゴリの場合 Car 、ワーカーに注釈も付けてもらいたいとします Color  & Occlusion 各ラベル インスタンスの属性。 レビュー UI をロードすると、右側のペインの各ラベル インスタンスの下に対応する属性が表示されます。 しかし、代わりにこれらの属性注釈を画像上に直接表示したい場合はどうすればよいでしょうか? ラベルを選択します Car:1 、および属性注釈をオーバーレイする Car:1 、を押します Ctrl + A。
  これで、注釈が表示されます Dark Blue   Color 属性と注釈 None   Occlusion の隣の画像に直接表示される属性 Car:1 境界ボックス。 これで簡単に確認できます Car:1 としてマークされました Dark Blue、場所を特定するのではなく、画像を見るだけでオクルージョンなし Car:1 をクリックして、属性の注釈を表示します。
  
• ラベル レベルでフィードバックを残す – 各ラベルについて、そのラベルのラベル レベルでフィードバックを残すことができます。 ラベルのフィードバック 自由文字列属性。 たとえば、この画像では、 Car:1 紺というより黒に見えます。 この不一致をフィードバックとして伝えることができます Car:1   ラベルのフィードバック そのフレームのそのラベルへのコメントを追跡するフィールド。 当社の内部品質管理チームは、このフィードバックを確認し、アノテーション プロセスとラベル ポリシーに変更を加え、必要に応じてアノテーターをトレーニングします。
  
• フレームレベルでフィードバックを残す – 同様に、フレームごとに、そのフレームの下のフレーム レベルでフィードバックを残すことができます。 フレーム フィードバック 自由文字列属性。 この場合、注釈は Car & Pedestrian クラスは正しく、このフレームで適切に実装されているように見えます。 を使用して、この肯定的なフィードバックを伝えることができます。 フィードバックを提供します あなたのコメントはこのフレームにリンクされています。
  
• 注釈フィードバックを他のフレームにコピーする – 属性を右クリックすると、ラベル レベルとフレーム レベルの両方のフィードバックを他のフレームにコピーできます。 この機能は、そのラベルのフレーム間で同じフィードバックを複製する場合、または同じフレーム レベルのフィードバックを複数のフレームに適用する場合に便利です。 この機能により、データ ラベルの検査をすばやく完了することができます。
  
• 各データセット オブジェクトを承認または却下する – 確認するデータセット オブジェクトごとに、いずれかを選択するオプションがあります 承認 注釈に満足するか、 非承認 満足できず、それらの注釈を作り直したい場合。 選択するとき 送信、確認したばかりのビデオを承認または拒否するオプションが表示されます。 どちらの場合でも、追加のコメントを提供できます。
  • あなたが選択した場合 承認、コメントはオプションです。
    
  • あなたが選択した場合 非承認、コメントが必要です。詳細なフィードバックを提供することをお勧めします。 あなたのフィードバックは、専用の Ground Truth Plus 品質管理チームによってレビューされ、後続のビデオで同様の間違いを避けるために是正措置が取られます。
    

フィードバックとともにビデオを送信すると、プロジェクト ポータルのプロジェクト詳細ページにリダイレクトされます。ここでは、拒否されたオブジェクトの数を 拒否されたオブジェクト 列とエラー率。 合格率 プロジェクトの各バッチの列。 たとえば、次のスクリーンショットのバッチ 1 では、80 つのレビュー済みオブジェクトのうち XNUMX つのオブジェクトが受け入れられたため、受け入れ率は XNUMX% です。

まとめ

ML イニシアチブを達成するには、高品質のトレーニング データセットが不可欠です。 Ground Truth Plus では、ラベル付けされたデータセットの品質をレビューするためのカスタム ツールの構築に関連する、差別化につながらない手間のかかる作業を取り除く、強化された組み込みのレビュー UI ツールが用意されています。 この投稿では、プロジェクト チームをセットアップし、レビュー UI ツールの新しい組み込み機能を使用する方法について説明しました。 訪問 Ground Truth Plus コンソール 始めるために。

いつものように、AWSはフィードバックを歓迎します。 コメントや質問を送信してください。

著者について

マニッシュ・ゴエル Amazon SageMaker Ground Truth Plus のプロダクト マネージャーです。 彼は、顧客が機械学習をより簡単に採用できるようにする製品の構築に注力しています。 余暇には、ロードトリップや読書を楽しんでいます。

レベッカ・コストエワ Amazon AWS のソフトウェア開発エンジニアであり、Sagemaker Ground Truth サービスの幅とスケーラビリティを拡大するために、顧客対応および内部ソリューションに取り組んでいます。 研究者として、彼女は業界のツールを改善してイノベーションを推進することに駆り立てられています。

• コインスマート。 ヨーロッパで最高のビットコインと暗号通貨取引所。
• Platoblockchain。 Web3メタバースインテリジェンス。 知識の増幅。 出入り自由。
• CryptoHawk。 アルトコインレーダー。 無料トライアル。
• ソース: https://aws.amazon.com/blogs/machine-learning/inspect-your-data-labels-with-a-visual-no-code-tool-to-create-high-quality-training-datasets- with-amazon-sagemaker-ground-truth-plus/