Amazon Rekognition Labels は、ランドマークを含む 600 の新しいラベルを追加し、主要な色を検出できるようになりました

Amazonの再認識 画像や動画から情報や洞察を抽出するための事前トレーニング済みのカスタマイズ可能なコンピューター ビジョン機能を提供します。 そのような機能の XNUMX つは、 Amazon Rekognition ラベル、画像内のオブジェクト、シーン、アクション、および概念を検出します。 シンクロノスなどのお客様、 シャッターストック 、および Nomad Media は、Amazon Rekognition ラベルを使用してメタデータをコンテンツ ライブラリに自動的に追加し、コンテンツ ベースの検索結果を有効にします。 トリプルリフト Amazon Rekognition ラベルを使用して、視聴者の視聴体験を補完する広告を動的に挿入するのに最適な瞬間を判断します。 ビドモブ は、Amazon Rekognition Labels を使用して広告クリエイティブからメタデータを抽出し、広告パフォーマンスにおけるクリエイティブの意思決定の独自の役割を理解することで、マーケティング担当者が最も関心のある主要な目的に影響を与える広告を作成できるようにします。 さらに、他の何千ものお客様が Amazon Rekognition ラベルを使用して、トレイルやハイキングの写真の分類、防犯カメラの映像での人や車の検出、身分証明書の写真の分類など、他の多くのユースケースをサポートしています。

画像用の Amazon Rekognition Labels は、ランドマークやアクティビティを含む 600 の新しいラベルを検出し、2,000 を超える既存のラベルの精度を向上させます。 さらに、Amazon Rekognition ラベルは、画像の支配的な色、その前景と背景、および境界ボックスで検出されたオブジェクトを検出するための画像プロパティをサポートするようになりました。 画像のプロパティは、画像の明るさ、シャープネス、コントラストも測定します。 最後に、Amazon Rekognition Labels は、XNUMX つの追加フィールドを使用してラベル結果を整理するようになりました。 aliases および categories、およびこれらの結果のフィルタリングをサポートしています。 次のセクションでは、いくつかの例を使用して、新しい機能とその利点について詳しく説明します。

新しいラベル

Amazon Rekognition Labels に 600 を超える新しいラベルが追加され、サポートされるラベルのリストが拡大されました。 以下は、新しいラベルの例です。

• 人気のランドマーク – ブルックリン橋、コロッセオ、エッフェル塔、マチュピチュ、タージマハルなど
• アクティビティ – 拍手、サイクリング、祝福、ジャンプ、犬の散歩など
• 損傷検出 – 車のへこみ、車の傷、腐食、住宅の損傷、屋根の損傷、シロアリの損傷など。
• テキストとドキュメント – 棒グラフ、搭乗券、フローチャート、ノート、請求書、領収書など
• スポーツ – 野球、クリケット、フィギュアスケート、ラグビー、水球など
• さらに多くの – 競艇、娯楽、街並み、村、プロポーズ、宴会など

これらのラベルを使用すると、画像共有、ストック写真、または放送メディアの顧客は、コンテンツ ライブラリに新しいメタデータを自動的に追加して、検索機能を向上させることができます。

ブルックリン橋のラベル検出の例を見てみましょう。

次の表は、API 応答で返されるラベルと信頼スコアを示しています。

改善されたラベル

Amazon Rekognition Labels は、2,000 を超えるラベルの精度も向上させました。 改善されたラベルの例を次に示します。

• アクティビティ – ダイビング、​​運転、読書、座る、立つなど。
• アパレルとアクセサリー – バックパック、ベルト、ブラウス、パーカー、ジャケット、靴など
• 家庭と屋内 – プール、鉢植え、枕、暖炉、毛布など
• テクノロジーとコンピューティング – ヘッドフォン、携帯電話、タブレット PC、読書、ラップトップなど
• 車両および自動車 – トラック、ホイール、タイヤ、バンパー、カーシート、カーミラーなど
• テキストとドキュメント – パスポート、運転免許証、名刺、書類など
• さらに多くの – 犬、カンガルー、町の広場、お祭り、笑いなど

ドミナント カラー検出と画質のイメージ プロパティ

画像プロパティは、画像に対する Amazon Rekognition ラベルの新機能であり、ラベル検出機能の有無にかかわらず使用できます。 注: 画像のプロパティは 別料金 Amazon Rekognition Labels から提供され、更新された SDK でのみ利用できます。

ドミナントカラー検出

画像のプロパティは、ピクセルのパーセンテージに基づいて画像の主要な色を識別します。 これらのドミナント カラーは、 140 CSS カラーパレット、RGB、12 進コード、および 10 の簡略化された色 (緑、ピンク、黒、赤、黄、シアン、茶、オレンジ、白、紫、青、灰色)。 デフォルトでは、返す色の数を指定しない限り、API は最大 12 のドミナント カラーを返します。 API が返すことができるドミナント カラーの最大数は XNUMX です。

スタンドアロンで使用すると、イメージ プロパティは、イメージ全体とその前景および背景の支配的な色を検出します。 ラベル検出機能と一緒に使用すると、イメージ プロパティは、検出されたオブジェクトの支配的な色もバウンディング ボックスで識別します。

画像共有やストック フォトを使用しているお客様は、ドミナント カラー検出を使用して画像ライブラリ メタデータを強化し、コンテンツの発見を向上させることができます。これにより、エンド ユーザーは色でフィルタリングしたり、「青い椅子」や「赤い靴」などの特定の色のオブジェクトを検索したりできます。 」 さらに、広告の顧客は、クリエイティブ アセットの色に基づいて広告のパフォーマンスを判断できます。

画質

ドミナント カラーの検出に加えて、イメージ プロパティは、明るさ、シャープネス、コントラスト スコアを通じてイメージの品質も測定します。 これらの各スコアの範囲は 0 ～ 100 です。 たとえば、非常に暗い画像は低い輝度値を返しますが、明るく照らされた画像は高い値を返します。

これらのスコアを使用して、画像共有、広告、または e コマースの顧客は、品質検査を実行し、輝度とシャープネスの低い画像を除外して、誤ったラベルの予測を減らすことができます。

次の画像は、エッフェル塔の例を示しています。

次の表は、API 応答で返される画像のプロパティ データの例です。

次の画像は赤い椅子の例です。

以下は、API 応答で返される画像プロパティ データの例です。

次の画像は、背景が黄色の犬の例です。

以下は、API 応答で返される画像プロパティ データの例です。

新しいエイリアスとカテゴリ フィールド

Amazon Rekognition ラベルは、XNUMX つの新しいフィールドを返すようになりました。 aliases および categories、API 応答で。 エイリアスは同じラベルの別の名前であり、カテゴリは 40 の共通テーマに基づいて個々のラベルをグループ化します。 Food and Beverage および Animals and Pets. ラベル検出モデルの更新により、ラベル名のプライマリ リストにエイリアスが返されなくなりました。 代わりに、新しい aliases API 応答のフィールド。 注: エイリアスとカテゴリは、更新された SDK でのみ返されます。

写真共有、e コマース、または広告の顧客は、エイリアスとカテゴリを使用してコンテンツ メタデータの分類法を整理し、コンテンツの検索とフィルタリングをさらに強化できます。

• エイリアスの例 –なぜなら Car および Automobile エイリアスである場合、メタデータを画像に追加できます Car および Automobile 同時に
• カテゴリの例 – カテゴリを使用して、カテゴリ フィルタを作成したり、特定のカテゴリに関連するすべての画像を表示したりできます。 Food and Beverage、メタデータを各画像に明示的に追加する必要はありません Food and Beverage

次の図は、ダイバーのエイリアスとカテゴリを使用したラベル検出の例を示しています。

次の表は、API 応答で返されるラベル、信頼スコア、エイリアス、およびカテゴリを示しています。

次の画像はサイクリストの例です。

次の表には、API 応答で返されるラベル、信頼スコア、エイリアス、およびカテゴリが含まれています。

包含フィルターと除外フィルター

Amazon Rekognition ラベルは、API 入力パラメータに新しい包含および除外フィルタリング オプションを導入して、API レスポンスで返されるラベルの特定のリストを絞り込みます。 含めるまたは除外するラベルまたはカテゴリの明示的なリストを提供できます。 注: これらのフィルターは、更新された SDK で使用できます。

顧客は包含フィルターと除外フィルターを使用して、アプリケーションで追加のロジックを作成することなく、関心のある特定のラベルまたはカテゴリを取得できます。 たとえば、保険の顧客は使用できます LabelCategoriesInclusionFilter ラベル結果のみを Damage Detection カテゴリ。

次のコードは、包含フィルターと除外フィルターを使用した API サンプル リクエストです。

{
    "Image": {
        "S3Object": {
            "Bucket": "bucket",
            "Name": "input.jpg" 
        } 
    },
    "MaxLabels": 10, 
    "MinConfidence": 75,
    "Features": [ "GENERAL_LABELS", "IMAGE_PROPERTIES" ],
    "Settings": {
        "GeneralLabels": {
            "LabelsInclusionFilter": [],
            "LabelsExclusionFilter": [],
            "LabelCategoriesInclusionFilter": [],
            "LabelCategoriesExclusionFilter": [] 
        },
        "ImageProperties": {
            "MaxDominantColors":10
        }
    }
 }

以下は、包含フィルターと除外フィルターがどのように機能するかの例です。

• 検出だけしたい場合 Person および Car、および他のラベルを気にしない場合は、[“Person”,”Car”]で LabelsInclusionFilter.
• を除くすべてのラベルを検出する場合 Clothing、指定できます [“Clothing”]で LabelsExclusionFilter.
• 内のラベルのみを検出したい場合 Animal and Pets を除くカテゴリ Dog および Cat、指定できます ["Animal and Pets"] の中に LabelCategoriesInclusionFilter、 と ["Dog", "Cat"]で LabelsExclusionFilter.
• ラベルが指定されている場合 LabelsInclusionFilter or LabelsExclusionFilter、それらのエイリアスはそれに応じて含まれるか除外されます。 aliases ラベルのサブタクソノミーです。 たとえば、 Automobile のエイリアスです Car、指定した場合 Car in LabelsInclusionFilter、API は Car でラベルを付ける Automobile セクションに aliases フィールド。

まとめ

Amazon Rekognition Labels は 600 の新しいラベルを検出し、2,000 を超える既存のラベルの精度を向上させます。 これらの更新に加えて、Amazon Rekognition ラベルは、画像のプロパティ、エイリアス、カテゴリ、および包含フィルターと包含フィルターをサポートするようになりました。

新しい機能を備えた新しいラベル検出モデルを試すには、AWS アカウントにログインして、 Amazon Rekognitionコンソール ラベル検出および画像プロパティ用。 詳細については、次の URL をご覧ください。 ラベルの検出.

著者について

マリア・ハンドコ AWS のシニア プロダクト マネージャーです。 彼女は、機械学習とコンピューター ビジョンを通じて顧客がビジネス上の課題を解決できるよう支援することに重点を置いています。 余暇には、ハイキング、ポッドキャストの視聴、さまざまな料理の探索を楽しんでいます。

シプラ・カノリア AWS のプリンシパル プロダクト マネージャーです。 彼女は、機械学習と人工知能の力を利用して、顧客が最も複雑な問題を解決できるよう支援することに情熱を注いでいます。 AWS に入社する前、Shipra は Amazon Alexa で 4 年以上過ごし、Alexa 音声アシスタントで多くの生産性関連機能を立ち上げました。