この投稿では、以下を使用してコンピューター ビジョン モデルのパフォーマンスを向上させるためのベスト プラクティスについて説明します。 Amazon Rekognitionカスタムラベル. Rekognition Custom Labels は、画像分類およびオブジェクト検出のユースケース用のカスタム コンピュータ ビジョン モデルを構築するフル マネージド サービスです。 Rekognition カスタム ラベルは、事前にトレーニングされたモデルから構築されます。 Amazonの再認識、多くのカテゴリにわたる数千万の画像ですでにトレーニングされています。 何千もの画像の代わりに、ユースケースに固有の小さなトレーニング画像セット (数百以下) から始めることができます。 Rekognition カスタム ラベルは、カスタム モデルの構築に伴う複雑さを抽象化します。 トレーニング データを自動的に検査し、適切な ML アルゴリズムを選択し、インスタンス タイプを選択し、さまざまなハイパーパラメータ設定で複数の候補モデルをトレーニングし、最適なトレーニング済みモデルを出力します。 Rekognition Custom Labels は、 AWSマネジメントコンソール 画像のラベル付け、モデルのトレーニング、モデルのデプロイ、テスト結果の視覚化など、ML ワークフロー全体を管理します。
モデルの精度が最適ではなく、モデルの構成パラメーターを調整するオプションが多くない場合があります。 舞台裏には、次のような高性能モデルを構築するために重要な役割を果たす複数の要因があります。
- 画角
- 画像解像度
- 画像のアスペクト比
- 露光量
- 背景の鮮明さと鮮やかさ
- 色のコントラスト
- サンプルデータサイズ
以下は、製品グレードの Rekognition カスタム ラベル モデルをトレーニングするために従うべき一般的な手順です。
- 分類の確認 – これは、画像で識別したい属性/アイテムのリストを定義します。
- 関連データの収集 – これは、実稼働環境で表示されるものに似た関連画像を収集する必要がある最も重要なステップです。 これには、さまざまな背景、照明、またはカメラ アングルを持つオブジェクトの画像が含まれる場合があります。 次に、収集した画像を分割して、トレーニング データセットとテスト データセットを作成します。 テスト データセットの一部として実世界の画像のみを含める必要があり、合成的に生成された画像は含めないでください。 収集したデータの注釈は、モデルのパフォーマンスにとって重要です。 境界ボックスがオブジェクトの周囲にしっかりと配置され、ラベルが正確であることを確認してください。 この投稿の後半で、適切なデータセットを構築する際に考慮できるいくつかのヒントについて説明します。
- トレーニング指標を確認する – 前述のデータセットを使用してモデルをトレーニングし、F1 スコア、適合率、再現率のトレーニング メトリックを確認します。 トレーニング指標を分析する方法については、この記事の後半で詳しく説明します。
- トレーニング済みモデルを評価する – 予測を評価するために、既知のラベルを持つ一連の未表示の画像 (モデルのトレーニングには使用されません) を使用します。 この手順は、モデルが実稼働環境で期待どおりに機能することを確認するために常に実行する必要があります。
- 再トレーニング (オプション) – 一般に、機械学習モデルのトレーニングは、目的の結果を達成するための反復プロセスであり、コンピューター ビジョン モデルも例外ではありません。 ステップ 4 の結果を確認して、トレーニング データにさらに画像を追加する必要があるかどうかを確認し、上記のステップ 3 ～ 5 を繰り返します。
この記事では、関連データの収集 (ステップ 2) とトレーニング済み指標の評価 (ステップ 3) に関するベスト プラクティスに焦点を当てて、モデルのパフォーマンスを向上させます。
関連データの収集
これは、プロダクション グレードの Rekognition カスタム ラベル モデルをトレーニングする上で最も重要な段階です。 具体的には、トレーニングとテストの XNUMX つのデータセットがあります。 トレーニング データはモデルのトレーニングに使用されるため、適切なトレーニング セットの構築に労力を費やす必要があります。 Rekognition Custom Labels モデルは次の用途に最適化されています F1スコア をテスト データセットで使用して、プロジェクトに最も正確なモデルを選択します。 したがって、現実世界に似たテスト データセットをキュレートすることが不可欠です。
画像数
ラベルごとに最低 15 ～ 20 個の画像を使用することをお勧めします。 ユースケースを反映するバリエーションの多い画像を多く持つと、モデルのパフォーマンスが向上します。
バランスの取れたデータセット
理想的には、データセット内の各ラベルに同じ数のサンプルが含まれている必要があります。 ラベルごとの画像数に大きな違いがあってはなりません。 たとえば、ラベルの画像の最大数が 1,000 であるデータセットと、別のラベルの画像が 50 であるデータセットは、不均衡なデータセットに似ています。 画像の数が最も少ないラベルと画像の数が最も多いラベルの比率が 1:50 の偏ったシナリオを避けることをお勧めします。
さまざまな種類の画像
実世界で使用するものに似た画像をトレーニングおよびテスト データセットに含めます。 たとえば、居間と寝室の画像を分類する場合は、両方の部屋の空の画像と家具付きの画像を含める必要があります。
以下は、家具付きのリビング ルームのイメージの例です。
対照的に、以下は家具のないリビングルームの例です。
以下は、家具付きの寝室の画像の例です。
以下は、家具のない寝室の画像の例です。
さまざまな背景
背景が異なる画像を含めます。 自然なコンテキストを持つ画像は、無地の背景よりも優れた結果を提供できます。
以下は、家の前庭の画像の例です。
以下は、背景が異なる別の家の前庭のサンプル画像です。
さまざまな照明条件
推論中に発生するさまざまな照明条件 (フラッシュの有無など) をカバーするように、さまざまな照明の画像を含めます。 彩度、色相、明るさが異なる画像を含めることもできます。
以下は、通常の光の下での花の画像の例です。
対照的に、次の画像は同じ花を明るい光の下で撮影したものです。
さまざまな角度
オブジェクトのさまざまな角度から撮影した画像を含めます。 これは、モデルがオブジェクトのさまざまな特性を学習するのに役立ちます。
次の画像は、同じ寝室を別の角度から撮影したものです。
 |
 |
さまざまな種類の画像を取得できない場合があります。 これらのシナリオでは、トレーニング データセットの一部として合成画像を生成できます。 一般的な画像拡張技術の詳細については、次を参照してください。 データ増強.
除外ラベルを追加する
画像分類の場合、ネガティブ ラベルを追加すると、モデルの精度が向上します。 たとえば、必要なラベルのいずれにも一致しない除外ラベルを追加できます。 次の画像は、完全に成長した花を識別するために使用されるさまざまなラベルを表しています。
除外ラベルの追加 not_fully_grown の一部ではない特性をモデルが学習するのに役立ちます fully_grown ラベル。
ラベルの混乱の処理
テスト データセットの結果を分析して、トレーニング データセットまたはテスト データセットで見逃されたパターンを認識します。 画像を視覚的に調べることで、そのようなパターンを簡単に見つけることができる場合があります。 次の図では、モデルは裏庭とテラスのラベルの間で解決に苦労しています。
このシナリオでは、データセット内のこれらのラベルに画像を追加し、各ラベルが区別されるようにラベルを再定義することで、モデルの精度を向上させることができます。
データ増強
Rekognition Custom Labels の内部では、モデルのトレーニングのために、画像のランダムなトリミング、色のジッター、ランダムなガウス ノイズなど、さまざまなデータ拡張を実行します。 特定のユース ケースに基づいて、トレーニング データに明示的なデータ拡張を追加することも有益な場合があります。 たとえば、カラー画像と白黒画像の両方で動物を検出することに関心がある場合、同じ画像の白黒バージョンとカラー バージョンをトレーニング データに追加すると、精度が向上する可能性があります。
拡張が本番環境のユース ケースを反映していない限り、テスト データの拡張はお勧めしません。
トレーニング指標を確認する
F1 スコア、適合率、再現率、および想定されるしきい値は、 メトリクス これは、Rekognition カスタム ラベルを使用したモデルのトレーニングの出力として生成されます。 モデルは、提供されたテスト データセットに基づいて、最高の F1 スコアが得られるように最適化されています。 想定されるしきい値も、テスト データセットに基づいて生成されます。 精度または再現率に関するビジネス要件に基づいて、しきい値を調整できます。
想定されるしきい値はテスト データセットに設定されているため、適切なテスト セットは実際の運用ユース ケースを反映する必要があります。 テスト データセットがユース ケースを代表していない場合は、人為的に高い F1 スコアが表示され、実際の画像でモデルのパフォーマンスが低下することがあります。
これらのメトリックは、モデルの初期評価を実行するときに役立ちます。 運用グレードのシステムの場合、現実世界を代表する外部データセット (500 ～ 1,000 枚の目に見えない画像) に対してモデルを評価することをお勧めします。 これは、モデルが本番システムでどのように機能するかを評価し、欠落しているパターンを特定して、モデルを再トレーニングすることで修正するのに役立ちます。 F1 スコアと外部評価の間に不一致が見られる場合は、テスト データが実際のユース ケースを反映しているかどうかを調べることをお勧めします。
まとめ
この投稿では、Rekognition カスタム ラベル モデルを改善するためのベスト プラクティスについて説明しました。 についてもっと学ぶことをお勧めします Rekognitionカスタムラベル ビジネス固有のデータセットで試してみてください。
著者について
アミット・グプタ AWS のシニア AI サービス ソリューション アーキテクトです。 彼は、適切に設計された機械学習ソリューションを大規模に顧客に提供することに情熱を注いでいます。
ヨゲシュ・チャトゥルヴェディ は AWS のソリューション アーキテクトであり、コンピュータ ビジョンを専門としています。 彼は顧客と協力して、クラウド テクノロジを使用してビジネス上の課題に対処しています。 仕事以外では、ハイキング、旅行、スポーツ観戦を楽しんでいます。
ハオ・ヤン Amazon Rekognition カスタムラベルチームの上級応用科学者です。 彼の主な研究対象は、限られた注釈を使用したオブジェクト検出と学習です。 仕事以外では、ハオは映画鑑賞、写真、野外活動を楽しんでいます。
パシュミーンミストリー AmazonRekognitionカスタムラベルのシニアプロダクトマネージャーです。 仕事以外では、パシュミーンは冒険的なハイキング、写真撮影、家族との時間を楽しんでいます。
