AmazonForecastを使用して予測子の精度を継続的に監視する

精度を自動的に監視できるようになりました。 アマゾン予測 時間の経過とともに予測が可能になります。 新しいデータが提供されると、Forecast は新しいデータセットの予測子の精度メトリクスを自動的に計算し、予測子の使用を継続するか、再トレーニングするか、または新しい予測子を作成するかを決定するための詳細情報を提供します。

予測子の品質を監視し、時間の経過に伴う精度の低下を特定することは、ビジネス目標を達成するために重要です。 ただし、予測精度メトリックを継続的に監視するために必要なプロセスは、設定に時間がかかり、管理が難しい場合があります。予測を評価し、更新された精度メトリックを計算する必要があります。 さらに、傾向を理解し、予測子の保持、再トレーニング、または再作成について決定を下すために、メトリックを保存してグラフ化する必要があります。 これらのプロセスは、コストのかかる開発と保守の負担をもたらし、データサイエンスとアナリストチームに意味のある運用上のストレスをかける可能性があります。 そして、この時間のかかるプロセスを引き受けたくない顧客（必要がない場合でも新しい予測子を再トレーニングすることを好む）の場合、これは時間と計算を浪費します。

本日の発表により、Forecastは、新しいデータがインポートされるときに、時間の経過とともに予測精度を自動的に追跡するようになりました。 これで、初期品質メトリックからの予測子の偏差を定量化し、傾向を視覚化することでモデルの品質を体系的に評価し、新しいデータが入ってくるときにモデルの保持、再トレーニング、または再構築についてより多くの情報に基づいた決定を下すことができます。予測子の監視は、開始時に新しい予測子に対して有効にできます。 、または既存のモデルに対してオンになっています。 この機能は、ワンクリックで有効にできます AWSマネジメントコンソール または使用して 予測API.

時間の経過に伴う予測精度

予測子は、元のトレーニングデータのセットを使用して、ある時点で作成された機械学習モデルです。 予測子が作成された後、それは、実際のトランザクションを通じて生成された新しいグラウンドトゥルースデータを使用して時系列予測を生成するために、数日、数週間、または数か月先まで継続的に使用されます。 新しいデータがインポートされると、予測子は、提供された最新のデータに基づいて新しい予測データポイントを生成します。

予測子が最初に作成されると、Forecastは、加重分位数損失（wQL）、平均絶対パーセント誤差（MAPE）、または二乗平均平方根誤差（RMSE）などの精度メトリックを生成して、予測子の精度を定量化します。 これらの精度メトリックは、予測子が本番環境に移行するかどうかを決定するために使用されます。 ただし、予測子のパフォーマンスは時間の経過とともに変動します。 経済環境や消費者行動の変化などの外部要因は、予測因子の根底にある基本的な要因を変える可能性があります。 その他の要因には、作成される可能性のある新製品、アイテム、およびサービスが含まれます。 金融または経済環境の変化; またはデータの分布の変化。

たとえば、製品の特定の色が人気を博したときにトレーニングされた予測子について考えてみます。 数か月後、新しい色が表示されるか、人気が高まり、値の分布が変化する可能性があります。 または、長年の購入パターン（利益率の高い製品から利益率の低い製品など）を変更するビジネス環境に変化が生じます。 すべてを考慮すると、予測子を再トレーニングする必要がある場合や、非常に正確な予測を継続して行うために新しい予測子を作成する必要がある場合があります。

自動予測監視

予測子の監視は、新しいグラウンドトゥルース時系列データが利用可能になったときに予測子のパフォーマンスを自動的に分析するように設計されており、新しい予測を作成するために使用されます。 この監視により、継続的なモデルパフォーマンス情報が提供され、時間を節約できるため、プロセスを自分で設定する必要がありません。

Forecastで予測子の監視が有効になっている場合、新しいデータをインポートして新しい予測を作成するたびに、パフォーマンス統計が自動的に更新されます。 これまで、これらのパフォーマンス統計は、予測子が最初にトレーニングされたときにのみ利用可能でした。 現在、これらの統計は、新しいグラウンドトゥルースデータを使用して継続的に生成され、予測パフォーマンスを測定するためにアクティブに監視できます。

これにより、予測子のパフォーマンス統計を使用して、新しい予測子をいつトレーニングまたは再トレーニングするかを決定できます。 たとえば、平均wQLメトリックが初期ベースライン値から外れると、新しい予測子を再トレーニングするかどうかを決定できます。 予測子を再トレーニングするか、新しい予測子を作成する場合は、より正確な予測子を使用して、新しい予測データポイントの生成を開始できます。

次のグラフは、予測子の監視の0.3つの例を示しています。 最初のグラフでは、平均wQLメトリックがベースライン（予測子がトレーニングされたときの初期値）から減少しており、予測精度が時間の経過とともに増加していることを示しています。 グラフは、平均wQLが数日間で0.15からXNUMXに低下していることを示しています。これは、予測の精度が向上していることを意味します。 この場合、最初にトレーニングされたときよりも正確な予測が生成されるため、予測子を再トレーニングする必要はありません。

次の図では、その逆が当てはまります。平均wQLが増加しており、時間の経過とともに精度が低下していることを示しています。 この場合、新しいデータを使用して予測子を再トレーニングまたは再構築することを検討する必要があります。

Forecastでは、現在の予測子を再トレーニングするか、最初から再構築するかを選択できます。 再訓練 ワンクリックで実行され、より最新のデータと、Forecastアルゴリズムの更新および改善が組み込まれます。 再建 予測子を使用すると、新しい入力（予測頻度、期間、新しいディメンションなど）を提供して、新しい予測子を作成できます。

予測子の監視を有効にする

新しい予測子を作成するときに予測子の監視を有効にするか、既存の予測子に対して有効にすることができます。 このセクションの手順は、Forecastコンソールを使用してこれらの手順を実行する方法を示しています。 Jupyterもあります ノート これは、APIを使用して予測子の監視を有効にし、予測子の監視結果を生成するための一連の手順を順を追って説明します。

この例では、予測子の監視から利用できるタイムスライスされたサンプルデータセットを使用します ノート。 この例では、タイムスタンプ、ロケーションID、およびターゲット値（ロケーションIDでのタイムスタンプ中に要求されたピックアップの数）を含むニューヨーク市のタクシーピックアップの100,000行のデータセットから開始します。

次の手順を完了します。

1. Forecastコンソールで、 データセットグループを表示する ナビゲーションペインに表示されます。
2. 選択する データセットグループを作成する データセットグループの詳細を提供します。
   データセットグループを作成すると、ターゲットの時系列データセットを作成するように求められます。 このデータセットを使用して、予測子をトレーニングし、予測を作成します。
3. ソフトウェア設定ページで、下図のように ターゲット時系列データセットを作成する ページに、データのスキーマ、頻度、場所を入力します。
4. 選択する 開始 ターゲットデータセットをインポートします。
   次に、予測子を作成し、初期データセットを使用してトレーニングします。
5. ナビゲーションペインで、 予測因子.
6. 選択する 新しい予測子をトレーニングする.
   
7. 予測子の設定 セクションに、予測子の名前、将来予測する期間と頻度、および予測する分位数の数を入力します。
   
8. 最適化メトリック、最適化する最適化指標を選択できます AutoPredictor 選択した特定の精度メトリックに合わせてモデルを調整します。 ウォークスルーでは、これをデフォルトのままにします。
9. 予測子の説明可能性レポートを取得するには、 予測可能性を有効にする.
10. 予測子の監視を有効にするには、 予測子の監視を有効にする.
11. 入力データ構成では、地域の天気情報と国民の祝日を追加して、より正確な需要予測を行うことができます。
12. 選択する 開始 予測子のトレーニングを開始します。
    
    Forecastは、この初期データセットを使用して予測子をトレーニングするようになりました。 予測子の監視を有効にすると、このデータセットグループに新しいデータが提供されるたびに、Forecastは更新された予測子の精度メトリックを計算できます。
13. 予測子がトレーニングされたら、それを選択して初期精度メトリックを評価します。
    
    　 メトリック タブには、初期予測子の品質メトリックが表示されます。 予測子から予測を生成したり、新しいグラウンドトゥルースデータをインポートしたりしていないため、に表示するものはありません。 監視 タブには何も表示されないことに注意してください。
    次のステップは、新しい予測子を使用して予測を生成することです。
14. 選択する 予測システム ナビゲーションペインに表示されます。
15. 選択する 予測を作成する インポートした時系列データと予測子の設定に基づいて、新しい予測を作成します。
16. 予測名、予測子名、および計算する追加の分位数メトリックを指定します。

予測を作成した後、その詳細と結果を表示およびエクスポートできます。 予測の詳細 ページで見やすくするために変数を解析したりすることができます。

予測子の監視：時間の経過に伴う精度の評価

時間の経過とともに、新しいグラウンドトゥルースデータがビジネスプロセスによって作成されます。たとえば、更新された売上高、人員配置レベル、製造出力などです。 その新しいデータに基づいて新しい予測を作成するには、作成したデータセットにデータをインポートします。

1. Amazon Forecastコンソールでは、 データセットグループ ページで、データセットグループを選択します。
   
2. データセットを選択します。
   
3. データセットのインポート セクションでは、選択 データセットのインポートを作成する.
   
4. 場所など、更新されたデータに関する追加の詳細を提供します。
   
5. 選択する 開始.

予測子の監視により、Forecastはこの新しいデータを以前に生成された予測と比較し、予測子の精度メトリックを計算します。 更新された予測子の品質メトリックは、新しいデータがデータセットに追加されるときに継続的に計算されます。

次の手順に従って、時間の経過とともに発生した追加のトランザクションを表す追加のデータをインポートできます。

予測子の監視結果を評価する

予測子の監視結果を表示するには、初期予測を生成した後に新しいグラウンドトゥルースデータを追加する必要があります。 Forecastは、この新しいグラウンドトゥルースデータを以前の予測と比較し、監視用に更新されたモデル精度値を生成します。

1. ソフトウェア設定ページで、下図のように データセットグループ ページで、関連するデータセットグループを選択し、ターゲット時系列を選択して、新しいグラウンドトゥルースデータで更新します。
   
2. 選択する データセットインポートの作成 新しいグラウンドトゥルースデータを追加します。
   
   追加のグラウンドトゥルースデータを提供した後、予測子を開いて、初期予測子の監視統計を表示できます。
3. 予測子を選択し、に移動します 監視 タブには何も表示されないことに注意してください。
   

これらの手順に従って、この予測子を使用して追加の予測を実行し、グラウンドトゥルースデータの反復をさらに追加できます。 予測子のモデル精度統計の進行は、 監視 タブには何も表示されないことに注意してください。

この例は、0.55つの追加データ更新で評価された予測子のモデル精度統計を示しています。 予測子は、最初にトレーニングされたとき、42の初期ベースラインMAPEを持っていました。 追加のデータが読み込まれると、MAPEは最初の追加のデータセットで.42に低下し、より正確な予測子を示し、後続のデータセットで.48から.XNUMXまでの狭い範囲で変動しました。

グラフを切り替えて、追加の指標を表示できます。 次の例では、MASEと平均wQLは、時間の経過に伴うベースラインからの同様の変動を示しています。

　 監視履歴 ページ下部のセクションには、時間の経過とともに追跡されるすべての予測精度メトリックの詳細が表示されます。

既存の予測子に予測監視を設定する

既存の予測子の監視を簡単に有効にできます。 これを行うには、次の手順を実行します。

1. ナビゲーションペインのデータセットの下で、 予測因子.
2. ここから、監視を有効にするXNUMXつの方法があります。
   1. 選択する 監視を開始 下 監視 コラム。
      
   2. 予測子を選択し、 監視 タブ、下 詳細を監視する、選択する モニターを開始します.
      
3. ポップアップダイアログで、 開始 選択した予測子の監視を開始します。
   

　 監視 タブに、予測子の監視が開始されたことが表示され、さらにデータをインポートすると結果が生成されます。

予測子の監視を停止して再開します

予測子の監視を停止して再開することもできます。 次のことを考慮してください。

• 費用 –予測子の監視は追加のリソースを消費します。 一般的な小さなデータセットでは、コストは最小限に抑えられますが、大きなデータセット（入力データセット内のアイテムの数、および予測期間）では増加する可能性があります。
• 個人情報保護 –監視中に予測のコピーが保存されます。 このコピーを保存したくない場合は、監視を停止できます。
• ノイズ –予測子を実験していて、予測子モニターの結果にノイズが表示されたくない場合は、予測子の監視を一時的に停止し、予測子が再び安定したときに再開できます。

予測子の監視を停止するには、次の手順を実行します。

1. に移動します 監視 監視が有効になっている予測子のタブ。
2. 選択する モニターを停止します 予測子の監視を停止します。
   
3. プロンプトが表示されたら、選択内容を確認します。
   

次のページに、予測子の監視が停止していることを示すメッセージが表示されます。

を選択すると、予測子の監視を再開できます モニターを再開.

まとめ

予測子の品質を長期にわたって監視することは、需要計画と予測の目標、そして最終的にはビジネス目標を達成するために重要です。 ただし、予測子の監視は時間のかかる作業になる可能性があり、必要なワークフローを立ち上げて維持するために必要なプロセスは、運用コストの上昇につながる可能性があります。

Forecastは、予測子の品質を自動的に追跡できるようになりました。これにより、予測子の維持、再トレーニング、または再構築についてより多くの情報に基づいた決定を下すことができると同時に、運用上の労力を削減できます。 予測子の監視を有効にするには、この投稿で概説されている手順に従うか、GitHubノートブックに従ってください。

予測子の監視は、 AutoPredictor。 詳細については、を参照してください。 最大40％正確な予測を作成し、説明性を提供する新しいAmazon Forecast API および 自動予測器の作成.

詳細については、を参照してください。 予測子の監視。 また、確認することをお勧めします 価格設定 これらの新機能を使用してください。 これらの新機能はすべて、Forecastが公開されているすべてのリージョンで利用できます。 リージョンの可用性の詳細については、を参照してください。 AWSリージョナルサービス.

---

著者について

ダン・シンライヒ AmazonForecastのシニアプロダクトマネージャーです。 彼は、ローコード/ノーコード機械学習の民主化とそれをビジネスの成果を向上させるために適用することに焦点を当てています。 仕事以外では、彼はホッケーをしたり、テニスのサーブを改善しようとしたり、空想科学小説を読んだりしています。

 アダルシュシン AmazonForecastチームでソフトウェア開発エンジニアとして働いています。 現在の職務では、エンジニアリングの問題と、エンドユーザーに最大の価値を提供するスケーラブルな分散システムの構築に焦点を当てています。 余暇には、アニメを見たり、ビデオゲームを楽しんだりしています。

シャノンキリングスワース AmazonForecastのUXデザイナーです。 彼の現在の仕事は、誰でも使用できるコンソールエクスペリエンスを作成し、新しい機能をコンソールエクスペリエンスに統合することです。 余暇には、フィットネスと自動車の愛好家です。

• コインスマート。 ヨーロッパで最高のビットコインと暗号通貨取引所。
• Platoblockchain。 Web3メタバースインテリジェンス。 知識の増幅。 出入り自由。
• CryptoHawk。 アルトコインレーダー。 無料トライアル。
• ソース：https：//aws.amazon.com/blogs/machine-learning/continuously-monitor-predictor-accuracy-with-amazon-forecast/