メトリックスのAmazonルックアウト は、機械学習(ML)を使用して、ビジネスにとって最も重要な指標をより高速かつ正確に自動的に監視するAWSサービスです。 また、このサービスにより、予期しない収益の落ち込み、放棄されたショッピングカートの高率、支払いトランザクションの失敗の急増、新規ユーザーの登録の増加など、異常の根本原因を簡単に診断できます。 メトリックの監視は、単純な異常検出を超えています。 開発者は、重要なメトリックの自律監視を設定して異常を検出し、数回クリックするだけでその根本原因を特定して、メトリックの異常を検出できます。すべてMLの経験は必要ありません。
アマゾンアテナ は、データの分析を容易にするインタラクティブなクエリサービスです。 Amazon Simple Storage Service(Amazon S3) 標準SQLを使用します。 Amazon S3でデータをポイントし、スキーマを定義して、標準SQLを使用してクエリを開始するだけです。 ほとんどの結果は数秒以内に配信されます。 Athenaを使用すると、分析用のデータを準備するために複雑なETLジョブを実行する必要がありません。 これにより、SQLスキルを持っている人なら誰でも、大規模なデータセットをすばやく簡単に分析できます。
本日の発表により、Lookout for Metricsは、Athenaのデータにシームレスに接続して、非常に正確な異常検出器をセットアップできるようになりました。 これにより、Athenaで利用可能なデータセットに対して、LookoutforMetricsを使用したMLを介した最先端の異常検出をすばやく展開できます。
Athena接続は、次の利点をもたらすことにより、LookoutforMetricsの機能を拡張します。
- これは、LookoutforMetricsの機能を次の点で拡張します。 ファイルタイプのサポート。 これ以前は、Lookout for MetricsはCSVおよびJSONLines形式のファイルをサポートしていましたが、Athenaでは、これがParquet、Avro、Plaintextなどに拡張されました。 Athenaを介して解析できる場合は、LookoutforMetricsをインポートして活用できるようになりました。
- また、次のデータのサポートも紹介します フェデレーションクエリ。 このリリースの前に、データが複数のデータベースまたはソースに保存されている場合は、すべてのデータをCSVまたはJSONLinesファイルにエクスポートして入力する前に、完全な複雑なETLプロセスを定義し、そのパフォーマンス特性を管理する必要があります。異常検出のためのメトリクスのルックアウトに。 Athenaからのフェデレーションクエリを使用して、異種のソースと結合の実行方法を定義し、データが処理されてAthenaがクエリできるようになると、すぐにLookoutforMetricsの準備が整います。 これにより、データ変換、集約、配信場所の負担をAthenaに引き渡し、LookoutforMetricsから特定された異常に焦点を当てることができます。
ソリューションの概要
この投稿では、Athenaテーブルを統合し、収益指標の異常を検出する方法を示します。 また、注文率と在庫指標がどのように影響を受けるかを追跡します。 ソースデータはAmazonS3にあり、その中のデータをクエリできるようにAthenaテーブルを構成しました。 アン AWSラムダ LookoutforMetricsが異常を検出するために使用するAthena内のパーティションを更新する責任があります。 このソリューションを使用すると、LookoutforMetricsにAthenaデータソースを使用できます。
提供されたものを使用できます AWS CloudFormation ウォークスルーのリソースを設定するためのスタック。 ライブデータを継続的に生成するためのリソースが含まれており、Athenaでクエリ可能になります。
- 次のリンクからスタックを起動し、 次の [スタックの作成]ページ。
- ソフトウェア設定ページで、下図のように スタックの詳細を指定する ページで、上記の値を追加し、スタック名を付けます(たとえば、
L4MAthenaDetector
)、およびを選択します Next. - ソフトウェア設定ページで、下図のように スタックオプションを構成する ページ、すべてをそのままにして、選択します Next.
データソースとしてAthenaを使用して新しい検出器をセットアップします
ステップ 1
にログインします。 AWS Console LookoutforMetricsを使用した異常検出器の作成を開始します。 最初のステップは、「検出器の作成」ボタンを選択することです。
ステップ 2
名前などの必須の検出器フィールドに入力します。 検出器の検出間隔を選択します。これは、Lookout for Metricsでデータをクエリし、異常がないか監視する頻度によって決まります。 暗号化情報は必須ではありません。 暗号化情報により、LookoutforMetricsは AWSキー管理サービス(KMS) 鍵。 この例では、暗号化キーの追加をスキップします。Lookoutfor Metricsは、暗号化情報が提供されていない場合、デフォルトの暗号化を使用してデータを暗号化し、[作成]ボタンを選択して続行します。
ステップ 3
異常検出器を作成すると、上部のバナーに確認が表示されます。 バナーまたは[データセットの追加]の下のボタンから[データセットの追加]を選択して続行できます。
データソースの基本情報を入力します。 タイムゾーンはオプションのフィールドです。 ドロップダウンを選択して、データソースを選択します。
Lookout for Metricsは、顧客の便宜のために複数のデータソースをサポートしています。 この例では、Athenaを選択します。
データソースとしてAthenaを選択すると、検出器のバックテストモードまたは連続モードを選択するオプションがあります。 この例では、連続モードを使用して続行します。 異常を監視するAthenaテーブルの詳細を追加して続行します。
サービスにサービスロールの作成を許可することも、既存のロールを使用することもできます AWS Identity and Access Management(IAM) フェデレーションクエリのアカウントでの役割。 Lookout for Metricsは、フェデレーションクエリのIAMロールの自動作成をサポートしていないことに注意してください。 したがって、Athenaがデータに対して次のアクションを実行できるようにするには、新しいIAMロールを作成する必要があります。
CreatePreparedStatement
GetPreparedStatement
GetQueryResultsStream
DeletePreparedStatement
GetDatabase
GetQueryResults
GetWorkGroup
GetTableMetadata
StartQueryExecution
GetQueryExecution
サービスによって作成されたIAMロールは、次のようになります。
ステップ 4
次に、検出器に関連するメトリックを定義します。 Lookout for Metricsは、提供されたAthenaテーブルに存在する列をドロップダウンに入力します。 最大XNUMXつのメトリックとXNUMXつのディメンションを選択できます。 Lookout for Metricsでは、テーブル内のデータをタイムスタンプ列のタイムスタンプとして分割する必要があります。 ディメンション全体の値の数を追加することにより、この検出器のコストを見積もるオプションもあります。
すべてのメトリックを選択したら、[次へ]ボタンを選択して続行します。 詳細を確認し、[データセットの保存]ボタンを選択してデータセットを保存します。
ステップ 5
データセットが作成されたら、上部の[アクティブ化]ボタンまたは[仕組み]セクションの[検出器のアクティブ化]ボタンを選択して、検出器をアクティブ化します。
継続的な検出のために検出器をアクティブにするかどうかを確認するように求められます。 「アクティブ化」を選択して確認します。
検出器がアクティブになっていることを通知する確認が表示されます。
ステップ 6
異常検出器がアクティブになったら、検出器の詳細ページの[検出器ログ]タブを使用して、サービスによって実行された検出の実行を確認できます。
ステップ 7
検出器の詳細ページから[異常の表示]ボタンを選択して、サービスによって検出された可能性のある異常を手動で検査できます。
ステップ 8
異常レビューページで、しきい値ダイヤルの重大度スコアしきい値を調整して、選択したスコアを超える異常をフィルタリングできます。
結果を確認して分析する
異常を検出する場合、Lookout for Metricsは、優先順位付けを支援するために重大度スコアを割り当てることにより、最も重要なことに集中するのに役立ちます。 根本的な原因を見つけるのに役立つように、同じインシデントに関連している可能性のある異常をインテリジェントにグループ化し、さまざまな影響の原因を要約します。
Lookout for Metricsを使用すると、検出された異常の関連性に関するリアルタイムのフィードバックを提供できるため、強力なヒューマンインザループメカニズムが可能になります。 この情報は異常検出モデルにフィードバックされ、ほぼリアルタイムで精度が向上します。
クリーンアップ
デモ用に設定されたリソースに追加料金が発生しないように、LookoutforMetricsで作成された検出器とCloudFormationを介して作成されたスタックを削除できます。
まとめ
Athenaのデータにシームレスに接続してメトリクスを探すことができ、Athenaテーブル内のメトリクスとディメンション全体で非常に正確な異常検出器を設定できます。 この機能の使用を開始するには、を参照してください。 LookoutforMetricsでAmazonAthenaを使用する。 この機能は、LookoutforMetricsが公開されているすべてのリージョンで使用できます。 リージョンの可用性の詳細については、を参照してください。 AWSリージョナルサービス.
著者について
デヴェシュ・ラソ LookoutforMetricsチームのソフトウェア開発エンジニアです。 彼の興味は、スケーラブルな分散システムの構築にあります。 余暇には、シミュレーションレースを楽しんでいます。
クリス・キング は、AWSを使用したAppliedAIのシニアソリューションアーキテクトです。 彼はAIサービスの立ち上げに特別な関心を持っており、Amazon Lookout for Metricsに焦点を当てる前に、AmazonPersonalizeとAmazonForecastの成長と構築を支援しました。 余暇には、格闘技の結果を予測するために、料理、読書、ボクシング、モデルの作成を楽しんでいます。
- "
- 100
- 私たちについて
- アクセス
- 正確な
- 越えて
- Action
- 行動
- アクティブ
- NEW
- AI
- AIサービス
- すべて
- Amazon
- 分析
- 誰も
- 自動化
- 自律的
- 賃貸条件の詳細・契約費用のお見積り等について
- 利用できます
- AWS
- バナー
- 利点
- 越えて
- 国境
- ボクシング
- ビルド
- 建物
- ビジネス
- 機能
- 原因となる
- 課金
- コラム
- 戦闘
- 複雑な
- 条件
- お問合せ
- 接続性
- 含まれています
- 利便性
- 可能性
- 作ります
- 作成した
- 作成
- 創造
- Customers
- データ
- データベースを追加しました
- 配信
- 配達
- 実証します
- 展開します
- 細部
- 検出された
- 検出
- 開発者
- 開発
- 異なります
- 配布
- そうではありません
- 効果
- 有効にする
- 暗号化
- エンジニア
- 推定
- すべてのもの
- 例
- 既存の
- 拡大
- 体験
- FRBは
- フィードバック
- フィールズ
- 名
- フォーカス
- 焦点
- フォロー中
- 生成する
- 大きい
- グループの
- 成長する
- 助けます
- ことができます
- ハイ
- 非常に
- 認定条件
- How To
- HTTPS
- 識別する
- アイデンティティ
- 影響
- 重要
- 改善します
- 情報
- 統合する
- 相互作用的
- 関心
- 利益
- インベントリー
- IT
- Jobs > Create New Job
- join
- キー
- 神様です。
- 起動する
- 発射
- 学習
- コメントを残す
- 活用します
- LINK
- 場所
- 機械
- 機械学習
- 作る
- 管理します
- 管理
- 義務的な
- 手動で
- 問題
- 事態
- メトリック
- ML
- モデル
- モニター
- モニタリング
- 他には?
- 最も
- の試合に
- 数
- オプション
- 注文
- 支払い
- パフォーマンス
- 個人
- ポイント
- 可能
- 強力な
- 予測する
- 準備
- 現在
- プロセス
- 提供します
- すぐに
- レーシング
- 価格表
- リーディング
- への
- 地域の
- 関連した
- の提出が必要です
- 必要
- リソースを追加する。
- リソース
- 責任
- 結果
- 収入
- レビュー
- ド電源のデ
- シームレス
- 秒
- 選択
- サービス
- サービス
- セッションに
- ショッピング
- YES
- 簡単な拡張で
- スキル
- ソフトウェア
- ソフトウェア開発
- 固体
- 溶液
- ソリューション
- 特別
- スピード
- スポーツ
- スタック
- 標準
- start
- 開始
- 最先端の
- ステートメント
- ストレージ利用料
- サポート
- サポート
- サポート
- システム
- チーム
- ソース
- したがって、
- しきい値
- 介して
- 時間
- 今日の
- top
- 追跡する
- トランザクション
- 変換
- 下
- 更新
- つかいます
- バージョン
- この試験は
- 以内
- でしょう