使用 Amazon QuickSight PlatoBlockchain 数据智能可视化您的 Amazon Lookout for Metrics 异常结果。 垂直搜索。 哎。

使用 Amazon QuickSight 可视化您的 Amazon Lookout for Metrics 异常结果

团队使用时遇到的挑战之一 亚马逊监视指标 快速有效地将其连接到数据可视化。 异常在 Lookout for Metrics 控制台上单独显示,每个都有自己的图表,因此很难将整个集合视为一个整体。 需要一个自动化的集成解决方案来进行更深入的分析。

在这篇文章中,我们使用了一个 Lookout for Metrics 实时检测器,该检测器是按照 入门 的部分 AWS 示例、Amazon Lookout for Metrics GitHub 存储库。 在检测器处于活动状态并从数据集中生成异常后,我们将 Lookout for Metrics 连接到 亚马逊QuickSight. 我们创建了两个数据集:一个通过将维度表与异常表连接起来,另一个通过将异常表与实时数据连接起来。 然后,我们可以将这两个数据集添加到 QuickSight 分析中,在其中我们可以在单个仪表板中添加图表。

我们可以向 Lookout for Metrics 检测器提供两种类型的数据:连续数据和历史数据。 这 AWS Samples GitHub存储库 两者都提供,但我们专注于持续的实时数据。 检测器监控此实时数据以识别异常并将异常写入 亚马逊简单存储服务 (Amazon S3),因为它们是生成的。 在指定时间间隔结束时,检测器分析数据。 随着时间的推移,检测器会根据发现的模式学会更准确地识别异常。

Lookout for Metrics 使用机器学习 (ML) 自动检测和诊断业务和运营数据中的异常情况,例如销售收入或客户获取率突然下降。 该服务现已于 25 年 2021 月 XNUMX 日全面推出。它自动检查和准备来自各种来源的数据,以比用于异常检测的传统方法更快、更准确地检测异常。 您还可以就检测到的异常提供反馈,以调整结果并随着时间的推移提高准确性。 Lookout for Metrics 通过将与同一事件相关的异常分组在一起并发送包含潜在根本原因摘要的警报,可以轻松诊断检测到的异常。 它还按严重程度对异常进行排序,以便您可以优先关注对您的业务最重要的事情。

QuickSight 是一种完全托管的云原生商业智能 (BI) 服务,可以轻松连接到您的数据以创建和发布交互式仪表板。 此外,您可以使用 亚马逊QuickSight 通过自然语言查询获得即时答案。

您可以从任何设备访问无服务器、高度可扩展的 QuickSight 仪表板,并将它们无缝嵌入到您的应用程序、门户和网站中。 以下屏幕截图是您在本文结束时可以实现的示例。

解决方案概述

该解决方案是 AWS 服务的组合,主要是 Lookout for Metrics、QuickSight、 AWS Lambda, 亚马逊雅典娜, AWS胶水和亚马逊 S3。

下图说明了解决方案架构。 Lookout for Metrics 检测并通过警报将异常发送给 Lambda。 Lambda 函数将异常结果生成为 CSV 文件并将它们保存在 Amazon S3 中。 AWS Glue 爬网程序分析元数据,并在 Athena 中创建表。 QuickSight 使用 Athena 查询 Amazon S3 数据,允许构建仪表板以可视化异常结果和实时数据。

解决方案架构

该解决方案扩展了在 入门 GitHub 存储库的部分。 对于每个步骤,我们都包含创建资源的选项,或者使用 AWS管理控制台 或启动提供的 AWS CloudFormation 堆。 如果您有自定义的 Lookout for Metrics 检测器,您可以使用它并对其进行以下调整 笔记本 以达到相同的结果。

实施步骤如下:

  1. 创建 亚马逊SageMaker 笔记本实例(ALFMTestNotebook) 和使用提供的堆栈的笔记本 初始设置 的部分 GitHub回购.
  2. 在 SageMaker 控制台上打开笔记本实例并导航到 amazon-lookout-for-metrics-samples/getting_started 文件夹中。
  3. 创建 S3 存储桶并使用第一个完成数据准备 笔记本 (1.PrereqSetupData.ipynb)。 打开笔记本 conda_python3 内核,如果提示。

我们跳过第二个 笔记本 因为它专注于回测数据。

  1. 如果您正在使用控制台浏览示例,请使用第三个创建 Lookout for Metrics 实时检测器及其警报 笔记本 (3.GettingStartedWithLiveData.ipynb).

如果您使用提供的 CloudFormation 堆栈,则不需要第三个笔记本。 检测器及其警报是作为堆栈的一部分创建的。

  1. 创建 Lookout for Metrics 实时检测器后,您需要从控制台激活它。

初始化模型和检测异常可能需要长达 2 小时。

  1. 使用 Python 和 Pandas 库层部署 Lambda 函数,并创建附加到实时检测器的警报以启动它。
  2. 结合使用 Athena 和 AWS Glue 为 QuickSight 发现和准备数据。
  3. 创建 QuickSight 数据源和数据集。
  4. 最后,使用数据集创建用于可视化的 QuickSight 分析。

CloudFormation 脚本通常在生产环境中作为一组嵌套堆栈运行。 它们在这篇文章中单独提供,以促进逐步演练。

先决条件

要完成本演练,您需要一个将部署解决方案的 AWS 账户。 确保您部署的所有资源都在同一个区域中。 您需要一个正在运行的 Lookout for Metrics 检测器,该检测器是从笔记本 1 和 3 构建的 GitHub回购. 如果您没有正在运行的 Lookout for Metrics 检测器,您有两种选择:

  • 运行笔记本 1 和 3,并从本文的步骤 1 继续(创建 Lambda 函数和警报)
  • 运行 notebook 1,然后使用 CloudFormation 模板生成 Lookout for Metrics 检测器

使用 AWS CloudFormation 创建实时检测器

L4MLiveDetector.yaml CloudFormation 脚本创建 Lookout for Metrics 异常检测器,其源指向指定 S3 存储桶中的实时数据。 要创建检测器,请完成以下步骤:

  1. 从以下链接启动堆栈:

使用 Amazon QuickSight PlatoBlockchain 数据智能可视化您的 Amazon Lookout for Metrics 异常结果。 垂直搜索。 哎。

  1. 点击 创建堆栈 页面,选择 下一页.
  2. 点击 指定堆栈详细信息 页面,提供以下信息:
    1. 堆栈名称。 例如, L4MLiveDetector.
    2. S3 存储桶, <Account Number>-lookoutmetrics-lab.
    3. 角色 ARN, arn:aws:iam::<Account Number>:role/L4MTestRole.
    4. 异常检测频率。 选择 PT1H (每小时)。
  3. 下一页.
  4. 点击 配置堆栈选项 页面,保持原样并选择 下一页.
  5. 点击 评论 页面,保持原样并选择 创建堆栈.

使用 AWS CloudFormation 创建实时检测器 SMS 警报(可选)

此步骤是可选的。 警报作为示例提供,对数据集的创建没有影响。 这 L4MLiveDetectorAlert.yaml CloudFormation 脚本使用 SMS 目标创建 Lookout for Metrics 异常检测器警报。

  1. 从以下链接启动堆栈:

使用 Amazon QuickSight PlatoBlockchain 数据智能可视化您的 Amazon Lookout for Metrics 异常结果。 垂直搜索。 哎。

  1. 点击 创建堆栈 页面,选择 下一页.
  2. 点击 指定堆栈详细信息 页面,更新 SMS 电话号码并输入堆栈的名称(例如, L4MLiveDetectorAlert).
  3. 下一页.
  4. 点击 配置堆栈选项 页面,保持原样并选择 下一页.
  5. 点击 评论 页面,选中确认复选框,保留其他所有内容,然后选择 创建堆栈.

资源清理

在继续下一步之前,请停止您的 SageMaker 笔记本实例,以确保不会产生不必要的费用。 它不再需要。

创建 Lambda 函数和警报

在本节中,我们提供有关通过控制台或 AWS CloudFormation 创建 Lambda 函数和警报的说明。

使用控制台创建函数和警报

你需要一个 Lambda AWS身份和访问管理 (我是) 角色最低权限最佳实践 访问要保存结果的存储桶。

    1. 在Lambda控制台上,创建一个新功能。
    2. 选择 从头开始.
    3. 针对 功能名称¸输入名称。
    4. 针对 运行时,选择 Python的3.8.
    5. 针对 执行角色, 选择 使用现有角色 并指定您创建的角色。
    6. 创建功能.
  1. 使用 Amazon QuickSight PlatoBlockchain 数据智能可视化您的 Amazon Lookout for Metrics 异常结果。 垂直搜索。 哎。
    1. 下载 包含 Lambda 函数所需代码的 ZIP 文件。
    2. 在 Lambda 控制台上,打开该函数。
    3. 点击 代码 标签,选择 上传自,选择 .zip文件,然后上传您下载的文件。
    4. 保存.

使用 Amazon QuickSight PlatoBlockchain 数据智能可视化您的 Amazon Lookout for Metrics 异常结果。 垂直搜索。 哎。

上传 ZIP 文件后,您的文件树应保持不变。

使用 Amazon QuickSight PlatoBlockchain 数据智能可视化您的 Amazon Lookout for Metrics 异常结果。 垂直搜索。 哎。

  1. 部分中,选择 添加图层.
  2. 选择 指定 ARN.
  3. 在下面的 GitHub回购,选择与您正在工作的区域对应的 CSV,然后从最新的 Pandas 版本复制 ARN。
  4. 针对 指定 ARN,输入您复制的 ARN。
  5. 地址.

使用 Amazon QuickSight PlatoBlockchain 数据智能可视化您的 Amazon Lookout for Metrics 异常结果。 垂直搜索。 哎。

  1. 要使函数适应您的环境,请确保在 lambda_function.py 文件的代码底部使用要保存异常结果的存储桶更新存储桶名称,以及 DataSet_ARN 来自您的异常检测器。
  2. 部署 使更改生效。

使用 Amazon QuickSight PlatoBlockchain 数据智能可视化您的 Amazon Lookout for Metrics 异常结果。 垂直搜索。 哎。

您现在需要将 Lookout for Metrics 检测器连接到您的函数。

  1. 在 Lookout for Metrics 控制台上,导航到您的检测器并选择 添加提醒.
  2. 输入警报名称和您的首选严重性阈值。
  3. 从频道列表中,选择 LAMBDA.
  4. 选择您创建的函数,并确保您有合适的角色来触发它。
  5. 添加提醒.

使用 Amazon QuickSight PlatoBlockchain 数据智能可视化您的 Amazon Lookout for Metrics 异常结果。 垂直搜索。 哎。

现在您等待警报触发。 时间取决于检测器何时发现异常。

当检测到异常时,Lookout for Metrics 会触发 Lambda 函数。 它从 Lookout for Metrics 接收必要的信息,并检查 Amazon S3 中是否已经在异常的相应时间戳处保存了 CSV 文件。 如果没有文件,Lambda 会生成文件并添加异常数据。 如果文件已经存在,Lambda 会使用收到的额外数据更新文件。 该函数为每个不同的时间戳生成一个单独的 CSV 文件。

使用 AWS CloudFormation 创建函数和警报

与控制台说明类似,您 下载 ZIP 文件 包含 Lambda 函数的必要代码。 但是,在这种情况下,需要将其上传到 S3 存储桶,以便 AWS CloudFormation 代码在函数创建期间加载它。

在 Lookout for Metrics 检测器创建中指定的 S3 存储桶中,创建一个名为 lambda-code 的文件夹,然后上传 ZIP 文件。

使用 Amazon QuickSight PlatoBlockchain 数据智能可视化您的 Amazon Lookout for Metrics 异常结果。 垂直搜索。 哎。

Lambda 函数在创建期间将其加载为其代码。

使用 Amazon QuickSight PlatoBlockchain 数据智能可视化您的 Amazon Lookout for Metrics 异常结果。 垂直搜索。 哎。

L4MLambdaFunction.yaml CloudFormation 脚本创建 Lambda 函数和警报资源,并使用存储在同一 S3 存储桶中的函数代码存档。

  1. 从以下链接启动堆栈:

使用 Amazon QuickSight PlatoBlockchain 数据智能可视化您的 Amazon Lookout for Metrics 异常结果。 垂直搜索。 哎。

  1. 点击 创建堆栈 页面,选择 下一页.
  2. 点击 指定堆栈详细信息 页,指定堆栈名称(例如, L4MLambdaFunction).
  3. 在下面的 GitHub回购,打开与您正在工作的区域对应的 CSV,并从最新的 Pandas 版本复制 ARN。
  4. 输入 ARN 作为 Pandas Lambda 层 ARN 参数。
  5. 下一页.
  6. 点击 配置堆栈选项 页面,保持原样并选择 下一页.
  7. 点击 评论 页面,选中确认复选框,保留其他所有内容,然后选择 创建堆栈.

激活探测器

在继续下一步之前,您需要从控制台激活检测器。

  1. 在“监视指标”控制台上,选择 探测器 在导航窗格中。
  2. 选择您新创建的检测器。
  3. 启用,然后选择 启用 再次确认。

激活初始化检测器; 当模型完成其学习周期时,它就完成了。 这可能需要长达 2 小时。

为 QuickSight 准备数据

在完成此步骤之前,请给检测器时间来发现异常。 您创建的 Lambda 函数将异常结果保存在 Lookout for Metrics 存储桶中的 anomalyResults 目录。 我们现在可以处理这些数据,为 QuickSight 做好准备。

在控制台上创建 AWS Glue 爬网程序

在生成一些异常 CSV 文件后,我们使用 AWS Glue 爬虫来生成元数据表。

  1. 在 AWS Glue 控制台上,选择 爬行 在导航窗格中。
  2. 添加搜寻器.

使用 Amazon QuickSight PlatoBlockchain 数据智能可视化您的 Amazon Lookout for Metrics 异常结果。 垂直搜索。 哎。

  1. 输入爬网程序的名称(例如, L4MCrawler).
  2. 下一页.
  3. 针对 搜寻器来源类型, 选择 资料储存库.
  4. 针对 重复爬取 S3 数据存储, 选择 爬取所有文件夹.
  5. 下一页.

使用 Amazon QuickSight PlatoBlockchain 数据智能可视化您的 Amazon Lookout for Metrics 异常结果。 垂直搜索。 哎。

  1. 在数据存储配置页面上,对于 抓取数据, 选择 我帐户中的指定路径.
  2. 针对 包含路径,输入你的路径 dimensionContributions 文件(s3://YourBucketName/anomalyResults/dimensionContributions).
  3. 下一页.
  4. Yes 添加另一个数据存储并重复以下说明 metricValue_AnomalyScore(s3://YourBucketName/anomalyResults/metricValue_AnomalyScore).
  5. 对 Lookout for Metrics 异常检测器(这是 Lookout for Metrics 检测器中的 S3 数据集位置)分析的实时数据再次重复这些说明。

您现在应该有三个数据存储供搜寻器处理。

使用 Amazon QuickSight PlatoBlockchain 数据智能可视化您的 Amazon Lookout for Metrics 异常结果。 垂直搜索。 哎。

现在您需要选择角色以允许爬网程序遍历您数据的 S3 位置。

  1. 对于此帖子,请选择 创建一个IAM角色 并输入角色的名称。
  2. 下一页.

使用 Amazon QuickSight PlatoBlockchain 数据智能可视化您的 Amazon Lookout for Metrics 异常结果。 垂直搜索。 哎。

  1. 针对 频率, 离开为 按需运行 并选择 下一页.
  2. 配置搜寻器的输出 部分中,选择 添加数据库.

这将在爬虫完成后创建元数据表所在的 Athena 数据库。

  1. 输入数据库名称并选择 创建.
  2. 下一页,然后选择 完成.

使用 Amazon QuickSight PlatoBlockchain 数据智能可视化您的 Amazon Lookout for Metrics 异常结果。 垂直搜索。 哎。

  1. 点击 爬行 AWS Glue 控制台的页面,选择您创建的爬虫并选择 运行搜寻器.

您可能需要等待几分钟,具体取决于数据的大小。 完成后,爬虫的状态显示为 各就各位. 要查看元数据表,请导航到您的数据库 数据库 页面并选择 在导航窗格中。

在此示例中,名为 live 的元数据表表示来自 Lookout for Metrics 实时检测器的 S3 数据集。 作为最佳实践,建议 加密您的 AWS Glue 数据目录元数据.

使用 Amazon QuickSight PlatoBlockchain 数据智能可视化您的 Amazon Lookout for Metrics 异常结果。 垂直搜索。 哎。

Athena 自动识别元数据表,QuickSight 使用 Athena 查询数据并可视化结果。

使用 AWS CloudFormation 创建 AWS Glue 爬网程序

L4MGlueCrawler.yaml CloudFormation 脚本创建 AWS Glue 爬网程序、其关联的 IAM 角色和输出 Athena 数据库。

  1. 从以下链接启动堆栈:

使用 Amazon QuickSight PlatoBlockchain 数据智能可视化您的 Amazon Lookout for Metrics 异常结果。 垂直搜索。 哎。

  1. 点击 创建堆栈 页面,选择 下一页.
  2. 点击 指定堆栈详细信息 页面,输入堆栈的名称(例如, L4MGlueCrawler),然后选择 下一页.
  3. 点击 配置堆栈选项 页面,保持原样并选择 下一页.
  4. 点击 评论 页面,选中确认复选框,保留其他所有内容,然后选择 创建堆栈.

运行 AWS Glue 爬网程序

创建爬虫后,您需要先运行它,然后再进行下一步。 您可以从控制台或 AWS命令行界面 (AWS CLI)。 要使用控制台,请完成以下步骤:

  1. 在 AWS Glue 控制台上,选择 爬行 在导航窗格中。
  2. 选择您的爬虫 (L4MCrawler).
  3. 运行搜寻器.

爬虫完成后,显示状态 各就各位.

使用 Amazon QuickSight PlatoBlockchain 数据智能可视化您的 Amazon Lookout for Metrics 异常结果。 垂直搜索。 哎。

创建 QuickSight 帐户

在开始下一步之前,导航到 QuickSight 控制台并创建一个帐户(如果您还没有帐户)。 为确保您可以访问相应的服务(Athena 和 S3 存储桶),请在右上角选择您的帐户名称,选择 管理QuickSight,并选择 安全和权限,您可以在其中添加必要的服务。 在设置您的 Amazon S3 访问权限时,请务必选择 Athena Workgroup 的写入权限.

使用 Amazon QuickSight PlatoBlockchain 数据智能可视化您的 Amazon Lookout for Metrics 异常结果。 垂直搜索。 哎。

现在您已准备好在 QuickSight 中可视化您的数据。

在控制台上创建 QuickSight 数据集

如果这是您第一次使用 Athena,则必须配置查询的输出位置。 有关说明,请参阅第 1-6 步 建立资料库. 然后完成以下步骤:

  1. 在QuickSight控制台上,选择 数据集.
  2. 新数据集.
  3. 选择 Athena 作为您的来源。
  4. 输入数据源的名称。
  5. 创建数据源.

使用 Amazon QuickSight PlatoBlockchain 数据智能可视化您的 Amazon Lookout for Metrics 异常结果。 垂直搜索。 哎。

  1. 对于您的数据库,请指定您之前使用 AWS Glue 爬网程序创建的数据库。
  2. 指定包含您的实时数据(不是异常)的表。
  3. 编辑/预览数据.

您将被重定向到类似于以下屏幕截图的界面。

使用 Amazon QuickSight PlatoBlockchain 数据智能可视化您的 Amazon Lookout for Metrics 异常结果。 垂直搜索。 哎。

下一步是添加和组合 metricValue_AnomalyScore 数据与实时数据。

  1. 新增资料.
  2. 添加数据源.
  3. 指定您创建的数据库和 metricValue_AnomalyScore 表。
  4. 选择.

使用 Amazon QuickSight PlatoBlockchain 数据智能可视化您的 Amazon Lookout for Metrics 异常结果。 垂直搜索。 哎。

您现在需要配置两个表的连接。

  1. 选择两个表之间的链接。
  2. 将连接类型保留为 ,添加时间戳和您拥有的每个维度作为连接子句,然后选择 使用.

在以下示例中,我们使用时间戳、平台和市场作为连接子句。

使用 Amazon QuickSight PlatoBlockchain 数据智能可视化您的 Amazon Lookout for Metrics 异常结果。 垂直搜索。 哎。

在右侧窗格中,您可以删除不想保留的字段。

  1. metricValue_AnomalyScore 表没有重复的列。
  2. 将(实时数据表的)时间戳数据类型从字符串更改为日期,并指定正确的 格式. 在我们的例子中,它应该是 yyyy-MM-dd HH:mm:ss.

以下屏幕截图显示了您删除一些字段并调整数据类型后的视图。

图片

  1. 保存和可视化.
  2. 选择数据集旁边的铅笔图标。
  3. 添加数据集 并选择 dimensioncontributions.

使用 AWS CloudFormation 创建 QuickSight 数据集

此步骤包含三个 CloudFormation 堆栈。

第一个 CloudFormation 脚本, L4MQuickSightDataSource.yaml,创建 QuickSight Athena 数据源。

  1. 从以下链接启动堆栈:

使用 Amazon QuickSight PlatoBlockchain 数据智能可视化您的 Amazon Lookout for Metrics 异常结果。 垂直搜索。 哎。

  1. 点击 创建堆栈 页面,选择 下一页.
  2. 点击 指定堆栈详细信息 页面,输入您的 QuickSight 用户名、QuickSight 账户区域(在创建 QuickSight 账户时指定)和堆栈名称(例如, L4MQuickSightDataSource).
  3. 下一页.
  4. 点击 配置堆栈选项 页面,保持原样并选择 下一页.
  5. 点击 评论 页面,保持原样并选择 创建堆栈.

第二个 CloudFormation 脚本, L4MQuickSightDataSet1.yaml,创建一个将维度表与异常表连接起来的 QuickSight 数据集。

  1. 从以下链接启动堆栈:

使用 Amazon QuickSight PlatoBlockchain 数据智能可视化您的 Amazon Lookout for Metrics 异常结果。 垂直搜索。 哎。

  1. 点击 创建堆栈 页面,选择 下一页.
  2. 点击 指定堆栈详细信息,输入堆栈名称(例如, L4MQuickSightDataSet1).
  3. 下一页.
  4. 点击 配置堆栈选项 页面,保持原样并选择 下一页.
  5. 点击 评论 页面,保持原样并选择 创建堆栈.

第三个 CloudFormation 脚本, L4MQuickSightDataSet2.yaml,创建将异常表与实时数据表连接起来的 QuickSight 数据集。

  1. 从以下链接启动堆栈:

使用 Amazon QuickSight PlatoBlockchain 数据智能可视化您的 Amazon Lookout for Metrics 异常结果。 垂直搜索。 哎。

  1. 点击 创建堆栈页面¸选择 下一页.
  2. 点击 指定堆栈详细信息 页面,输入堆栈名称(例如, L4MQuickSightDataSet2).
  3. 下一页.
  4. 点击 配置堆栈选项 页面,保持原样并选择 下一页.
  5. 点击 评论 页面,保持原样并选择 创建堆栈.

为仪表板创建创建 QuickSight 分析

此步骤只能在控制台上完成。 创建 QuickSight 数据集后,请完成以下步骤:

  1. 在QuickSight控制台上,选择 分析 在导航窗格中。
  2. 新的分析.
  3. 选择第一个数据集, L4MQuickSightDataSetWithLiveData.

使用 Amazon QuickSight PlatoBlockchain 数据智能可视化您的 Amazon Lookout for Metrics 异常结果。 垂直搜索。 哎。

  1. 建立分析.

使用 Amazon QuickSight PlatoBlockchain 数据智能可视化您的 Amazon Lookout for Metrics 异常结果。 垂直搜索。 哎。

QuickSight 分析最初仅使用第一个数据集创建。

  1. 要添加第二个数据集,请选择旁边的铅笔图标 数据集 并选择 添加数据集.
  2. 选择第二个数据集并选择 选择.

使用 Amazon QuickSight PlatoBlockchain 数据智能可视化您的 Amazon Lookout for Metrics 异常结果。 垂直搜索。 哎。

然后,您可以使用任一数据集创建图表,方法是在 数据集 下拉式菜单。

使用 Amazon QuickSight PlatoBlockchain 数据智能可视化您的 Amazon Lookout for Metrics 异常结果。 垂直搜索。 哎。

数据集指标

您已从 Lookout for Metrics 推理结果和实时数据成功创建 QuickSight 分析。 QuickSight 中有两个数据集供您使用: L4M_Visualization_dataset_with_liveDataL4M_Visualization_dataset_with_dimensionContribution.

L4M_Visualization_dataset_with_liveData 数据集包括以下指标:

  • 时间戳 – 传递给 Lookout for Metrics 的实时数据的日期和时间
  • 意见 – 视图指标的值
  • 收入 – 收入指标的价值
  • 平台、市场、revenueAnomalyMetricValue、viewsAnomalyMetricValue、receiverGroupScore 和 viewsGroupScore – 这些指标是两个数据集的一部分

L4M_Visualization_dataset_with_dimensionContribution 数据集包括以下指标:

  • 时间戳 – 检测到异常的日期和时间
  • 指标名称 – 您正在监控的指标
  • 维度名称 – 指标内的维度
  • 维度值 – 维度的值
  • 价值贡献 – 检测到异常时,DimensionValue 影响异常的百分比

以下屏幕截图显示了 Lookout for Metrics 检测器异常仪表板上的这五个指标。

使用 Amazon QuickSight PlatoBlockchain 数据智能可视化您的 Amazon Lookout for Metrics 异常结果。 垂直搜索。 哎。

以下指标是两个数据集的一部分:

  • 平台 – 异常发生的平台
  • 市场 – 异常发生的市场
  • 收入AnomalyMetricValue 和意见AnomalyMetricValue – 检测到异常时指标的对应值(在这种情况下,指标是收入或观看次数)
  • 收入GroupScore 和viewsGroupScore – 检测到的异常的每个指标的严重性分数

为了更好地理解最后这些指标,您可以查看由 Lambda 函数在您保存的 S3 存储桶中创建的 CSV 文件 anomalyResults/metricValue_AnomalyScore.

接下来的步骤

下一步是为您想要查看的数据构建仪表板。 这篇文章不包含有关创建 QuickSight 图表的说明。 如果您是 QuickSight 的新手,请参阅 Amazon QuickSight 中的数据分析入门 介绍。 以下屏幕截图显示了基本仪表板的示例。 有关更多信息,请查看 QuickSight 研讨会.

使用 Amazon QuickSight PlatoBlockchain 数据智能可视化您的 Amazon Lookout for Metrics 异常结果。 垂直搜索。 哎。

使用 Amazon QuickSight PlatoBlockchain 数据智能可视化您的 Amazon Lookout for Metrics 异常结果。 垂直搜索。 哎。

结论

异常在 Lookout for Metrics 控制台上单独显示,每个都有自己的图表,因此很难将整个集合视为一个整体。 需要一个自动化的集成解决方案来进行更深入的分析。 在这篇文章中,我们使用 Lookout for Metrics 检测器生成异常,并将数据连接到 QuickSight 以创建可视化。 该解决方案使我们能够对异常进行更深入的分析,并将它们全部集中在一个地方/仪表板中。

作为下一步,该解决方案也可以通过添加额外的数据集并组合来自多个检测器的异常来扩展。 您还可以调整 Lambda 函数。 Lambda 函数包含生成我们用于 QuickSight 仪表板的数据集和变量名称的代码。 您可以通过更改数据集本身或对您更有意义的变量名称来调整此代码以适应您的特定用例。

如果您有任何反馈或问题,请在评论中留下。


作者简介

使用 Amazon QuickSight PlatoBlockchain 数据智能可视化您的 Amazon Lookout for Metrics 异常结果。 垂直搜索。 哎。贝努瓦·德·帕图尔 是 AWS 的 AI/ML 专家解决方案架构师。 他通过提供指导和技术帮助来帮助客户在使用 AWS 时构建与 AI/ML 相关的解决方案。

使用 Amazon QuickSight PlatoBlockchain 数据智能可视化您的 Amazon Lookout for Metrics 异常结果。 垂直搜索。 哎。保罗·特罗亚诺 是 AWS 的高级解决方案架构师,常驻佐治亚州亚特兰大。 他通过提供有关 AWS 上的技术战略和解决方案的指导来帮助客户。 他对 AI/ML 和解决方案自动化的所有事物充满热情。

时间戳记:

更多来自 AWS机器学习