使用机器学习改善资产健康和电网弹性 | 亚马逊网络服务

这篇文章是与杜克能源公司的 Travis Bronson 和 Brian L Wilkerson 共同撰写的

机器学习 (ML) 正在改变每个行业、流程和业务，但成功之路并不总是一帆风顺。 在这篇博文中，我们演示了如何 杜克能源，一家总部位于北卡罗来纳州夏洛特的财富 150 强公司，与 AWS 机器学习解决方案实验室 (MLSL) 使用计算机视觉自动检查木制电线杆，帮助防止停电、财产损失甚至人身伤害。

电网由电线杆、线路和发电厂组成，为数百万家庭和企业发电和输送电力。 这些电线杆是关键的基础设施组件，会受到风、雨、雪等各种环境因素的影响，可能会导致资产磨损。 定期检查和维护电线杆至关重要，以防止可能导致停电、财产损失甚至人身伤害的故障。 大多数电力公司，包括杜克能源公司，都使用手动目视检查电线杆来识别与其输电和配电网络相关的异常情况。 但这种方法成本高昂且耗时，并且要求输电线路工作人员遵循严格的安全协议。

杜克能源公司过去曾利用人工智能提高日常运营效率，并取得了巨大成功。 该公司已使用人工智能来检查发电资产和关键基础设施，并一直在探索将人工智能应用于电线杆检查的机会。 在 AWS 机器学习解决方案实验室与杜克能源公司合作的过程中，该公用事业公司取得了进展，利用先进的计算机视觉技术自动检测木杆异常情况。

目标和用例

杜克能源公司与机器学习解决方案实验室合作的目标是利用机器学习检查数十万张高分辨率航拍图像，以自动识别和审查 33,000 英里输电线路中所有木杆相关问题的过程。 这一目标将进一步帮助杜克能源公司通过及时识别缺陷来提高电网弹性并遵守政府法规。 它还将降低燃料和劳动力成本，并通过减少不必要的上门服务来减少碳排放。 最后，它还将通过最大限度地减少与地形和天气条件有关的行驶里程、爬杆以及物理检查风险来提高安全性。

在以下各节中，我们将介绍与开发稳健且高效的木质电线杆异常检测模型相关的关键挑战。 我们还描述了与用于实现所需模型性能的各种数据预处理技术相关的关键挑战和假设。 接下来，我们介绍用于评估模型性能的关键指标以及最终模型的评估。 最后，我们比较了各种最先进的监督和无监督建模技术。

挑战

训练使用航空图像检测异常的模型相关的关键挑战之一是图像尺寸不均匀。 下图展示了来自Duke Energy的样本数据集的图像高度和宽度的分布。 可以观察到图像在尺寸方面有很大的变化。 同样，图像的大小也带来了重大挑战。 输入图像的大小为数千像素宽和数千像素长。 对于训练识别图像中的小异常区域的模型来说，这也不是理想的选择。

此外，输入图像包含大量不相关的背景信息，例如植被、汽车、农场动物等。背景信息可能导致模型性能不佳。 根据我们的评估，图像中只有 5% 包含木杆，异常情况甚至更小。 这是识别和定位高分辨率图像中的异常的主要挑战。 与整个数据集相比，异常数量明显较少。 整个数据集中只有 0.12% 的异常图像（即 1.2 张图像中有 1000 个异常）。 最后，没有可用于训练监督机器学习模型的标记数据。 接下来，我们描述如何应对这些挑战并解释我们提出的方法。

解决方案概述

建模技术

下图演示了我们的图像处理和异常检测流程。 我们首先将数据导入到 亚马逊简单存储服务（Amazon S3） 运用 亚马逊SageMaker Studio。 我们进一步采用各种数据处理技术来解决上面强调的一些挑战，以提高模型性能。 数据预处理后，我们使用了Amazon Rekognition 自定义标签 用于数据标记。 标记数据进一步用于训练有监督的 ML 模型，例如 Vision Transformer、 亚马逊Lookout for Vision及 奥特格伦 用于异常检测。

下图展示了我们提出的方法的详细概述，其中包括数据处理管道和用于异常检测的各种机器学习算法。 首先，我们将描述数据处理管道中涉及的步骤。 接下来，我们将解释与在此过程中使用的各种建模技术相关的细节和直觉，以实现所需的性能目标。

数据预处理

拟议的数据预处理管道包括 数据标准化, 识别感兴趣区域 (ROI), 数据增强， 数据分段，以及 最后 数据标签。 每个步骤的目的描述如下：

数据标准化

我们数据处理流程的第一步包括数据标准化。 在此步骤中，每个图像都会被裁剪并分成大小为 224 X 224 像素的非重叠块。 此步骤的目标是生成大小统一的补丁，可进一步用于训练 ML 模型并定位高分辨率图像中的异常。

识别感兴趣区域 (ROI)

输入数据由高分辨率图像组成，其中包含大量不相关的背景信息（即植被、房屋、汽车、马、牛等）。 我们的目标是识别与木杆相关的异常情况。 为了识别 ROI（即包含木杆的补丁），我们采用了 Amazon Rekognition 自定义标签。 我们使用包含 ROI 和背景图像的 3k 个标记图像训练了 Amazon Rekognition 自定义标签模型。 该模型的目标是在 ROI 和背景图像之间进行二元分类。 被识别为背景信息的补丁将被丢弃，而预测为 ROI 的作物将在下一步中使用。 下图演示了识别 ROI 的流程。 我们生成了 1,110 个木质图像的非重叠作物样本，生成了 244,673 个作物。 我们进一步使用这些图像作为 Amazon Rekognition 自定义模型的输入，该模型将 11,356 种作物识别为投资回报率。 最后，我们手动验证了这 11,356 个补丁。 在手动检查过程中，我们发现该模型能够正确预测 10,969 个木块中的 11,356 个木块作为 ROI。 换句话说，该模型的精度达到了 96%。

数据标签

在手动检查图像的过程中，我们还为每张图像贴上了相关标签。 图像的相关标签包括木材斑块、非木材斑块、非结构、非木材斑块以及最后有异常的木材斑块。 下图演示了使用 Amazon Rekognition 自定义标签的图像命名法。

资料扩充

鉴于可用于训练的标记数据数量有限，我们通过对所有补丁进行水平翻转来扩充训练数据集。 这有效地使我们的数据集大小增加了一倍。

用户分类

我们使用 Amazon Rekognition 自定义标签中的边界框对象检测标记工具标记了 600 张图像中的对象（电线杆、电线和金属栏杆），并训练了一个模型来检测三个主要感兴趣的对象。 我们使用经过训练的模型通过识别和提取每个图像中的极点来去除所有图像中的背景，同时去除所有其他对象以及背景。 由于删除了所有不包含木杆的图像，结果数据集的图像少于原始数据集。 此外，还有一个误报图像已从数据集中删除。

异常检测

接下来，我们使用预处理的数据来训练机器学习模型以进行异常检测。 我们采用了三种不同的异常检测方法，包括 AWS 托管机器学习服务（Amazon Lookout for Vision [L4V]、Amazon Rekognition）、AutoGluon 和基于 Vision Transformer 的自蒸馏方法。

AWS服务

亚马逊 Lookout for Vision (L4V)

Amazon Lookout for Vision 是一项托管 AWS 服务，可以快速训练和部署 ML 模型，并提供异常检测功能。 它需要完全标记的数据，我们通过指向 Amazon S3 中的图像路径来提供这些数据。 训练模型就像单个 API（应用程序编程接口）调用或单击控制台按钮一样简单，L4V 会在后台负责模型选择和超参数调整。

亚马逊重新认识

Amazon Rekognition 是一种类似于 L4V 的托管 AI/ML 服务，它隐藏建模细节并提供图像分类、对象检测、自定义标签等许多功能。 它提供了使用内置模型应用于图像中先前已知的实体（例如，来自 ImageNet 或其他大型开放数据集）的能力。 不过，我们使用 Amazon Rekognition 的自定义标签功能来训练 ROI 检测器，以及针对 Duke Energy 拥有的特定图像的异常检测器。 我们还使用 Amazon Rekognition 的自定义标签来训练模型，在每个图像中的木杆周围放置边界框。

奥特格伦

AutoGluon 是亚马逊开发的开源机器学习技术。 AutoGluon 包含一个多模态组件，可以轻松地对图像数据进行训练。 我们使用 AutoGluon Multi-modal 在标记图像块上训练模型，以建立识别异常的基线。

视觉变压器

许多最令人兴奋的新人工智能突破都来自最近的两项创新：自我监督学习，它允许机器从随机的、未标记的示例中学习； 和 Transformers，它使人工智能模型能够有选择地关注其输入的某些部分，从而更有效地进行推理。 这两种方法一直是机器学习社区的持续关注焦点，我们很高兴与大家分享，我们在此次活动中使用了它们。

特别是，我们与杜克能源公司的研究人员合作，使用预先训练的自蒸馏 ViT（Vision Transformer）模型作为使用 Amazon Sagemaker 的下游异常检测应用程序的特征提取器。 使用 Amazon SageMaker 以自我监督的方式对存储在 Amazon S3 上的大量训练数据进行预训练的自蒸馏视觉转换器模型。 我们利用在大规模数据集（例如 ImageNet）上预训练的 ViT 模型的迁移学习功能。 这帮助我们仅使用数千张标记图像进行训练，就在评估集上实现了 83% 的召回率。

评估指标

下图显示了用于评估模型性能及其影响的关键指标。 该模型的主要目标是最大限度地提高异常检测（即真阳性）并最大限度地减少假阴性的数量，或者最大限度地减少可能导致中断的异常被错误分类的次数。

一旦发现异常情况，技术人员就可以解决这些问题，防止未来发生停机并确保遵守政府法规。 最大限度地减少误报还有另一个好处：您可以避免再次检查图像的不必要的工作。

牢记这些指标，我们根据以下指标跟踪模型性能，这些指标封装了上面定义的所有四个指标。

平台精度

检测到的感兴趣对象实际异常的百分比。 精度衡量我们的算法仅识别异常的能力。 对于此用例，高精度意味着低误报（即，算法错误地识别出啄木鸟洞，而图像中没有任何啄木鸟洞）。

记得

为每个感兴趣的对象恢复的所有异常的百分比。 召回率衡量我们识别所有异常的能力。 该集合捕获了整个异常集合的一定百分比，该百分比就是召回率。 对于这个用例，高召回率意味着我们善于在啄木鸟洞发生时捕捉它们。 因此，召回率是在此 POC 中重点关注的正确指标，因为错误警报充其量只是令人烦恼，而如果无人看管，遗漏的异常可能会导致严重后果。

较低的召回率可能会导致停电和违反政府法规。 而较低的精度会导致人力的浪费。 此次合作的主要目标是识别所有异常情况，以遵守政府法规并避免任何中断，因此我们优先考虑提高召回率而不是精确率。

评估与模型比较

在下一节中，我们将演示在此过程中使用的各种建模技术的比较。 我们评估了两项 AWS 服务 Amazon Rekognition 和 Amazon Lookout for Vision 的性能。 我们还使用 AutoGluon 评估了各种建模技术。 最后，我们将性能与最先进的基于 ViT 的自蒸馏方法进行了比较。

下图显示了在本次合作期间使用不同数据处理技术对 AutoGluon 进行的模型改进。 关键的观察结果是，随着我们提高数据质量和数量，模型在召回率方面的性能从 30% 以下提高到 78%。

接下来，我们将 AutoGluon 与 AWS 服务的性能进行比较。 我们还采用了各种有助于提高性能的数据处理技术。 然而，主要的改进来自于数据数量和质量的提高。 我们将数据集大小从总共 11 K 图像增加到 60 K 图像。

接下来，我们将 AutoGluon 和 AWS 服务与基于 ViT 的方法的性能进行比较。 下图展示了基于 ViT 的方法、AutoGluon 和 AWS 服务在召回率方面表现不相上下。 一个关键的观察是，超过某一点，数据质量和数量的增加无助于提高召回率的性能。 然而，我们观察到精度方面的改进。

精确率与召回率比较

亚马逊 AutoGluon	预测异常	预测正常
异常	15600	4400
正常	3659	38341

接下来，我们使用包含 62 K 样本的数据集展示 AutoGluon 和 Amazon Rekognition 以及基于 ViT 的方法的混淆矩阵。 在 62K 样本中，20K 样本是异常的，而其余 42K 图像是正常的。 可以看出，基于 ViT 的方法捕获的异常数量最多 (16,600)，其次是 Amazon Rekognition (16,000) 和 Amazon AutoGluon (15600)。 同样，Amazon AutoGluon 的误报数量最少（3659 个图像），其次是 Amazon Rekognition (5918) 和 ViT (15323)。 这些结果表明 Amazon Rekognition 实现了最高的 AUC（曲线下面积）。

亚马逊重新认识	预测异常	预测正常
异常	16,000	4000
正常	5918	36082

维生素	预测异常	预测正常
异常	16,600	3400
正常	15,323	26,677

结论

在这篇文章中，我们向您展示了 MLSL 和杜克能源团队如何合作开发基于计算机视觉的解决方案，以使用通过直升机飞行收集的高分辨率图像自动检测木杆的异常情况。 所提出的解决方案采用数据处理管道来裁剪高分辨率图像以实现尺寸标准化。 使用 Amazon Rekognition 自定义标签进一步处理裁剪后的图像，以识别感兴趣的区域（即包含带有极点的斑块的裁剪）。 Amazon Rekognition 在正确识别带有极点的补丁方面达到了 96% 的精度。 使用基于 ViT 的自蒸馏 mdoel AutoGluon 和 AWS 服务进行异常检测，ROI 作物进一步用于异常检测。 我们使用标准数据集来评估所有三种方法的性能。 基于 ViT 的模型实现了 83% 的召回率和 52% 的准确率。 AutoGluon 实现了 78% 的召回率和 81% 的准确率。 最后，Amazon Rekognition 实现了 80% 的召回率和 73% 的准确率。 使用三种不同方法的目的是比较每种方法在不同数量的训练样本、训练时间和部署时间下的性能。 所有这些方法只需不到 2 小时即可使用单个 A100 GPU 实例或 Amazon AWS 上的托管服务进行训练和部署。 接下来，进一步改进模型性能的步骤包括添加更多训练数据以提高模型精度。

总体而言，本文提出的端到端管道有助于显着改进异常检测，同时最大限度地减少运营成本、安全事件、监管风险、碳排放和潜在的停电。

开发的解决方案可用于输电和配电网络中的其他异常检测和资产健康相关用例，包括绝缘子和其他设备的缺陷。 如需开发和定制该解决方案的进一步帮助，请随时与 MLSL 团队联系。

---

作者简介

特拉维斯·布朗森 是一位首席人工智能专家，拥有 15 年的技术经验和 8 年专门致力于人工智能的经验。 在杜克能源公司的 5 年任期中，Travis 通过为公司的领先优势带来独特的见解和创造性的思想领导力，推进了人工智能在数字化转型中的应用。 Travis 目前领导人工智能核心团队，这是一个由人工智能从业者、爱好者和业务合作伙伴组成的社区，专注于推进人工智能成果和治理。 特拉维斯从美国海军和美国政府开始，在多个技术领域获得并完善了自己的技能，然后在服役十多年后转向私营部门。

 布莱恩威尔克森 是一位卓有成就的专业人士，在杜克能源公司拥有二十年的经验。 他拥有计算机科学学位，过去 7 年在人工智能领域表现出色。 Brian 是杜克能源 MADlab（机器学习、人工智能和深度学习团队）的联合创始人。 他目前担任杜克能源公司人工智能与转型总监，热衷于通过人工智能的实施来创造商业价值。

阿桑·阿里（Ahsan Ali） 是亚马逊生成人工智能创新中心的应用科学家，他与来自不同领域的客户合作，使用生成人工智能解决他们紧迫且昂贵的问题。

塔欣·赛义德 是亚马逊生成式 AI 创新中心的应用科学家，他与客户合作，通过生成式 AI 解决方案帮助实现业务成果。 工作之余，他喜欢尝试新食物、旅行和教授跆拳道。

Nkechinyere N. Agu 博士 是 AWS 生成式 AI 创新中心的应用科学家。 她的专业知识是计算机视觉 AI/ML 方法、AI/ML 在医疗保健中的应用，以及 ML 解决方案中语义技术（知识图谱）的集成。 她拥有计算机科学硕士和博士学位。

阿尔多·阿里斯门迪 是位于德克萨斯州奥斯汀的 AWS 生成式 AI 创新中心的生成式 AI 策略师。 Arizmendi 先生在内布拉斯加大学林肯分校获得计算机工程学士学位，在过去 12 年里，他帮助数百家财富 500 强公司和初创企业利用高级分析、机器学习和生成式 AI 实现业务转型。

史黛西·詹克斯 是 AWS 的首席分析销售专家，在分析和 AI/ML 领域拥有二十多年的经验。 Stacey 热衷于深入研究客户计划并利用数据推动变革性的、可衡量的业务成果。 她对公用事业公司将通过提供负担得起的、可靠的清洁能源建设更加绿色的星球为社会做出的贡献尤其充满热情。

迈赫迪·努尔 是生成人工智能创新中心的应用科学经理。 凭借对连接技术和创新的热情，他帮助 AWS 客户释放生成式 AI 的潜力，通过专注于先进 AI 技术的可扩展、可衡量和有影响力的使用，并简化路径，将潜在挑战转化为快速实验和创新的机会到生产。

• SEO 支持的内容和 PR 分发。 今天得到放大。
• PlatoData.Network 垂直生成人工智能。 赋予自己力量。 访问这里。
• 柏拉图爱流。 Web3 智能。 知识放大。 访问这里。
• 柏拉图ESG。 汽车/电动汽车， 碳， 清洁科技, 能源， 环境， 太阳能， 废物管理。 访问这里。
• 柏拉图健康。 生物技术和临床试验情报。 访问这里。
• 图表Prime。 使用 ChartPrime 提升您的交易游戏。 访问这里。
• 块偏移量。 现代化环境抵消所有权。 访问这里。
• Sumber: https://aws.amazon.com/blogs/machine-learning/improving-asset-health-and-grid-resilience-using-machine-learning/