这是 Enel 计算机视觉主管 Mario Namtao Shianti Larcher 的客座文章。
意大利国家电力公司最初是意大利的国家电力实体,如今已成为一家在 32 个国家开展业务的跨国公司,也是世界上第一家私有网络运营商,拥有 74 万用户。 它还被公认为第一家可再生能源公司,装机容量为 55.4 吉瓦。 近年来,该公司在机器学习 (ML) 领域投入巨资,开发强大的内部专业知识,使他们能够实现非常雄心勃勃的项目,例如自动监控其 2.3 万公里的配电网络。
每年,Enel 都会使用直升机、汽车或其他方式检查其配电网络; 拍摄数百万张照片; 并重建其网络的 3D 图像,这是一个 点云 使用 LiDAR 技术获得的网络 3D 重建。
检查这些数据对于监控电网状态、识别基础设施异常以及更新已安装资产的数据库至关重要,并且它可以对基础设施进行精细控制,具体到给定杆上安装的最小绝缘体的材料和状态。 鉴于数据量(仅在意大利每年就有超过 40 万张图像)、要识别的项目数量及其特异性,完全手动分析在时间和金钱方面都非常昂贵,而且容易出错。 幸运的是,由于计算机视觉和深度学习领域的巨大进步以及这些技术的成熟和民主化,可以部分甚至完全自动化这一昂贵的过程。
当然,这项任务仍然非常具有挑战性,并且像所有现代人工智能应用程序一样,它需要计算能力和有效处理大量数据的能力。
Enel基于以下内容构建了自己的ML平台(内部称为ML工厂) 亚马逊SageMaker,该平台被建立为标准解决方案,用于在 Enel 为不同的用例、不同的数字中心(业务部门)构建和训练模型,并在其上开发了数十个 ML 项目 亚马逊 SageMaker 培训, Amazon SageMaker处理以及其他 AWS 服务,例如 AWS步骤功能.
Enel 从两个不同来源收集图像和数据:
- 空中网络检查:
- 激光雷达点云 – 它们的优点是可以对基础设施进行极其精确和地理定位的 3D 重建,因此对于计算距离或进行测量非常有用,其精度无法通过 2D 图像分析获得。
- 高分辨率图像 – 这些基础设施图像是在几秒钟内拍摄的。 这使得检测点云中太小而无法识别的元素和异常成为可能。
- 卫星影像 – 虽然这些比电力线检查更便宜(有些是免费或收费的),但它们的分辨率和质量通常无法与 Enel 直接拍摄的图像相提并论。 这些图像的特征使其可用于某些任务,例如评估森林密度和宏观类别或查找建筑物。
在这篇文章中,我们将详细讨论 Enel 如何使用这三个来源,并分享 Enel 如何使用 SageMaker 自动执行大规模电网评估管理和异常检测流程。
分析高分辨率照片以识别资产和异常情况
与检查期间收集的其他非结构化数据一样,拍摄的照片存储在 亚马逊简单存储服务 (亚马逊 S3)。 其中一些是手动标记的,目的是为不同的计算机视觉任务训练不同的深度学习模型。
从概念上讲,处理和推理流程涉及具有多个步骤的分层方法:首先,识别图像中的感兴趣区域,然后裁剪这些区域,识别其中的资产,最后根据其材料或异常情况对这些区域进行分类。 由于同一极点经常出现在多个图像中,因此还需要能够对其图像进行分组以避免重复,这一操作称为 重新识别.
对于所有这些任务,Enel 使用 PyTorch 框架和最新的图像分类和对象检测架构,例如 高效网络/高效检测 或其他用于某些异常的语义分割,例如变压器漏油。 对于重新识别任务,如果由于缺乏相机参数而无法在几何上完成,他们会使用 模拟CLR使用基于自监督的方法或基于 Transformer 的架构。 如果没有大量配备高性能 GPU 的实例,就不可能训练所有这些模型,因此所有模型都使用并行训练 亚马逊 SageMaker 培训 使用 GPU 加速的 ML 实例的作业。 推理具有相同的结构,并由 Step Functions 状态机编排,该状态机管理多个 SageMaker 处理和训练作业,尽管名称如此,但它们在训练中和推理中一样可用。
以下是 ML 管道的高级架构及其主要步骤。
该图显示了 ODIN 图像推理管道的简化架构,该管道从数据集图像中提取和分析 ROI(例如电力岗位)。 该管道进一步深入研究 ROI,提取和分析电气元件(变压器、绝缘体等)。 组件(ROI 和元素)最终确定后,重新识别过程开始:根据 3D 元数据匹配网络地图中的图像和极点。 这允许对同一极点的 ROI 进行聚类。 之后,异常情况得到最终确定并生成报告。
使用 LiDAR 点云提取精确测量结果
高分辨率照片非常有用,但由于它们是二维的,因此不可能从中提取精确的测量结果。 激光雷达点云在这里可以发挥作用,因为它们是 2D 的,并且云中的每个点都有一个位置,相关误差小于几厘米。
然而,在许多情况下,原始点云没有用,因为如果您不知道一组点是否代表一棵树、一根电线或一座房子,则无法用它做太多事情。 为此,Enel 使用 KP转换,一种语义点云分割算法,为每个点分配一个类。 对云进行分类后,可以判断植被是否距离电力线太近,而不用测量电线杆的倾斜度。 由于SageMaker服务的灵活性,该解决方案的管道与已经描述的管道没有太大区别,唯一的区别是在这种情况下也需要使用GPU实例进行推理。
以下是点云图像的一些示例。
从太空观察电网:绘制植被地图以防止服务中断
使用直升机和其他方式检查电网通常非常昂贵,而且不能太频繁进行。 另一方面,拥有一个在短时间内监测植被趋势的系统对于优化能源分配器最昂贵的流程之一:树木修剪非常有用。 这就是为什么 Enel 还在其解决方案中纳入了卫星图像分析,通过多任务方法确定植被存在的位置、植被的密度以及分为宏观类别的植物类型。
对于此用例,在尝试不同的分辨率后,Enel 得出的结论是,免费 哨兵 2 图片 哥白尼方案提供的成本效益比最好。 除了植被之外,Enel 还使用卫星图像来识别建筑物,这些信息对于了解建筑物的存在与 Enel 供电位置之间是否存在差异以及数据库中是否存在任何不规则连接或问题非常有用。 对于后一种用例,Sentinel 2 的分辨率(一个像素代表 10 平方米的面积)不够,因此需要购买分辨率为 50 平方厘米的付费图像。 该解决方案在使用的服务和流程方面也与之前的解决方案没有太大区别。
以下是带有资产标识(电线杆和绝缘体)的航拍图。
ENEL Grid 数据科学总监 Angela Italiano 表示:
“在 Enel,我们使用计算机视觉模型通过使用数千万张高质量图像和 LiDAR 点云重建网络的 3D 图像来检查我们的配电网络。 这些机器学习模型的训练需要访问大量配备高性能 GPU 的实例以及高效处理大量数据的能力。 借助 Amazon SageMaker,我们可以快速并行训练所有模型,而无需管理基础设施,因为 Amazon SageMaker 训练会根据需要扩展和缩减计算资源。 使用 Amazon SageMaker,我们能够构建系统的 3D 图像、监控异常情况并高效地为超过 60 万客户提供服务。”
结论
在这篇文章中,我们了解了像 Enel 这样的能源界顶尖企业如何使用计算机视觉模型以及 SageMaker 培训和处理作业来解决那些必须管理如此庞大规模的基础设施、跟踪已安装资产以及识别电力线异常情况和危险源(例如距离电力线太近的植被)的主要问题之一。
了解更多相关功能 SageMaker.
作者简介
马里奥·南涛·希安蒂·拉彻 是 Enel 计算机视觉主管。 他拥有数学、统计学背景,在机器学习和计算机视觉方面拥有深厚的专业知识,领导着一支由十多名专业人员组成的团队。 Mario 的职责是实施先进的解决方案,有效利用人工智能和计算机视觉的力量来利用 Enel 广泛的数据资源。 除了他的专业努力之外,他还对传统艺术和人工智能艺术产生了个人热情。
克里斯蒂安·加瓦泽尼 是 Amazon Web Services 的高级解决方案架构师。 他拥有 20 多年作为售前顾问的经验,专注于数据管理、基础设施和安全性。 闲暇时,他喜欢与朋友一起打高尔夫球,以及仅预订机票和自驾游的出国旅行。
朱塞佩·安杰洛·波切利 是 Amazon Web Services 的首席机器学习专家解决方案架构师。 凭借多年的软件工程和机器学习背景,他与各种规模的客户合作,深入了解他们的业务和技术需求,并设计能够充分利用 AWS 云和亚马逊机器学习堆栈的人工智能和机器学习解决方案。 他参与过不同领域的项目,包括 MLOps、计算机视觉、NLP,并涉及广泛的 AWS 服务。 在空闲时间,朱塞佩喜欢踢足球。
- SEO 支持的内容和 PR 分发。 今天得到放大。
- PlatoData.Network 垂直生成人工智能。 赋予自己力量。 访问这里。
- 柏拉图爱流。 Web3 智能。 知识放大。 访问这里。
- 柏拉图ESG。 汽车/电动汽车, 碳, 清洁科技, 能源, 环境, 太阳能, 废物管理。 访问这里。
- 块偏移量。 现代化环境抵消所有权。 访问这里。
- Sumber: https://aws.amazon.com/blogs/machine-learning/enel-automates-large-scale-power-grid-asset-management-and-anomaly-detection-using-amazon-sagemaker/
- :具有
- :是
- :不是
- :在哪里
- $UP
- 1
- 10
- 100
- 13
- 20
- 20 年
- 2D
- 32
- 3d
- 40
- 50
- 60
- 7
- a
- 对,能力--
- Able
- 关于
- 加速
- ACCESS
- 根据
- 精准的
- 横过
- 增加
- 高级
- 进步
- 优点
- 实惠
- 后
- AI
- 算法
- 所有类型
- 允许
- 已经
- 还
- 尽管
- Amazon
- 亚马逊机器学习
- 亚马逊SageMaker
- 亚马逊网络服务
- 有雄心
- 量
- an
- 分析
- 分析
- 分析
- 和
- 异常检测
- 任何
- 出现
- 应用领域
- 的途径
- 建筑的
- 架构
- 保健
- 国家 / 地区
- 艺术
- AS
- 评定
- 财富
- 资产管理
- 办公室文员:
- 相关
- At
- 自动化
- 自动化
- 自动表
- 可使用
- 避免
- AWS
- 背景
- 基于
- BE
- 因为
- 作为
- 最佳
- 之间
- 预订
- 都
- 广阔
- 建立
- 建
- 商业
- 但是
- by
- 计算
- 被称为
- 相机
- CAN
- 容量
- 汽车
- 案件
- 例
- 一定
- 挑战
- 特点
- 程
- 类
- 分类
- 机密
- 关闭
- 云端技术
- 集群
- 如何
- 公司
- 完全
- 组件
- 计算
- 一台
- 计算机视觉
- 计算
- 计算能力
- 总结
- 连接
- 顾问
- 控制
- 昂贵
- 国家
- 套餐
- 危急
- 合作伙伴
- 危险
- data
- 数据管理
- 数据科学
- 数据库
- 深
- 深入学习
- 提供
- 民主化
- 描述
- 设计
- 尽管
- 详情
- 检测
- 检测
- 发达
- 发展
- 不同
- 差异
- 不同
- 数字
- 直接
- 副总经理
- 讨论
- 分配
- 分
- do
- 不会
- 域名
- 完成
- 别
- 向下
- 驾驶
- 两
- 重复
- ,我们将参加
- 每
- 只
- 有效
- 电力
- 分子
- 启用
- 努力
- 能源
- 工程师
- 巨大
- 实体
- 配备
- 错误
- 成熟
- 评估
- 甚至
- 例子
- 昂贵
- 体验
- 专门知识
- 广泛
- 提取
- 提取物
- 非常
- 工厂
- 特征
- 费
- 数字
- 敲定
- 终于
- 寻找
- (名字)
- 高度灵活
- 流
- 聚焦
- 以下
- 足球
- 针对
- 森林
- 幸好
- 骨架
- 自由的
- 频繁
- 朋友
- 止
- 功能
- 进一步
- 通常
- 产生
- 得到
- 特定
- 目标
- 高尔夫球
- 统治
- GPU
- 图形处理器
- 格
- 团队
- 客人
- 游客发表
- 民政事务总署
- 手
- 撮
- 处理
- 有
- 有
- he
- 头
- 严重
- 相关信息
- 高水平
- 高性能
- 高品质
- 高分辨率
- 他的
- 别墅
- 创新中心
- HTML
- HTTP
- HTTPS
- 鉴定
- 确定
- 鉴定
- 确定
- if
- 图片
- 图像分类
- 图片
- 实施
- 不可能
- in
- 包括
- 包含
- 信息
- 基础设施
- 安装
- 兴趣
- 内部
- 成
- 投资
- 涉及
- IT
- 意大利
- 项目
- 它的
- 工作机会
- JPG
- 只是
- 保持
- 知道
- 缺乏
- 大
- 大规模
- 最新
- 信息
- 泄漏
- 学习
- 减
- 杠杆作用
- 喜欢
- 喜欢
- Line
- 机
- 机器学习
- 宏
- 主要
- 使
- 制作
- 管理
- 颠覆性技术
- 手册
- 手动
- 许多
- 地图
- 制图
- 马里奥
- 匹配
- 材料
- 数学
- 到期
- 手段
- 测量
- 测量
- 元数据
- 方法
- 百万
- 百万
- ML
- 多播
- 模型
- 现代
- 钱
- 显示器
- 监控
- 更多
- 最先进的
- 许多
- 跨国公司
- 多
- 姓名
- National
- 必要
- 打印车票
- 需要
- 需要
- 网络
- NLP
- 数
- 对象
- 物体检测
- 获得
- of
- 经常
- 油
- on
- 一
- 那些
- 仅由
- 操作
- 操作者
- 追求项目的积极优化
- or
- 精心策划
- 其他名称
- 其它
- 我们的
- 输出
- 超过
- 己
- 并行
- 参数
- 情
- 个人
- 照片
- 图片
- 管道
- 像素
- Plants
- 平台
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 播放机
- 播放
- 点
- 点
- 位置
- 可能
- 帖子
- 帖子
- 功率
- 电网
- 精确的
- 存在
- 当下
- 防止
- 以前
- 校长
- 私立
- 问题
- 过程
- 过程
- 处理
- 所以专业
- 专业人士
- 深刻的
- 曲目
- 项目
- 提供
- 购买
- pytorch
- 质量
- 很快
- 宁
- 比
- 原
- 实现
- 原因
- 最近
- 确认
- 地区
- 有关
- 遗迹
- 可再生能源
- 业务报告
- 代表
- 需要
- 营救
- 分辨率
- 资源
- 角色
- sagemaker
- 同
- 卫星
- 锯
- 说
- 秤
- 科学
- 秒
- 扇形
- 保安
- 分割
- 前辈
- 服务
- 服务
- 特色服务
- 集
- 几个
- Share
- 短
- 作品
- 简易
- 简
- 尺寸
- 小
- So
- 软件
- 软件工程
- 方案,
- 解决方案
- 解决
- 一些
- 来源
- 太空
- 专家
- 特异性
- 广场
- 堆
- 标准
- 开始
- 州/领地
- 统计
- Status
- 步
- 步骤
- 存储
- 存储
- 强烈
- 结构体
- 这样
- 足够
- 系统
- 产品
- 拍摄
- 需要
- 服用
- 任务
- 任务
- 团队
- 文案
- 技术
- 专业技术
- 十
- HAST
- 条款
- 比
- 谢谢
- 这
- 国家
- 世界
- 其
- 他们
- 然后
- 那里。
- 因此
- 博曼
- 他们
- Free Introduction
- 那些
- 三
- 次
- 至
- 今晚
- 也有
- 最佳
- 跟踪时
- 传统
- 培训
- 熟练
- 产品培训
- 变形金刚
- 树
- 趋势
- 二
- 类型
- 理解
- 单位
- 更新
- 可用
- 使用
- 用例
- 用过的
- 用户
- 使用
- 运用
- 利用
- 非常
- 愿景
- 卷
- we
- 卷筒纸
- Web服务
- 井
- 为
- 是否
- 这
- WHO
- 为什么
- 维基百科上的数据
- 中
- 也完全不需要
- 工作
- 合作
- 世界
- 将
- 年
- 年
- 完全
- 和风网