根据 Gartner公司,超自动化是 2022 年的第一大趋势,并将在未来继续发展。 超自动化的主要障碍之一是在我们仍在努力减少人工参与的领域。 尽管计算机视觉的深度学习取得了巨大进步,但智能系统很难与人类的视觉识别能力相匹敌。 这主要是由于缺乏注释数据(或当数据稀疏时)以及在质量控制等领域,受过训练的人眼仍然占主导地位。 另一个原因是在产品供应链的所有领域都可以进行人工访问,例如生产线上的质量控制检查。 目视检查广泛用于对生产设施中的各种设备进行内部和外部评估,例如储罐、压力容器、管道、自动售货机和其他设备,并扩展到许多行业,例如电子、医疗、CPG、和原材料等等。
使用人工智能 (AI) 进行自动视觉检查或通过 AI 增强人类视觉检查过程可以帮助解决下面概述的挑战。
人工视觉检查的挑战
以人为主导的视觉检查具有以下高级问题:
- 鳞片 – 大多数产品在提供给最终消费者之前要经过多个阶段,从组装到供应链再到质量控制。 在制造过程或组装过程中,可能会在空间和时间的不同点出现缺陷。 因此,使用人工视觉检查并不总是可行或具有成本效益的。 这种无法扩展可能会导致灾难,例如 英国石油公司深水地平线漏油事件 和 挑战者号航天飞机爆炸,其(对人类和自然)的总体负面影响远远超过了货币成本。
- 人类视觉错误 – 在可以方便地执行人工目视检查的领域,人为错误是一个经常被忽视的主要因素。 根据以下 报告,大多数检查任务都很复杂,通常表现出 20-30% 的错误率,这直接转化为成本和不良结果。
- 人事及杂项费用 – 尽管质量控制的总体成本可能因行业和地点而有很大差异,但根据一些 估计,经过培训的质量检查员的年薪在 26,000 至 60,000 美元之间。 还有其他杂项成本可能并不总是被考虑在内。
SageMaker JumpStart 是开始使用各种 亚马逊SageMaker 通过精心策划的一键式解决方案、示例笔记本和预先训练的计算机视觉、自然语言处理和表格数据模型,用户可以选择、微调(如果需要)和使用 AWS SageMaker 基础设施进行部署。
在这篇文章中,我们将介绍如何使用公开可用的数据集和 SageMaker JumpStart 快速部署自动化缺陷检测解决方案,从数据摄取到模型推理。
解决方案概述
该解决方案使用最先进的深度学习方法,使用 SageMaker 自动检测表面缺陷。 缺陷检测网络或 DDN模型 增强 更快的R-CNN 并识别钢表面图像中可能存在的缺陷。 这 NEU表面缺陷数据库, 是一个平衡数据集,包含热轧钢带的六种典型表面缺陷:轧入氧化皮 (RS)、斑块 (Pa)、银纹 (Cr)、麻点表面 (PS)、夹杂物 (In)、和划痕 (Sc)。 该数据库包含 1,800 张灰度图像:每种缺陷类型 300 个样本。
内容
JumpStart 解决方案包含以下工件,您可以从 JupyterLab 文件浏览器:
- 云形成/ – AWS CloudFormation 配置文件以创建相关的 SageMaker 资源并应用权限。 还包括用于删除已创建资源的清理脚本。
- src / – 包含以下内容:
- 准备数据/ – NEU 数据集的数据准备。
- sagemaker_defect_detection/ – 包含以下内容的主包:
- 数据集 – 包含 NEU 数据集处理。
- 模型 – 包含称为缺陷检测网络的自动缺陷检测 (ADI) 系统。 请参阅以下内容 纸 了解详情。
- utils的 – 用于可视化和 COCO 评估的各种实用程序。
- 分类器.py – 对于分类任务。
- 检测器.py – 用于检测任务。
- 转换.py – 包含训练中使用的图像转换。
- 笔记本/ – 个人笔记本,稍后将在本文中更详细地讨论。
- 脚本/ - 用于训练和构建的各种脚本。
默认数据集
该解决方案在 NEU-CLS 数据集上训练分类器,在 NEU-DET 数据集上训练检测器。 该数据集总共包含 1800 张图像和 4189 个边界框。 我们数据集中的缺陷类型如下:
- 疯狂(等级:
Cr
, 标签: 0) - 包含(类别:
In
, 标签: 1) - 麻点表面(等级:
PS
, 标签: 2) - 补丁(类别:Pa,标签:3)
- 卷入式秤(等级:
RS
, 标签: 4) - 划痕(类别:
Sc
, 标签: 5)
以下是六个类别的示例图像。
下图是样本检测结果。 从左到右,我们有原始图像、地面实况检测和 SageMaker DDN 模型输出。
建筑
JumpStart 解决方案预包装了 亚马逊SageMaker Studio 下载所需数据集并包含代码和辅助函数的笔记本,用于使用实时 SageMaker 端点训练模型和部署。
所有笔记本都从公共下载数据集 亚马逊简单存储服务 (Amazon S3) 存储桶和导入辅助函数以可视化图像。 笔记本允许用户自定义解决方案,例如用于模型训练或执行的超参数 转移学习 如果您选择将该解决方案用于缺陷检测用例。
该解决方案包含以下四个 Studio 笔记本:
- 0_demo.ipynb – 从 NEU-DET 数据集上的预训练 DDN 模型创建模型对象,并将其部署在实时 SageMaker 端点后面。 然后我们发送一些带有缺陷的图像样本进行检测并可视化结果。
- 1_retrain_from_checkpoint.ipynb – 再训练我们预训练的检测器几个 epoch 并比较结果。 你也可以自带数据集; 但是,我们在笔记本中使用相同的数据集。 还包括通过微调预训练模型来执行迁移学习的步骤。 在一项特定任务上微调深度学习模型涉及使用从特定数据集学习到的权重来提高模型在另一个数据集上的性能。 您还可以对初始训练中使用的相同数据集进行微调,但可能使用不同的超参数。
- 2_Detector_from_scratch.ipynb – 从头开始训练我们的检测器以识别图像中是否存在缺陷。
- 3_classification_from_scratch.ipynb – 从头开始训练我们的分类器以对图像中的缺陷类型进行分类。
每个笔记本都包含部署 SageMaker 的样板代码 实时端点 用于模型推理。 您可以通过转到 JupyterLab 文件浏览器并导航到 JumpStart 解决方案目录中的“notebooks”文件夹或单击 JumpStart 解决方案上的“打开笔记本”,特别是“产品缺陷检测”解决方案页面来查看笔记本列表(见下文)。
先决条件
这篇文章中概述的解决方案是 亚马逊SageMaker JumpStart. 要运行此 SageMaker JumpStart 1P 解决方案并将基础设施部署到您的 AWS 账户,您需要创建一个活动的 Amazon SageMaker Studio 实例(请参阅加入 Amazon SageMaker 域)。
快速启动 功能在 SageMaker 笔记本实例中不可用,您无法通过 AWS命令行界面 (AWS CLI)。
部署解决方案
我们提供了有关此解决方案的高级步骤的演练视频。 首先,启动 SageMaker JumpStart 并选择 产品缺陷检测 上的解决方案 解决方案 标签。
提供的 SageMaker 笔记本下载输入数据并启动后续阶段。 输入数据位于 S3 存储桶中。
我们训练分类器和检测器模型并在 SageMaker 中评估结果。 如果需要,您可以部署经过训练的模型并创建 SageMaker 端点。
从上一步创建的 SageMaker 端点是 HTTPS 端点 并且能够产生预测。
您可以通过以下方式监控模型训练和部署 亚马逊CloudWatch.
清理
完成此解决方案后,请确保删除所有不需要的 AWS 资源。 您可以使用 AWS CloudFormation 自动删除由解决方案和笔记本创建的所有标准资源。 在 AWS CloudFormation 控制台上,删除父堆栈。 删除父堆栈会自动删除嵌套堆栈。
您需要手动删除您可能在此笔记本中创建的任何额外资源,例如除了解决方案的默认存储桶或额外 SageMaker 终端节点(使用自定义名称)之外的额外 S3 存储桶。
结论
在这篇博文中,我们介绍了一个使用 SageMaker JumpStart 的解决方案,以解决各个行业中目视检查、质量控制和缺陷检测的当前状态问题。 我们推荐了一种称为自动缺陷检测系统的新方法,该系统使用预先训练的 DDN模型 用于钢表面的缺陷检测。 启动 JumpStart 解决方案并下载公共 NEU 数据集后,您在 SageMaker 实时端点后面部署了一个预训练模型,并使用 CloudWatch 分析了端点指标。 我们还讨论了 JumpStart 解决方案的其他功能,例如如何引入您自己的训练数据、执行迁移学习以及重新训练检测器和分类器。
试试这个 JumpStart 解决方案 在 SageMaker Studio 上,或者在新数据集上重新训练现有模型以进行缺陷检测,或者从 SageMaker JumpStart 的库中挑选 计算机视觉模型, NLP 模型 or 表格模型 并为您的特定用例部署它们。
作者简介
韦丹·耆那教 是一名高级 AI/ML 专家解决方案架构师,帮助客户从 AWS 的机器学习生态系统中获取价值。 在加入 AWS 之前,Vedant 曾在 Databricks、Hortonworks(现为 Cloudera)和 JP Morgan Chase 等多家公司担任 ML/数据科学专业职位。 工作之余,Vedant 热衷于制作音乐,利用科学过上有意义的生活,并探索来自世界各地的美味素食。
孙涛 是 AWS 的应用科学家。 他获得了博士学位。 马萨诸塞大学阿默斯特分校计算机科学专业。 他的研究兴趣在于深度强化学习和概率建模。 他为 AWS DeepRacer、AWS DeepComposer 做出了贡献。 他在业余时间喜欢交际舞和阅读。
- "
- &
- 000
- 100
- 2022
- 28
- a
- 能力
- 关于
- ACCESS
- 根据
- 账号管理
- 要积极。
- 增加
- 地址
- 进步
- AI
- 所有类型
- 尽管
- 时刻
- Amazon
- 另一个
- 应用的
- 使用
- 的途径
- 围绕
- 人造的
- 人工智能
- 人工智能(AI)
- 组装
- 评定
- 自动化
- 自动
- 自动化
- 可使用
- AWS
- 障碍
- before
- 背后
- 作为
- 如下。
- 之间
- 带来
- 浏览器
- 建筑物
- 能力
- 能力
- 案件
- 链
- 挑战
- 追逐
- 程
- 类
- 分类
- 码
- 公司
- 复杂
- 一台
- 计算机科学
- 配置
- 安慰
- 消费者
- 包含
- 继续
- 贡献
- 控制
- 控制
- 经济有效
- 成本
- 创建信息图
- 创建
- 创建
- 策划
- 电流
- 当前状态
- 习俗
- 合作伙伴
- 定制
- data
- 数据库
- 深
- 根据
- 部署
- 部署
- 部署
- 部署
- 尽管
- 细节
- 详情
- 检测
- 不同
- 直接
- 灾害
- 距离
- 域
- 下载
- ,我们将参加
- 每
- 生态系统
- 电子
- 端点
- 设备
- 评估
- 评估
- 例子
- 展览
- 现有
- 展开
- 诊所
- 特征
- 以下
- 如下
- 止
- 功能
- 未来
- 去
- 灰度
- 大
- 非常
- 处理
- 帮助
- 帮助
- 地平线
- 创新中心
- How To
- 但是
- HTTPS
- 人
- 人类
- 鉴定
- 图片
- 图片
- 影响力故事
- 包括
- 包括
- 包容
- 个人
- 行业
- 行业中的应用:
- 基础设施
- 输入
- 例
- 房源搜索
- 智能化
- 利益
- 问题
- IT
- 加盟
- 摩根大通
- 摩根大通(JP Morgan Chase)
- 标签
- 语言
- 发射
- 推出
- 铅
- 知道
- 学习
- 自学资料库
- Line
- 清单
- 圖書分館的位置
- 机
- 机器学习
- 机
- 制成
- 主要
- 使
- 制作
- 手动
- 制造业
- 美国马萨诸塞州
- 匹配
- 物料
- 有意义的
- 医生
- 指标
- 模型
- 模型
- 货币
- 显示器
- 更多
- 摩根
- 最先进的
- 多
- 音乐
- 美国宇航局
- 自然
- 自然
- 导航
- 负
- 网络
- 笔记本
- 数
- 获得
- 油
- 原版的
- 其他名称
- 最划算
- 己
- 包
- 部分
- 特别
- 多情
- 补丁
- 性能
- 执行
- 也许
- 点
- 可能
- 预测
- 压力
- 以前
- 过程
- 处理
- 产品
- 生产
- 热销产品
- 提供
- 提供
- 国家
- 质量
- 很快
- 价格表
- 原
- 阅读
- 实时的
- 减少
- 相应
- 必须
- 研究
- 资源
- 成果
- 运行
- 薪水
- 同
- SC
- 鳞片
- 科学
- 科学家
- 简易
- SIX
- 方案,
- 解决方案
- 一些
- 太空
- 专家
- 其他
- 具体的
- 特别是
- 堆
- 实习
- 标准
- 开始
- 开始
- 州/领地
- 国家的最先进的
- 仍
- 存储
- 工作室
- 供应
- 供应链
- 磁化面
- 系统
- 产品
- 任务
- 世界
- 因此
- 通过
- 次
- 产品培训
- 火车
- 转让
- 转换
- 一般
- 大学
- USD
- 使用
- 用户
- 公用事业
- 折扣值
- 各个
- 视频
- 查看
- 愿景
- 可视化
- 维基百科上的数据
- 工作
- 世界
- 年
- 您一站式解决方案