这篇博文是与 Veoneer 的 Caroline Chung 共同撰写的。
维宁尔是一家全球汽车电子公司,也是汽车电子安全系统领域的全球领导者。他们提供一流的约束控制系统,并已向全球汽车制造商提供了超过 1 亿个电子控制单元和碰撞传感器。该公司继续发扬 70 年的汽车安全开发历史,专注于预防交通事故和减少事故的尖端硬件和系统。
汽车舱内传感 (ICS) 是一个新兴领域,它结合使用摄像头和雷达等多种类型的传感器以及基于人工智能 (AI) 和机器学习 (ML) 的算法来增强安全性并改善乘坐体验。构建这样一个系统可能是一项复杂的任务。开发人员必须手动注释大量图像以用于训练和测试目的。这是非常耗时且资源密集的。此类任务的周转时间为几周。此外,公司还必须处理由于人为错误而导致标签不一致等问题。
AWS 致力于通过 ML 等高级分析帮助您提高开发速度并降低构建此类系统的成本。我们的愿景是使用机器学习进行自动注释,实现安全模型的重新训练,并确保一致且可靠的性能指标。在这篇文章中,我们分享了如何通过与亚马逊全球专家组织和 生成式人工智能创新中心,我们开发了一个用于舱内图像头部边界框和关键点注释的主动学习管道。该解决方案将成本降低了 90% 以上,将注释流程的周转时间从几周缩短到几小时,并实现了类似 ML 数据标记任务的可重用性。
解决方案概述
主动学习是一种机器学习方法,涉及选择和注释信息最丰富的数据来训练模型的迭代过程。给定一小组标记数据和大量未标记数据,主动学习可以提高模型性能,减少标记工作,并集成人类专业知识以获得可靠的结果。在这篇文章中,我们使用 AWS 服务构建了一个用于图像注释的主动学习管道。
下图展示了我们主动学习管道的总体框架。标签管道从以下位置获取图像 亚马逊简单存储服务 (Amazon S3) 在 ML 模型和人类专业知识的配合下存储桶并输出带注释的图像。训练管道预处理数据并使用它们来训练 ML 模型。初始模型是在一小部分手动标记数据上建立和训练的,并将在标记管道中使用。可以使用更多标记数据逐步迭代标记管道和训练管道,以增强模型的性能。
在标签管道中, Amazon S3 事件通知 当一批新图像进入未标记数据存储 S3 存储桶时调用,激活标记管道。该模型生成新图像的推理结果。定制的判断函数根据推理置信度得分或其他用户定义的函数选择部分数据。这些数据及其推理结果将被发送到人工标记工作 亚马逊SageMaker地面真相 由管道创建。人工标记过程有助于对数据进行注释,并将修改后的结果与剩余的自动注释数据相结合,稍后可以由训练管道使用。
模型重新训练发生在训练管道中,我们使用包含人工标记数据的数据集来重新训练模型。生成一个清单文件来描述文件的存储位置,并根据新数据重新训练相同的初始模型。重新训练后,新模型取代初始模型,主动学习管道的下一次迭代开始。
模型部署
标签管道和训练管道都部署在 AWS 代码管道. AWS 代码构建 采用实例来实现,对于少量数据来说灵活、快速。当需要速度时,我们使用 亚马逊SageMaker 基于GPU实例的端点分配更多资源来支持和加速该过程。
当有新的数据集或者模型的性能需要改进时,可以调用模型重新训练管道。再训练流程中的一项关键任务是为训练数据和模型建立版本控制系统。尽管 AWS 服务例如 亚马逊重新认识 具有集成的版本控制功能,这使得管道易于实施,定制模型需要元数据记录或额外的版本控制工具。
整个工作流程是使用 AWS云开发套件 (AWS CDK) 创建必要的 AWS 组件,包括以下组件:
- CodePipeline 和 SageMaker 作业的两个角色
- 两个 CodePipeline 作业,用于编排工作流程
- 用于管道代码工件的两个 S3 存储桶
- 一个 S3 存储桶,用于标记作业清单、数据集和模型
- 预处理和后处理 AWS Lambda SageMaker Ground Truth 标记作业的函数
AWS CDK 堆栈高度模块化,可在不同任务中重复使用。训练、推理代码和 SageMaker Ground Truth 模板可以替换为任何类似的主动学习场景。
模型训练
模型训练包括两个任务:头部边界框标注和人体关键点标注。我们在本节中介绍它们。
头部边界框注释
头部边界框标注是预测图像中人体头部边界框位置的任务。我们使用一个 Amazon Rekognition自定义标签 头部边界框注释模型。下列 样本笔记本 提供有关如何通过 SageMaker 训练 Rekognition 自定义标签模型的分步教程。
我们首先需要准备数据来开始训练。我们为训练生成一个清单文件,为测试数据集生成一个清单文件。清单文件包含多个项目,每个项目对应一个图像。以下是清单文件的示例,其中包括图像路径、大小和注释信息:
使用清单文件,我们可以将数据集加载到 Rekognition 自定义标签模型中以进行训练和测试。我们使用不同数量的训练数据迭代模型,并在相同的 239 张未见过的图像上对其进行测试。在本次测试中, mAP_50
分数从 0.33 个训练图像的 114 增加到 0.95 个训练图像的 957。以下屏幕截图显示了最终 Rekognition 自定义标签模型的性能指标,该模型在 F1 分数、精确度和召回率方面具有出色的性能。
我们在包含 1,128 张图像的保留数据集上进一步测试了该模型。该模型始终如一地对未见过的数据进行准确的边界框预测,从而产生高 mAP_50
94.9%。以下示例显示了带有头部边框的自动注释图像。
关键点标注
关键点标注产生关键点的位置,包括眼睛、耳朵、鼻子、嘴巴、颈部、肩膀、肘部、手腕、臀部和脚踝。除了位置预测之外,在此特定任务中还需要预测每个点的可见性,为此我们设计了一种新颖的方法。
对于关键点标注,我们使用 Yolo 8 姿势模型 以 SageMaker 作为初始模型。我们首先准备训练数据,包括按照 Yolo 的要求生成标签文件和配置 .yaml 文件。准备好数据后,我们训练模型并保存工件,包括模型权重文件。使用经过训练的模型权重文件,我们可以注释新图像。
在训练阶段,所有带有位置的标记点,包括可见点和遮挡点,都用于训练。因此,该模型默认提供预测的位置和置信度。在下图中,接近 0.6 的大置信阈值(主阈值)能够区分可见点或被遮挡的点与相机视点之外的点。然而,被遮挡点和可见点并没有被置信度分开,这意味着预测的置信度对于预测可见性没有用处。
为了获得可见性的预测,我们引入了一个在仅包含可见点的数据集上训练的附加模型,不包括遮挡点和相机视点之外的点。下图展示了不同可见度的点的分布情况。可见点和其他点可以在附加模型中分开。我们可以使用接近 0.6 的阈值(附加阈值)来获取可见点。通过结合这两个模型,我们设计了一种预测位置和可见性的方法。
首先由主模型预测关键点的位置和主要置信度,然后我们从附加模型得到附加置信度预测。其可见性分类如下:
- 可见,如果其主置信度大于其主阈值,且其附加置信度大于附加阈值
- 被遮挡,如果其主要置信度大于其主要阈值,并且其附加置信度小于或等于附加阈值
- 超出相机审查范围,否则
下图演示了关键点标注的示例,其中实心标记为可见点,空心标记为遮挡点。相机之外的查看点不会显示。
基于标准 OKS 根据 MS-COCO 数据集上的定义,我们的方法能够在未见过的测试数据集上实现 50% 的 mAP_98.4。在可见性方面,该方法在同一数据集上的分类准确率达到 79.2%。
人类标签和再培训
尽管模型在测试数据上取得了很好的性能,但在新的现实数据上仍然有可能出错。人工标记是通过再训练纠正这些错误以增强模型性能的过程。我们设计了一个判断函数,结合机器学习模型输出的置信度值来判断所有头部边界框或关键点的输出。我们使用最终分数来识别这些错误以及由此产生的不良标记图像,这些图像需要发送到人工标记过程。
除了不良标记图像之外,还会随机选择一小部分图像进行人工标记。这些人工标记的图像被添加到当前版本的训练集中进行重新训练,从而增强模型性能和整体注释准确性。
在实现中,我们使用 SageMaker Ground Truth 进行 人类标签 过程。 SageMaker Ground Truth 为数据标记提供了用户友好且直观的 UI。以下屏幕截图演示了用于头部边界框注释的 SageMaker Ground Truth 标记作业。
以下屏幕截图演示了用于关键点注释的 SageMaker Ground Truth 标记作业。
成本、速度和可重用性
与人工标记相比,成本和速度是使用我们的解决方案的主要优势,如下表所示。我们使用这些表格来表示成本节省和速度加快。使用加速的GPU SageMaker实例ml.g4dn.xlarge,100,000万张图像的全生命周期训练和推理成本比人工标注成本低99%,而速度比人工标注快10-10,000倍,具体取决于任务。
第一个表总结了成本绩效指标。
型号 | mAP_50 基于 1,128 个测试图像 | 基于100,000万张图像的训练成本 | 基于 100,000 张图像的推理成本 | 与人工注释相比,成本降低 | 基于 100,000 张图像的推理时间 | 与人工注释相比,时间加速 |
重新识别头部边界框 | 0.949 | $4 | $22 | 99%少 | 5.5小时 | 一年中的 |
Yolo 要点 | 0.984 | $27.20 | * 10美元 | 99.9%少 | 分钟 | 周 |
下表总结了性能指标。
注释任务 | mAP_50 (%) | 培训费用(美元) | 推理成本($) | 推理时间 |
头部边界框 | 94.9 | 4 | 22 | 5.5小时 |
关键点 | 98.4 | 27 | 10 | 5分钟 |
此外,我们的解决方案为类似任务提供了可重用性。其他系统(例如高级驾驶员辅助系统 (ADAS) 和车内系统)的摄像头感知开发也可以采用我们的解决方案。
总结
在这篇文章中,我们展示了如何构建主动学习管道,以利用 AWS 服务自动注释舱内图像。我们展示了 ML 的强大功能(使您能够自动化并加快注释过程),以及使用 AWS 服务支持的模型或在 SageMaker 上自定义的模型的框架的灵活性。借助 Amazon S3、SageMaker、Lambda 和 SageMaker Ground Truth,您可以简化数据存储、注释、训练和部署,并实现可重用性,同时显着降低成本。通过实施此解决方案,汽车公司可以使用基于机器学习的高级分析(例如自动图像注释)变得更加敏捷和更具成本效益。
今天就开始并释放 AWS服务 和机器学习用于您的汽车舱内传感用例!
作者简介
于彦翔 是亚马逊生成人工智能创新中心的应用科学家。他拥有超过 9 年为工业应用构建人工智能和机器学习解决方案的经验,专门研究生成式人工智能、计算机视觉和时间序列建模。
毛天一 是芝加哥地区 AWS 的应用科学家。 他在构建机器学习和深度学习解决方案方面拥有 5 年以上的经验,专注于计算机视觉和具有人类反馈的强化学习。 他喜欢与客户合作,了解他们的挑战,并通过使用 AWS 服务创建创新解决方案来解决这些挑战。
肖艳如 是 Amazon Generative AI Innovation Center 的应用科学家,他为客户的实际业务问题构建 AI/ML 解决方案。他曾在多个领域工作过,包括制造业、能源和农业。 Yanru 获得博士学位。拥有奥多明尼恩大学计算机科学博士学位。
保罗·乔治 是一位卓有成就的产品领导者,在汽车技术领域拥有超过 15 年的经验。他擅长领导产品管理、战略、上市和系统工程团队。他在全球孵化并推出了多种新的传感和感知产品。在 AWS,他负责领导自动驾驶车辆工作负载的战略和市场推广工作。
钟卡罗琳 是 Veoneer(被 Magna International 收购)的工程经理,她拥有超过 14 年的传感和感知系统开发经验。她目前在麦格纳国际领导内部传感预开发项目,管理着一支由计算视觉工程师和数据科学家组成的团队。
- SEO 支持的内容和 PR 分发。 今天得到放大。
- PlatoData.Network 垂直生成人工智能。 赋予自己力量。 访问这里。
- 柏拉图爱流。 Web3 智能。 知识放大。 访问这里。
- 柏拉图ESG。 碳, 清洁科技, 能源, 环境, 太阳能, 废物管理。 访问这里。
- 柏拉图健康。 生物技术和临床试验情报。 访问这里。
- Sumber: https://aws.amazon.com/blogs/machine-learning/build-an-active-learning-pipeline-for-automatic-annotation-of-images-with-aws-services/
- :具有
- :是
- :不是
- :在哪里
- $UP
- 000
- 1
- 100
- 114
- 121
- 14
- 15 年
- 15%
- 16
- 2%
- 24
- 300
- 33
- 400
- 440
- 7
- 8
- 9
- 97
- 98
- a
- Able
- 加快
- 加速
- 加速
- 促进
- 事故
- 完成
- 精准的
- 后天
- 横过
- 激活
- 要积极。
- ADA
- 添加
- 增加
- 额外
- 拿手
- 采用
- 高级
- 优点
- 后
- 敏捷
- 农业
- AI
- AI / ML
- 算法
- 所有类型
- 分配
- 还
- 尽管
- Amazon
- 亚马逊网络服务
- 量
- 量
- an
- 分析
- 和
- 任何
- 应用领域
- 应用的
- 的途径
- 保健
- 国家 / 地区
- 人造的
- 人工智能
- 人工智能(AI)
- AS
- 协助
- At
- 汽车
- 自动化
- 自动化
- 自动表
- 汽车
- 自主性
- AWS
- 坏
- 基于
- BE
- 成为
- 亿
- 博客
- 都
- 盒子
- 箱
- 建立
- 建筑物
- 建立
- 商业
- by
- 相机
- 相机
- CAN
- 能力
- 汽车
- 加罗林
- Center
- 挑战
- 芝加哥
- 选择
- 分类
- 机密
- 云端技术
- 码
- 合作
- 组合
- 结合
- 结合
- 购买的订单均
- 公司
- 公司
- 相比
- 复杂
- 组件
- 计算
- 一台
- 计算机科学
- 计算机视觉
- 信心
- 配置
- 一贯
- 始终如一
- 消费
- 包含
- 继续
- 控制
- 合作
- 正确
- 价格
- 节约成本
- 成本
- 崩溃
- 创建信息图
- 创建
- 创造
- 危急
- 电流
- 目前
- 习俗
- 合作伙伴
- 定制
- 前沿
- data
- 数据存储
- 数据集
- 处理
- 深
- 深入学习
- 默认
- 定义
- 提升
- 演示
- 证明
- 演示
- 根据
- 部署
- 部署
- 深度
- 描述
- 设计
- 设计
- 发达
- 开发
- 发展
- 研发支持
- 发展
- 图表
- 不同
- 分配
- 司机
- 两
- 每
- 努力
- 或
- 电子
- 电子
- 新兴经济体的新市场。
- 使
- 使
- 能源
- 工程师
- 工程师
- 提高
- 加强
- 保证
- 整个
- 等于
- 故障
- 活动
- 例子
- 排除
- 促进
- 体验
- 专门知识
- 眼部彩妆
- f1
- 高效率
- 快
- 专栏
- 反馈
- 字段
- 数字
- 文件
- 档
- 最后
- 姓氏:
- 高度灵活
- 柔软
- 重点
- 重点
- 以下
- 如下
- 针对
- 骨架
- 止
- 功能
- 功能
- 进一步
- 此外
- 生成
- 发电
- 生成的
- 生成式人工智能
- 得到
- 特定
- 全球
- 在全球范围内
- 去市场
- GPU
- 渐渐
- 大
- 更大的
- 陆运
- 发生
- 硬件
- 有
- he
- 头
- 高度
- 帮助
- 帮助
- 高
- 高度
- 他的
- 历史
- HOURS
- 创新中心
- How To
- 但是
- HTML
- HTTP
- HTTPS
- 人
- 鉴定
- if
- 图片
- 图片
- 实施
- 履行
- 实施
- 实施
- 改进
- 提高
- 改善
- in
- 包括
- 包含
- 增加
- 增加
- 孵化
- 产业
- 信息
- 信息
- 初始
- 創新
- 创新
- 例
- 集成
- 集成
- 房源搜索
- 室内
- 国际
- 成
- 介绍
- 直观的
- 调用
- 涉及
- 问题
- IT
- 项目
- 迭代
- 它的
- 工作
- 工作机会
- JPEG
- JPG
- 键
- 标签
- 标签
- 标签
- 大
- 后来
- 推出
- 领导者
- 领导
- 信息
- 学习
- 左
- 减
- 生活
- 喜欢
- 加载
- 圖書分館的位置
- 地点
- 记录
- 降低
- 机
- 机器学习
- 主要
- 制作
- 制作
- 颠覆性技术
- 经理
- 管理的
- 手动
- 制造商
- 制造业
- 手段
- 元数据
- 方法
- 指标
- 错误
- 减轻
- ML
- 模型
- 造型
- 模型
- 改性
- 更多
- 最先进的
- 口
- 多
- 近
- 必要
- 需求
- 打印车票
- 需要
- 全新
- 下页
- 鼻子
- 小说
- 对象
- 获得
- of
- 提供
- 老
- on
- 一
- 仅由
- or
- 组织
- 其他名称
- 我们的
- 输出
- 产量
- 输出
- 学校以外
- 超过
- 最划算
- 部分
- 径
- 知觉
- 性能
- 管道
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 点
- 点
- 一部分
- 提出
- 可能性
- 帖子
- 功率
- 平台精度
- 预测
- 都曾预测
- 预测
- 预测
- 预测
- 预测
- Prepare
- 准备
- 防止
- 问题
- 过程
- 生成
- 产生
- 产品
- 产品管理
- 核心产品
- 训练课程
- 提供
- 目的
- 雷达
- 真实的世界
- 减少
- 减少
- 减少
- 可靠
- 其余
- 更换
- 代表
- 要求
- 岗位要求
- 资源
- 资源
- 结果
- 成果
- 可重复使用
- 检讨
- 骑术
- 健壮
- 角色
- 实现安全
- sagemaker
- 同
- 保存
- 储
- 情景
- 科学
- 科学家
- 科学家
- 得分了
- 部分
- 选择
- 选择
- 传感器
- 发送
- 系列
- 特色服务
- 集
- 几个
- Share
- 她
- 肩膀
- 显示
- 如图
- 作品
- 显著
- 类似
- 简易
- 尺寸
- 小
- 固体
- 方案,
- 解决方案
- 解决
- 太空
- 专家
- 专业
- 专业
- 具体的
- 速度
- 堆栈
- 阶段
- 标准
- 开始
- 开始
- 启动
- 仍
- 存储
- 存储
- 简单的
- 策略
- 精简
- 这样
- SUPPORT
- 支持
- 系统
- 产品
- 表
- 需要
- 任务
- 任务
- 团队
- 队
- 技术
- 模板
- 条款
- test
- 测试
- 测试
- 比
- 这
- 其
- 他们
- 然后
- 那里。
- 因此
- 博曼
- 他们
- Free Introduction
- 门槛
- 通过
- 次
- 时间序列
- 时
- 至
- 今晚
- 工具
- 最佳
- 交通
- 培训
- 熟练
- 产品培训
- 真相
- 教程
- 二
- 类型
- 类型
- ui
- 理解
- 单位
- 大学
- 开锁
- 使用
- 用过的
- 有用
- 用户友好
- 使用
- 运用
- 利用
- 折扣值
- 汽车
- 版本
- 与
- 非常
- 通过
- 观点
- 能见度
- 可见
- 愿景
- 卷
- we
- 卷筒纸
- Web服务
- 周
- ,尤其是
- 这
- 而
- 全
- 宽度
- 将
- 工作
- 工作流程
- 加工
- 世界
- 全世界
- 雅姆
- 年
- 含
- 生产
- 产量
- 完全
- 您一站式解决方案
- 和风网