在这篇文章中,我们将向您展示如何实现用于文本摘要的下载次数最多的 Hugging Face 预训练模型之一, DistilBART-CNN-12-6,在 Jupyter 笔记本中使用 亚马逊SageMaker 和 SageMaker 拥抱人脸推理工具包. 根据本文中显示的步骤,您可以尝试从 维基文字2 数据集 由 fast.ai 管理, 可在 在AWS上注册开放数据.
随着公司和消费者扩大对数字产品和在线服务的使用,全球数据量正在以 zettabyte 规模增长。 为了更好地理解这些不断增长的数据,用于文本分析的机器学习 (ML) 自然语言处理 (NLP) 技术已经发展到解决涉及文本摘要、实体识别、分类、翻译等的用例。 AWS 提供预训练的 AWS AI服务 可以使用 API 调用集成到应用程序中,并且不需要 ML 经验。 例如, 亚马逊领悟 可以执行 NLP 任务,例如自定义实体识别、情感分析、关键短语提取、主题建模等,以从文本中收集见解。 它可以执行 多种语言的文本分析 因为它的各种功能。
文本摘要是一种有助于理解大量文本数据的技术,因为它从源文档中创建了具有上下文意义的信息子集。 您可以将此 NLP 技术应用于较长格式的文本文档和文章,从而实现更快的使用和更有效的文档索引,例如总结会议的通话记录。
拥抱脸 是一个流行的 NLP 开源库,拥有超过 49,000 种语言的 185 多个预训练模型,并支持不同的框架。 AWS 和 Hugging Face 有一个 合伙 这允许通过 SageMaker 与一组 AWS 深度学习容器 (DLC) 无缝集成,用于在 PyTorch 或 TensorFlow 中进行训练和推理,以及用于 SageMaker Python 开发工具包的 Hugging Face 估计器和预测器。 SageMaker 中的这些功能可帮助开发人员和数据科学家更轻松地在 AWS 上开始使用 NLP。 在 PyTorch 等深度学习框架中使用转换器处理文本对于数据科学家来说通常是一项复杂且耗时的任务,在开发 NLP 项目时往往会导致挫败感和效率低下。 Hugging Face 等 AI 社区的兴起,再加上 SageMaker 等云中 ML 服务的强大功能,加速并简化了这些文本处理任务的开发。 SageMaker 可帮助您构建、训练、部署和操作 Hugging Face 模型。
文本摘要概述
您可以应用文本摘要来识别文档中的关键句子或识别多个文档中的关键句子。 文本摘要可以产生两种类型的摘要:提取的和抽象的。 提取摘要不包含任何机器生成的文本,而是从输入文档中选择的重要句子的集合。 抽象摘要包含由文本摘要模型生成的新的人类可读短语和句子。 大多数文本摘要系统都基于提取摘要,因为难以实现准确的抽象文本摘要。
Hugging Face 拥有超过 400 个预先训练的最先进的 可用的文本摘要模型,实现 NLP 技术的不同组合。 这些模型在不同的数据集上进行训练,由技术公司和 Hugging Face 社区的成员上传和维护。 您可以按下载次数最多或最喜欢的模型过滤模型,并在使用时直接加载它们 汇总管道 Hugging Face 转换器 API. Hugging Face 转换器简化了 NLP 实施过程,因此可以微调高性能 NLP 模型以提供文本摘要,而无需广泛的 ML 操作知识。
AWS 上的 Hugging Face 文本摘要模型
SageMaker 为业务分析师、数据科学家和 MLOps 工程师提供了多种工具选择,用于在 AWS 上设计和操作 ML 工作负载。 这些工具为您提供更快的 ML 模型实施和测试,以实现您的最佳结果。
来自 SageMaker 拥抱人脸推理工具包,一个开源库,我们概述了使用 Jupyter 笔记本实现和托管 Hugging Face 文本摘要模型的三种不同方法:
- Hugging Face 总结流水线 - 创建一个 Hugging Face 总结流水线 使用 ”
summarization
” 任务标识符,用于在 Jupyter 笔记本中使用默认文本摘要模型进行推理。 这些管道抽象出复杂的代码,为新手 ML 从业者提供了一个简单的 API,可以快速实现文本摘要,而无需配置推理端点。 该管道还允许 ML 从业者选择特定的预训练模型及其关联的标记器。 标记器通过将文本拆分为单词或子词来准备文本以作为模型的输入,然后通过查找表将其转换为 ID。 为简单起见,以下代码片段提供了使用管道时的默认情况。 这 DistilBART-CNN-12-6 模型是 Hugging Face 上下载次数最多的摘要模型之一,是 摘要管道的默认模型. 最后一行调用预训练模型来获取给定两个参数的传递文本的摘要。 - 具有预训练模型的 SageMaker 端点 – 使用来自 拥抱脸模型中心 并将其部署在推理端点上,例如以下代码片段中的 ml.m5.xlarge 实例。 这种方法允许有经验的 ML 从业者快速选择特定的开源模型,对其进行微调,并将模型部署到高性能推理实例上。
- 具有训练模型的 SageMaker 端点 – 使用存储在 亚马逊简单存储服务 (Amazon S3) 存储桶并将其部署在推理终端节点上。 这种方法允许有经验的 ML 从业者快速将他们自己存储在 Amazon S3 上的模型部署到高性能推理实例上。 模型本身从 Hugging Face 下载并压缩,然后可以上传到 Amazon S3。 此步骤在以下代码段中演示:
AWS 有多种资源可帮助您部署 ML 工作负载。 这 机器学习镜头 的 AWS精心设计的框架 推荐 ML 工作负载最佳实践,包括优化资源和降低成本。 这些推荐的设计原则可确保将 AWS 上架构良好的 ML 工作负载部署到生产环境中。 Amazon SageMaker 推理推荐器 帮助您选择正确的实例,以最佳的推理性能和成本部署您的 ML 模型。 Inference Recommender 通过自动化负载测试和跨 ML 实例优化模型性能来加快模型部署并缩短上市时间。
在接下来的部分中,我们将演示如何从 S3 存储桶加载经过训练的模型并将其部署到合适的推理实例。
先决条件
对于本演练,您应该具有以下先决条件:
- An AWS账户.
- 里面有一个 Jupyter notebook 亚马逊SageMaker Studio 或 SageMaker 笔记本实例。 在这篇文章中,我们使用“Python 3(PyTorch 1.4 Python 3.6 CPU 优化)”图像和提供的代码片段,但您可以使用来自的任何其他更高版本的 PyTorch 图像 可用的 SageMaker 内核.
- S3 存储桶中的数据集,例如 维基文字2 来自的数据集 在AWS上注册开放数据.
将 Hugging Face 模型加载到 SageMaker 以进行文本摘要推理
使用以下代码下载 Hugging Face 预训练文本摘要模型 DistilBART-CNN-12-6 及其标记器,并将它们在 SageMaker 中本地保存到您的 Jupyter 笔记本目录:
将保存的文本摘要模型及其标记器压缩为 tar.gz 格式,并将压缩的模型工件上传到 S3 存储桶:
选择一个 推断 Docker 容器镜像 执行文本摘要推断。 定义 Linux OS、PyTorch 框架和 Hugging Face Transformer 版本并指定 亚马逊弹性计算云 (Amazon EC2) 实例类型来运行容器。
Docker 映像可在 Amazon Elastic Container注册 (Amazon ECR),并且该容器映像的链接作为 URI 返回。
定义执行推理的选定容器图像要部署的文本摘要模型。 在以下代码段中,部署了上传到 Amazon S3 的压缩模型:
在示例输入上测试部署的文本摘要模型:
使用 Inference Recommender 评估推理任务的最佳 EC2 实例
接下来,以 JSON 格式创建多个输入文本的有效负载样本,并将它们压缩成一个有效负载文件。 Inference Recommender 使用这些负载样本来比较不同 EC2 实例类型之间的推理性能。 每个示例负载必须匹配前面显示的 JSON 格式。 您可以从 维基文字2 数据集 由 fast.ai 管理, 可在 在AWS上注册开放数据.
将压缩文本摘要模型工件和压缩示例负载文件上传到 S3 存储桶。 我们在前面的步骤中上传了模型,但为了清楚起见,我们包含了再次上传的代码:
查看 SageMaker 上可用的标准 ML 模型列表 普通模型动物园,例如 NLP 和计算机视觉。 选择一个 NLP 模型来执行文本摘要推理:
以下示例使用 bert-base-cased
自然语言处理模型。 将文本摘要模型注册到 SageMaker模型注册表 使用上一步中正确识别的域、框架和任务。 此示例的参数显示在以下代码片段的开头。
请注意要由 Inference Recommender 评估的 EC2 实例类型范围 SupportedRealtimeInferenceInstanceTypes
在下面的代码中。 确保 AWS 账户的服务限制 允许部署这些类型的推理节点。
使用 ModelPackageVersion
由上一步产生。 这 uuid
Python 库用于生成作业的唯一名称。
您可以通过运行以下代码来获取 Inference Recommender 作业的状态:
当作业状态为 COMPLETED
,比较推理推荐器默认作业评估的 EC2 实例类型的推理延迟、运行时间和其他指标。 根据您的用例要求选择合适的节点类型。
结论
SageMaker 提供了多种使用拥抱脸模型的方法; 有关更多示例,请查看 AWS 示例 GitHub. 根据用例的复杂性和微调模型的需要,您可以选择使用这些模型的最佳方式。 Hugging Face 管道是快速试验和选择合适模型的良好起点。 当您需要自定义和参数化所选模型时,您可以下载模型并将其部署到自定义推理端点。 要针对特定用例对模型进行更多微调,您需要在下载模型后对其进行训练。
一般来说,NLP 模型(包括文本摘要模型)在针对特定用例的数据集进行训练后会表现得更好。 SageMaker 的 MLOP 和模型监控功能可确保部署的模型继续在预期范围内执行。 在这篇文章中,我们使用推理推荐器来评估最适合部署文本摘要模型的实例类型。 这些建议可以优化您的 ML 用例的性能和成本。
作者简介
Nidal AlBeiruti 博士 是 Amazon Web Services 的高级解决方案架构师,对机器学习解决方案充满热情。 Nidal 拥有超过 25 年在不同级别和垂直领域担任各种全球 IT 角色的经验。 Nidal 是许多 AWS 客户值得信赖的顾问,以支持和加速他们的云采用之旅。
达伦·高 是驻伦敦的解决方案架构师。 他为英国和爱尔兰的 SMB 客户提供有关在云上重新架构和创新的建议。 Darren 对使用无服务器架构构建的应用程序感兴趣,他热衷于通过机器学习解决可持续性挑战。
- '
- "
- 000
- 10
- 100
- 28
- a
- 关于
- 摘要
- 加快
- 账号管理
- 精准的
- 横过
- 地址
- 采用
- 顾问
- AI
- 允许
- Amazon
- 亚马逊网络服务
- 量
- 分析
- API
- Apple
- 应用领域
- 使用
- 参数
- 刊文
- 相关
- 自动化
- 可使用
- 世界原声音乐
- AWS
- 因为
- 开始
- 作为
- 最佳
- 最佳实践
- 之间
- 建立
- 商业
- 呼叫
- 可以得到
- 能力
- 案件
- 例
- 挑战
- 选择
- 程
- 分类
- 云端技术
- 码
- 采集
- 组合
- 结合
- 地区
- 社体的一部分
- 公司
- 复杂
- 计算
- 一台
- 配置
- 消费者
- 消费
- 容器
- 集装箱
- 继续
- 创建信息图
- 创建
- 习俗
- 合作伙伴
- 定制
- data
- 天
- 深
- 交货
- 演示
- 证明
- 根据
- 部署
- 部署
- 部署
- 部署
- 设计
- 开发
- 发展
- 研发支持
- 不同
- 难
- 数字
- 直接
- 屏 显:
- 码头工人
- 医生
- 文件
- 域
- 域名
- 下载
- 每
- 容易
- 有效
- 效率
- 使
- 端点
- 工程师
- 实体
- 环境
- 评估
- 例子
- 例子
- 扩大
- 期望
- 体验
- 有经验
- 实验
- 广泛
- 面部彩妆
- 高效率
- 快
- 特征
- 以下
- 格式
- 骨架
- 框架
- 止
- 其他咨询
- 生成
- 产生
- 全球
- 非常好
- 成长
- 帮助
- 有帮助
- 帮助
- 更高
- 创新中心
- How To
- HTTPS
- 中心
- 人类可读
- 鉴定
- 图片
- 实施
- 履行
- 实施
- 重要
- 包括
- 包含
- 信息
- 创新
- 输入
- 可行的洞见
- 例
- 集成
- 积分
- 有兴趣
- 爱尔兰
- IT
- 本身
- 工作
- 旅程
- 键
- 知识
- 语言
- 语言
- 大
- 领导
- 学习
- 各级
- 自学资料库
- 范围
- Line
- 友情链接
- Linux的
- 清单
- 加载
- 当地
- 伦敦
- 查找
- 机
- 机器学习
- 使
- 市场
- 匹配
- 有意义的
- 会议
- 成员
- 指标
- ML
- 模型
- 模型
- 监控
- 更多
- 最先进的
- 多
- 自然
- 下页
- 节点
- 笔记本
- 提供
- 优惠精选
- 在线
- 打开
- 操作
- 操作
- 优化
- 优化
- 追求项目的积极优化
- 其他名称
- 己
- 情
- 多情
- 性能
- 执行
- 短语
- 点
- 热门
- 功率
- Prepare
- 以前
- 过程
- 处理
- 生产
- 生产
- 热销产品
- 项目
- 提供
- 提供
- 提供
- 很快
- 范围
- 建议
- 减少
- 地区
- 寄存器
- 请求
- 要求
- 岗位要求
- 资源
- 导致
- 角色
- 运行
- 运行
- 同
- 鳞片
- 科学家
- SDK
- 无缝的
- 选
- 情绪
- 无服务器
- 特色服务
- 集
- 几个
- 如图
- 简易
- 单
- So
- 解决方案
- 具体的
- 速度
- 标准
- 开始
- 国家的最先进的
- Status
- 存储
- SUPPORT
- 永续发展
- 产品
- 任务
- 技术
- 专业技术
- 测试
- 三
- 通过
- 次
- 耗时的
- 工具
- 主题
- 产品培训
- 翻译
- 信任
- 类型
- 一般
- Uk
- 下
- 理解
- 理解
- 独特
- 使用
- 各种
- 各个
- 版本
- 垂直
- 愿景
- 卷
- 方法
- 卷筒纸
- Web服务
- 中
- 也完全不需要
- 话
- 加工
- X
- 年
- 您一站式解决方案