在当今快速发展的医疗保健领域,医生面临着来自各种来源的大量临床数据,例如护理人员记录、电子健康记录和影像报告。 这些丰富的信息虽然对于患者护理至关重要,但对于医疗专业人员来说,筛选和分析也可能会非常繁重且耗时。 有效地总结并从这些数据中提取见解对于更好的患者护理和决策至关重要。 汇总的患者信息对于许多下游流程非常有用,例如数据聚合、有效地对患者进行编码或对具有类似诊断的患者进行分组以供审查。
人工智能 (AI) 和机器学习 (ML) 模型在应对这些挑战方面展现出了巨大的前景。 可以训练模型来分析和解释大量文本数据,有效地将信息压缩为简洁的摘要。 通过自动化汇总过程,医生可以快速获取相关信息,使他们能够专注于患者护理并做出更明智的决策。 请参阅以下内容 案例研究 了解有关实际用例的更多信息。
亚马逊SageMaker是一项完全托管的 ML 服务,为托管和实施各种基于 AI/ML 的摘要模型和方法提供了理想的平台。 在这篇文章中,我们探讨了在 SageMaker 上实施汇总技术的不同选项,包括使用 亚马逊SageMaker JumpStart 基础模型、微调 Hugging Face 中的预训练模型以及构建自定义摘要模型。 我们还讨论了每种方法的优缺点,使医疗保健专业人员能够选择最合适的解决方案来生成复杂临床数据的简洁而准确的摘要。
在开始之前需要了解两个重要术语: 预训练 和 微调。 预训练或基础模型是在大型数据集上构建和训练的模型,通常用于一般语言知识。 微调是为预训练模型提供另一个更特定于领域的数据集以增强其在特定任务上的性能的过程。 在医疗保健环境中,这意味着为模型提供一些数据,包括专门与患者护理相关的短语和术语。
在 SageMaker 上构建自定义汇总模型
尽管这是最费力的方法,但一些组织可能更喜欢在 SageMaker 上从头开始构建自定义摘要模型。 这种方法需要对 AI/ML 模型有更深入的了解,并且可能涉及从头开始创建模型架构或调整现有模型以满足特定需求。 构建自定义模型可以提供更大的灵活性和对汇总过程的控制,但与从预训练模型开始的方法相比,也需要更多的时间和资源。 在继续之前,必须仔细权衡此选项的优点和缺点,因为它可能并不适合所有用例。
SageMaker JumpStart 基础模型
在 SageMaker 上实施汇总的一个不错的选择是使用 JumpStart 基础模型。 这些模型由领先的人工智能研究组织开发,提供了一系列针对各种任务(包括文本摘要)进行优化的预训练语言模型。 SageMaker JumpStart 提供两种类型的基础模型:专有模型和开源模型。 SageMaker JumpStart 还提供 HIPAA 资格,使其对于医疗保健工作负载非常有用。 确保合规性最终取决于客户,因此请务必采取适当的步骤。 看 Amazon Web Services 上的 HIPAA 安全性和合规性架构 以获得更多细节。
专有基础模型
可以通过 SageMaker JumpStart 在 AWS管理控制台 目前正在预览中。 当您不需要根据自定义数据微调模型时,使用专有模型进行汇总是理想的选择。 这提供了一种易于使用、开箱即用的解决方案,可以通过最少的配置满足您的汇总要求。 通过使用这些预训练模型的功能,您可以节省用于训练和微调自定义模型的时间和资源。 此外,专有模型通常附带用户友好的 API 和 SDK,从而简化与现有系统和应用程序的集成流程。 如果您的摘要需求可以通过预先训练的专有模型来满足,而不需要特定的定制或微调,那么它们为您的文本摘要任务提供了方便、经济高效且高效的解决方案。 由于这些模型没有专门针对医疗保健用例进行训练,因此如果不进行微调,就无法保证开箱即用的医学语言的质量。
Jurassic-2 Grande Instruct 是 AI21 Labs 的大型语言模型 (LLM),针对自然语言指令进行了优化,适用于各种语言任务。 它提供易于使用的 API 和 Python SDK,平衡质量和经济性。 流行的用途包括生成营销文案、为聊天机器人提供支持和文本摘要。
在 SageMaker 控制台上,导航到 SageMaker JumpStart,找到 AI21 Jurassic-2 Grande Instruct 模型,然后选择 试用模型.
如果您想将模型部署到您管理的 SageMaker 终端节点,您可以按照此示例中的步骤操作 笔记本,其中向您展示了如何使用 SageMaker 部署 Jurassic-2 Large。
开源基础模型
开源模型包括 FLAN T5、Bloom 和 GPT-2 模型,可以通过 SageMaker JumpStart 在 亚马逊SageMaker Studio UI、SageMaker 控制台上的 SageMaker JumpStart 以及 SageMaker JumpStart API。 这些模型可以进行微调并部署到您的 AWS 账户下的终端节点,让您完全拥有模型权重和脚本代码。
Flan-T5 XL 是一款功能强大且多功能的模型,专为各种语言任务而设计。 通过使用特定领域的数据微调模型,您可以针对特定用例(例如文本摘要或任何其他 NLP 任务)优化其性能。 有关如何使用 SageMaker Studio UI 微调 Flan-T5 XL 的详细信息,请参阅 使用 Amazon SageMaker Jumpstart 对 FLAN T5 XL 进行指令微调.
在 SageMaker 上使用 Hugging Face 微调预训练模型
在 SageMaker 上实现摘要的最流行的选项之一是使用 Hugging Face 微调预训练模型 变压器 图书馆。 Hugging Face 提供了广泛的预训练 Transformer 模型,专为各种自然语言处理 (NLP) 任务(包括文本摘要)而设计。 借助 Hugging Face Transformers 库,您可以使用 SageMaker 根据特定领域的数据轻松微调这些预训练模型。 这种方法具有多种优势,例如更快的训练时间、在特定领域的更好性能以及使用内置 SageMaker 工具和服务更轻松地打包和部署模型。 如果您无法在 SageMaker JumpStart 中找到合适的模型,您可以选择 Hugging Face 提供的任何模型并使用 SageMaker 对其进行微调。
要开始使用模型来了解 ML 的功能,您所需要做的就是打开 SageMaker Studio,找到您想要在其中使用的预训练模型 拥抱脸模型中心,然后选择 SageMaker 作为您的部署方法。 Hugging Face 将为您提供在笔记本中复制、粘贴和运行的代码。 就这么简单! 无需机器学习工程经验。
Hugging Face Transformers 库使构建者能够对预先训练的模型进行操作并执行微调等高级任务,我们将在以下部分中对此进行探讨。
预配资源
在开始之前,我们需要配置一个笔记本。 有关说明,请参阅中的步骤 1 和 2 在本地构建和训练机器学习模型。 对于本示例,我们使用了以下屏幕截图中显示的设置。
我们还需要创建一个 亚马逊简单存储服务 (Amazon S3) 存储桶,用于存储训练数据和训练工件。 有关说明,请参阅 创建一个桶.
准备数据集
为了微调我们的模型以获得更好的领域知识,我们需要获取适合该任务的数据。 在针对企业用例进行培训时,您需要完成许多数据工程任务来准备自己的数据,为培训做好准备。 这些任务超出了本文的范围。 对于此示例,我们生成了一些合成数据来模拟护理笔记并将其存储在 Amazon S3 中。 将数据存储在 Amazon S3 中使我们能够 设计我们的工作负载以实现 HIPAA 合规性。 我们首先获取这些笔记并将它们加载到运行笔记本的实例上:
注释由包含完整条目、注释的列和包含简短版本(举例说明我们所需的输出应该是什么)的列组成,即摘要。 使用此数据集的目的是改进我们模型的生物和医学词汇,使其更适合在医疗保健环境中进行总结,称为 域微调,并展示我们的模型如何构建其汇总输出。 在某些摘要情况下,我们可能希望从一篇文章或一篇评论的单行摘要中创建摘要,但在这种情况下,我们试图让我们的模型输出症状和所采取行动的缩写版本到目前为止,对于一名患者来说。
加载模型
我们用作基础的模型是 Google Pegasus 的一个版本,可在 Hugging Face Hub 中使用,称为 飞马-xsum。 它已经针对摘要进行了预训练,因此我们的微调过程可以专注于扩展其领域知识。 修改我们的模型运行的任务是本文中未介绍的另一种类型的微调。 Transformer 库为我们提供了一个类来从我们的模型加载模型定义 model_checkpoint: google/pegasus-xsum
。 这将从集线器加载模型并在我们的笔记本中实例化它,以便我们稍后可以使用它。 因为 pegasus-xsum
是一个序列到序列模型,我们想要使用 Seq2Seq 类型 汽车模型 类:
现在我们有了模型,是时候将注意力放在其他组件上,使我们能够运行训练循环。
创建一个分词器
这些组件中的第一个是分词器。 符号化 是将输入数据中的单词转换为我们的模型可以理解的数字表示的过程。 同样,Transformer 库为我们提供了一个类,用于从我们用于实例化模型的同一检查点加载分词器定义:
使用此标记生成器对象,我们可以创建一个预处理函数并将其映射到我们的数据集,以便为我们提供准备好输入模型的标记。 最后,我们格式化标记化的输出并删除包含原始文本的列,因为模型将无法解释它们。 现在我们留下了一个标记化的输入,可以将其输入到模型中。 请看下面的代码:
随着数据标记化和模型实例化,我们几乎准备好运行训练循环了。 我们要创建的下一个组件是数据整理器和优化器。 数据整理器是 Hugging Face 通过 Transformers 库提供的另一个类,我们用它来创建批量的标记化数据以进行训练。 我们可以使用已有的分词器和模型对象轻松构建它,只需找到我们之前用于模型 (Seq2Seq) 的排序器类的相应类类型。 优化器的功能是在循环过程中维持训练状态并根据训练损失更新参数。 要创建优化器,我们可以导入 乐观的 来自 torch 模块的软件包,其中提供了许多优化算法。 您以前可能遇到过的一些常见问题是随机梯度下降和 Adam ,后者应用于我们的示例中。 Adam 的构造函数接受给定训练运行的模型参数和参数化学习率。 请看下面的代码:
我们开始训练之前的最后一步是构建加速器和学习率调度器。 该加速器来自 Hugging Face 生成的另一个库(我们主要使用 Transformers),恰当地命名为 Accelerate,并将抽象出训练期间管理设备所需的逻辑(例如使用多个 GPU)。 对于最后一个组件,我们重新访问一直有用的 Transformers 库来实现我们的学习率调度程序。 通过指定调度程序类型、循环中的训练步骤总数以及之前创建的优化器, get_scheduler
函数返回一个对象,使我们能够在整个训练过程中调整初始学习率:
现在我们已经做好了训练准备! 让我们设置一个训练作业,首先实例化 训练参数 使用 Transformers 库并选择参数值。 我们可以将这些以及我们其他准备好的组件和数据集直接传递给 教练 并开始训练,如下代码所示。 根据数据集的大小和所选参数,这可能需要大量时间。
打包模型进行推理
运行训练后,模型对象就可以用于推理了。 作为最佳实践,让我们保存我们的工作以供将来使用。 我们需要创建模型工件,将它们压缩在一起,并将 tarball 上传到 Amazon S3 进行存储。 为了准备模型进行压缩,我们需要解开现在经过微调的模型,然后保存模型二进制文件和关联的配置文件。 我们还需要将标记生成器保存到保存模型工件的同一目录中,以便在我们使用模型进行推理时可用。 我们的 model_dir
文件夹现在应该类似于以下代码:
剩下的就是运行 tar 命令来压缩我们的目录并将 tar.gz 文件上传到 Amazon S3:
我们新近微调的模型现已准备就绪,可用于推理。
执行推理
要使用此模型工件进行推理,请打开一个新文件并使用以下代码,修改 model_data
参数以适合您在 Amazon S3 中的工件保存位置。 这 HuggingFaceModel
构造函数将从我们保存的检查点重建我们的模型 model.tar.gz
,然后我们可以使用部署方法部署它以进行推理。 部署端点需要几分钟时间。
部署端点后,我们可以使用我们创建的预测器来测试它。 通过 predict
方法数据有效负载并运行单元,您将从微调模型中获得响应:
为了了解微调模型的好处,让我们做一个快速测试。 下表包含提示以及微调之前和之后将该提示传递给模型的结果。
提示 | 无需微调的响应 | 微调响应 |
总结患者所经历的症状。 患者是一名 45 岁男性,主诉胸骨后疼痛放射至左臂。 当他在院子里干活时,疼痛突然发作,并伴有轻微的呼吸急促和出汗。 到达时患者心率为 120,呼吸频率为 24,血压为 170/95。 到达急诊科后进行了 12 导联心电图检查,并舌下含服 XNUMX 片硝酸甘油,但胸痛未缓解。 心电图显示前导联 ST 段抬高,提示急性前壁心肌梗死。 我们已联系心导管实验室并由心脏病专家准备心导管检查。 | 我们介绍一个急性心肌梗塞的病例。 | 胸痛、前壁心肌梗死、PCI。 |
正如您所看到的,我们的微调模型以不同的方式使用健康术语,并且我们已经能够改变响应的结构以适应我们的目的。 请注意,结果取决于您的数据集和训练期间所做的设计选择。 您的模型版本可能会提供截然不同的结果。
清理
当您使用完 SageMaker Notebook 后,请务必将其关闭,以避免长时间运行的资源产生成本。 请注意,关闭实例将导致您丢失存储在实例临时内存中的所有数据,因此您应该在清理之前将所有工作保存到持久存储中。 您还需要前往 端点 SageMaker 控制台上的页面并删除为推理而部署的任何端点。 要删除所有项目,您还需要转到 Amazon S3 控制台删除上传到存储桶的文件。
结论
在这篇文章中,我们探索了在 SageMaker 上实施文本摘要技术的各种选项,以帮助医疗保健专业人员有效地处理大量临床数据并从中提取见解。 我们讨论了使用 SageMaker Jumpstart 基础模型、微调 Hugging Face 中的预训练模型以及构建自定义摘要模型。 每种方法都有其自身的优点和缺点,以满足不同的需求和要求。
在 SageMaker 上构建自定义汇总模型可以提供很大的灵活性和控制力,但比使用预先训练的模型需要更多的时间和资源。 SageMaker Jumpstart 基础模型为不需要特定自定义或微调的组织提供易于使用且经济高效的解决方案,以及一些用于简化微调的选项。 对 Hugging Face 中的预训练模型进行微调可提供更快的训练时间、更好的特定领域性能,以及与广泛模型目录中的 SageMaker 工具和服务的无缝集成,但需要一些实施工作。 在撰写本文时,亚马逊宣布了另一个选择, 亚马逊基岩,这将在更加受管理的环境中提供汇总功能。
通过了解每种方法的优缺点,医疗保健专业人员和组织可以就最合适的解决方案做出明智的决策,以生成复杂临床数据的简洁而准确的摘要。 最终,在 SageMaker 上使用基于 AI/ML 的摘要模型可以使医疗专业人员快速访问相关信息并专注于提供优质护理,从而显着增强患者护理和决策能力。
资源
有关本文中讨论的完整脚本和一些示例数据,请参阅 GitHub回购。 有关如何在 AWS 上运行 ML 工作负载的更多信息,请参阅以下资源:
关于作者
科迪·柯林斯 是位于纽约的 Amazon Web Services 解决方案架构师。 他与 ISV 客户合作,在云中构建行业领先的解决方案。 他成功地为不同行业交付了复杂的项目,优化了效率和可扩展性。 业余时间,他喜欢阅读、旅行和训练柔术。
阿米尔·哈克梅 是居住在宾夕法尼亚州的 AWS 解决方案架构师。 他的专业重点包括与东北地区的独立软件供应商合作,指导他们在 AWS 云上设计和构建可扩展的、最先进的平台。
- :具有
- :是
- :不是
- :在哪里
- $UP
- 1
- 10
- 100
- 12
- 14
- 15%
- 24
- 33
- 7
- 8
- 9
- a
- Able
- 关于
- 摘要
- 加快
- 加速器
- ACCESS
- 账号管理
- 精准的
- 横过
- 行动
- Adam
- 解决
- 管理
- 高级
- 优点
- 后
- 再次
- 聚合
- AI
- 研究
- AI / ML
- 算法
- 所有类型
- 允许
- 允许
- 沿
- 已经
- 还
- Amazon
- 亚马逊SageMaker
- 亚马逊网络服务
- 量
- 量
- an
- 分析
- 和
- 公布
- 另一个
- 任何
- API
- APIs
- 相应
- 应用领域
- 应用的
- 的途径
- 方法
- 适当
- 架构
- 保健
- ARM
- 到来
- 刊文
- AS
- 相关
- At
- 关注我们
- 自动化
- 可使用
- 避免
- 远离
- AWS
- 平衡
- 基于
- BE
- 因为
- 很
- before
- 开始
- 得益
- 好处
- 最佳
- 更好
- BIN
- 血液
- 血压
- Bloom
- 盒子
- 气息
- 广阔
- 建立
- 建设者
- 建筑物
- 建
- 内建的
- 但是
- by
- 呼叫
- 被称为
- CAN
- 能力
- 关心
- 小心
- 案件
- 例
- 检索目录
- 原因
- 挑战
- 更改
- 聊天机器人
- 选择
- 选择
- 选择
- 程
- 临床资料
- 云端技术
- 码
- 代码
- 编码
- 合作
- 柱
- 列
- 如何
- 购买的订单均
- 相当常见
- 相比
- 投诉
- 复杂
- 符合
- 元件
- 组件
- 由
- 简洁
- 配置
- 缺点
- 安慰
- 构建
- 上下文
- 控制
- 便捷
- 相应
- 经济有效
- 成本
- 可以
- 覆盖
- 创建信息图
- 创建
- 创造
- 关键
- 目前
- 习俗
- 顾客
- 合作伙伴
- 定制
- data
- 数据集
- 决策
- 决定
- 定义
- 提升
- 示范
- 问题类型
- 依赖的
- 根据
- 部署
- 部署
- 部署
- 部署
- 设计
- 设计
- 设计
- 期望
- 详情
- 发达
- 设备
- 不同
- 直接
- 发现
- 讨论
- 讨论
- 不同
- do
- 医生
- 做
- 域
- 域名
- 完成
- 别
- 向下
- 缺点
- ,我们将参加
- 每
- 更容易
- 容易
- 易
- 易于使用
- 只
- 效率
- 高效
- 有效
- 努力
- 电子
- 电子健康记录
- 合格
- 紧急
- enable
- 使
- 使
- 端点
- 工程师
- 提高
- 确保
- 企业
- 条目
- 环境
- 时代
- 必要
- 甚至
- 演变
- 例子
- 现有
- 体验
- 经历
- 探索
- 探讨
- 探索
- 延长
- 提取
- 面部彩妆
- 面临
- 远
- 快
- 美联储
- 少数
- 文件
- 档
- 最后
- 终于
- 找到最适合您的地方
- 寻找
- (名字)
- 适合
- 高度灵活
- 专注焦点
- 遵循
- 以下
- 针对
- 格式
- 基金会
- 止
- ,
- 充分
- 功能
- 此外
- 未来
- Gain增益
- 其他咨询
- 生成
- 产生
- 发电
- 得到
- 越来越
- 给
- 特定
- 给予
- Go
- 谷歌的
- 图形处理器
- 大
- 更大的
- 保证
- 有
- he
- 健康管理
- 医疗保健
- 胸襟
- 帮助
- 他的
- 托管
- 创新中心
- How To
- HTML
- HTTP
- HTTPS
- 中心
- 拥抱脸
- 理想
- if
- 同步成像
- 实施
- 履行
- 实施
- 进口
- 重要
- 改善
- in
- 深入
- 包括
- 包括
- 包含
- 独立
- 行业
- 行业中的应用:
- 信息
- 通知
- 初始
- 输入
- 输入
- 可行的洞见
- 例
- 说明
- 积分
- 房源搜索
- 成
- 涉及
- IT
- 它的
- 工作
- JSON
- 只是
- 知道
- 知识
- 实验室
- 实验室
- 景观
- 语言
- 大
- (姓氏)
- 后来
- 铅
- 领导
- 信息
- 学习用品
- 学习
- 左
- 自学资料库
- 喜欢
- LLM
- 加载
- 装载
- 圖書分館的位置
- 逻辑
- 看
- 失去
- 离
- 机
- 机器学习
- 制成
- 保持
- 使
- 制作
- 管理
- 管理
- 颠覆性技术
- 地图
- 营销
- 可能..
- 意味着
- 医生
- 满足
- 内存
- 一半
- 方法
- 可能
- 最小
- 分钟
- ML
- 模型
- 模型
- 模块
- 更多
- 最先进的
- 最受欢迎的产品
- 多
- 命名
- 自然
- 自然语言处理
- 导航
- 需求
- 需要
- 全新
- 纽约
- 新
- 下页
- NLP
- 没有
- 笔记本
- 现在
- 数
- 对象
- 对象
- of
- 提供
- 最多线路
- 优惠精选
- 老
- on
- 一
- 那些
- 发病
- 到
- 打开
- 开放源码
- 操作
- 优化
- 优化
- 优化
- 追求项目的积极优化
- 附加选项
- 附加选项
- or
- 秩序
- 组织
- 原版的
- 其他名称
- 除此以外
- 我们的
- 输出
- 产量
- 学校以外
- 超过
- 己
- 所有权
- 包
- 包装
- 页
- 面包
- 参数
- 参数
- 特别
- 通过
- 通过
- 病人
- 患者
- 飞马
- 宾夕法尼亚
- 性能
- 属于
- 短语
- 平台
- 平台
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 点
- 热门
- 帖子
- 强大
- 供电
- 在练习上
- 预报器
- 比较喜欢
- Prepare
- 准备
- 当下
- 压力
- 预览
- 先前
- 主要
- 过程
- 过程
- 处理
- 生成
- 所以专业
- 专业人士
- 项目
- 承诺
- 所有权
- PROS
- 提供
- 提供
- 提供
- 优
- 规定
- 目的
- 目的
- 放
- 蟒蛇
- 质量
- 快速
- 很快
- 范围
- 急速
- 率
- 阅读
- 准备
- 真实的世界
- 记录
- 相应
- 缓解
- 去掉
- 业务报告
- 要求
- 必须
- 岗位要求
- 需要
- 研究
- 资源
- 响应
- 成果
- 回报
- 检讨
- 角色
- 运行
- 运行
- 运行
- sagemaker
- 同
- 保存
- 可扩展性
- 可扩展性
- 范围
- 划伤
- SDK
- sdk
- 无缝的
- 部分
- 保安
- 看到
- 分开
- 服务
- 特色服务
- 集
- 设置
- 设置
- 几个
- 缩短
- 应该
- 显示
- 如图
- 作品
- 关闭
- 筛
- 显著
- 显著
- 类似
- 简易
- 简
- 尺寸
- So
- 至今
- 软件
- 方案,
- 解决方案
- 一些
- 东西
- 来源
- 具体的
- 特别是
- 花费
- 开始
- 开始
- 州/领地
- 国家的最先进的
- 步骤
- 存储
- 商店
- 存储
- 存储
- 精简
- 结构体
- 工作室
- 舌下
- 顺利
- 这样
- 突
- 如下
- 合适的
- 概要
- 肯定
- 症状
- 概要
- 合成的
- 综合数据
- 产品
- 表
- 采取
- 拍摄
- 需要
- 任务
- 任务
- 技术
- 术语
- 条款
- test
- 比
- 这
- 枢纽
- 他们
- 然后
- 博曼
- 他们
- Free Introduction
- 那些
- 三
- 通过
- 始终
- 次
- 耗时的
- 时
- 至
- 今天的
- 一起
- 符号化
- 令牌
- 工具
- 火炬
- 合计
- 培训
- 熟练
- 产品培训
- 转化
- 变压器
- 变形金刚
- 旅游
- 二
- 类型
- 类型
- 一般
- ui
- 最终
- 无法
- 下
- 理解
- 理解
- 更新
- 上传
- us
- 使用
- 用例
- 用过的
- 用户友好
- 使用
- 运用
- 利用
- 验证
- 价值观
- 各个
- 广阔
- 厂商
- 多才多艺
- 版本
- 非常
- 卷
- 想
- 是
- we
- 财富
- 卷筒纸
- Web服务
- 称重
- 井
- 什么是
- ,尤其是
- 这
- 而
- 宽
- 大范围
- 将
- 也完全不需要
- 话
- 工作
- 加工
- 合作
- 将
- 写作
- 年
- 纽约
- 完全
- 您一站式解决方案
- 和风网
- 压缩