医疗保健和生命科学 (HCLS) 客户正在采用生成式 AI 作为从数据中获取更多信息的工具。 用例包括文档摘要,以帮助读者关注文档的要点,以及将非结构化文本转换为标准化格式以突出重要属性。 凭借独特的数据格式和严格的监管要求,客户正在寻求选择性能最佳且最具成本效益的模型,以及执行必要的定制(微调)以适应其业务用例的能力。 在这篇文章中,我们将引导您使用以下方法部署 Falcon 大语言模型 (LLM): 亚马逊SageMaker JumpStart 并使用该模型通过LangChain和Python对长文档进行汇总。
解决方案概述
亚马逊SageMaker 基于亚马逊二十年开发现实世界机器学习应用程序的经验,包括产品推荐、个性化、智能购物、机器人和语音辅助设备。 SageMaker 是一项符合 HIPAA 要求的托管服务,提供的工具可帮助数据科学家、ML 工程师和业务分析师利用 ML 进行创新。 在 SageMaker 中是 亚马逊SageMaker Studio,一个专为协作 ML 工作流程而构建的集成开发环境 (IDE),而该工作流程又在名为 SageMaker JumpStart 的集成中心中包含各种快速入门解决方案和预训练的 ML 模型。 借助 SageMaker JumpStart,您可以使用预先训练的模型(例如 Falcon LLM)以及预构建的示例笔记本和 SDK 支持来试验和部署这些强大的变压器模型。 您可以使用 SageMaker Studio 和 SageMaker JumpStart 在您的 AWS 账户中部署和查询您自己的生成模型。
您还可以确保推理负载数据不会离开您的 VPC。 您可以将模型配置为单租户端点,并通过网络隔离进行部署。 此外,您可以通过使用 SageMaker JumpStart 中的私有模型中心功能并将批准的模型存储在其中,来策划和管理满足您自己的安全要求的选定模型集。 SageMaker 的范围包括 健康保险流通与责任法案 (HIPAA), SOC123及 HITRUST CSF.
猎鹰法学硕士 是一个大型语言模型,由技术创新研究所 (TII) 的研究人员使用 AWS 对超过 1 万亿个代币进行训练。 Falcon 有许多不同的变体,其两个主要组成部分 Falcon 40B 和 Falcon 7B 分别由 40 亿和 7 亿个参数组成,并针对特定任务(例如遵循指令)进行了微调版本。 Falcon 在各种任务上表现良好,包括文本摘要、情感分析、问答和对话。 本文提供了一个演练,您可以按照该演练将 Falcon LLM 部署到您的 AWS 账户中,通过 SageMaker JumpStart 使用托管笔记本实例来试验文本摘要。
SageMaker JumpStart 模型中心包含用于部署和查询每个模型的完整笔记本。 截至撰写本文时,SageMaker JumpStart 模型中心中有六个版本的 Falcon:Falcon 40B Instruct BF16、Falcon 40B BF16、Falcon 180B BF16、Falcon 180B Chat BF16、Falcon 7B Instruct BF16 和 Falcon 7B BF16。 本文使用 Falcon 7B Instruct 模型。
在以下部分中,我们将展示如何通过在 SageMaker Jumpstart 上部署 Falcon 7B 开始文档摘要。
先决条件
对于本教程,您需要一个具有 SageMaker 域的 AWS 账户。 如果您还没有 SageMaker 域,请参阅 加入 Amazon SageMaker 域 创建一个。
使用 SageMaker JumpStart 部署 Falcon 7B
要部署模型,请完成以下步骤:
- 从 SageMaker 控制台导航到您的 SageMaker Studio 环境。
- 在 IDE 中,在 SageMaker 快速启动 在导航窗格中,选择 模型、笔记本、解决方案.
- 将 Falcon 7B Instruct 模型部署到端点以进行推理。
这将打开 Falcon 7B Instruct BF16 模型的模型卡。 在此页面上,您可以找到 部署 or 培训 选项以及在 SageMaker Studio 中打开示例笔记本的链接。 本文将使用 SageMaker JumpStart 中的示例笔记本来部署模型。
- 打开笔记本.
- 运行笔记本的前四个单元以部署 Falcon 7B Instruct 端点。
您可以在 推出 JumpStart 资产 页面上发布服务提醒。
- 在导航窗格中, SageMaker 快速启动,选择 推出 JumpStart 资产.
- 选择 模型端点 选项卡可查看端点的状态。
部署 Falcon LLM 端点后,您就可以查询模型了。
运行您的第一个查询
要运行查询,请完成以下步骤:
- 点击 文件 菜单中选择 全新 和 笔记本 打开一个新的笔记本。
您还可以下载完成的笔记本 相关信息.
- 出现提示时选择映像、内核和实例类型。 在本文中,我们选择 Data Science 3.0 映像、Python 3 内核和 ml.t3.medium 实例。
- 通过在第一个单元格中输入以下两行来导入 Boto3 和 JSON 模块:
- 媒体 Shift + Enter 运行单元格。
- 接下来,您可以定义一个将调用您的端点的函数。 该函数采用字典负载并使用它来调用 SageMaker 运行时客户端。 然后它反序列化响应并打印输入和生成的文本。
有效负载包括作为输入的提示以及将传递给模型的推理参数。
- 您可以在提示中使用这些参数来根据您的用例调整模型的输出:
带摘要提示的查询
这篇文章使用样本研究论文来展示总结。 示例文本文件涉及生物医学文献中的自动文本摘要。 完成以下步骤:
- 下载 PDF 并将文本复制到名为
document.txt
. - 在 SageMaker Studio 中,选择上传图标并将文件上传到您的 SageMaker Studio 实例。
Falcon LLM 开箱即用,提供对文本摘要的支持。
- 让我们创建一个使用即时工程技术来总结的函数
document.txt
:
您会注意到,对于较长的文档,会出现错误 - Falcon 与所有其他 LLM 一样,对作为输入传递的令牌数量有限制。 我们可以使用 LangChain 增强的摘要功能来绕过这个限制,该功能允许将更大的输入传递给 LLM。
导入并运行摘要链
LangChain 是一个开源软件库,允许开发人员和数据科学家快速构建、调整和部署自定义生成应用程序,而无需管理复杂的 ML 交互,通常用于抽象生成 AI 语言模型的许多常见用例。代码行。 LangChain对AWS服务的支持包括对SageMaker端点的支持。
LangChain 为法学硕士提供了一个可访问的接口。 其功能包括用于提示模板和提示链接的工具。 这些链可用于总结比语言模型在一次调用中支持的长度更长的文本文档。 您可以使用映射缩减策略来总结长文档,方法是将其分解为可管理的块,汇总它们,然后组合它们(如果需要,再次汇总)。
- 让我们开始安装LangChain:
- 导入相关模块并将长文档分解为块:
- 为了使 LangChain 与 Falcon 有效配合,您需要定义有效输入和输出的默认内容处理程序类:
- 您可以将自定义提示定义为
PromptTemplate
对象,LangChain提示的主要工具,用于map-reduce摘要方法。 这是一个可选步骤,因为如果加载摘要链的调用中的参数 (load_summarize_chain
) 未定义。
- LangChain 支持在 SageMaker 推理终端节点上托管的 LLM,因此您可以通过 LangChain 初始化连接以获得更好的可访问性,而不是使用 AWS Python SDK:
- 最后,您可以加载摘要链并使用以下代码对输入文档运行摘要:
由于 verbose
参数设置为 True
,您将看到映射归约方法的所有中间输出。 这对于跟踪事件顺序以得出最终摘要非常有用。 通过这种映射缩减方法,您可以有效地总结比模型最大输入标记限制通常允许的更长的文档。
清理
使用完推理端点后,务必将其删除,以避免通过以下代码行产生不必要的成本:
在 SageMaker JumpStart 中使用其他基础模型
利用 SageMaker JumpStart 中提供的其他基础模型进行文档摘要只需极少的设置和部署开销。 LLM 有时会因输入和输出格式的结构而异,并且随着新模型和预制解决方案添加到 SageMaker JumpStart,根据任务实现,您可能需要进行以下代码更改:
- 如果您通过
summarize()
方法(不使用LangChain的方法),你可能需要改变JSON结构payload
参数,以及响应变量的处理query_endpoint()
功能 - 如果您通过LangChain进行汇总
load_summarize_chain()
方法,您可能需要修改ContentHandlerTextSummarization
类,特别是transform_input()
和transform_output()
函数,以正确处理 LLM 期望的有效负载和 LLM 返回的输出
基础模型不仅在推理速度和质量等因素上有所不同,而且在输入和输出格式上也有所不同。 有关预期输入和输出,请参阅法学硕士的相关信息页面。
结论
Falcon 7B Instruct 模型可在 SageMaker JumpStart 模型中心上获取,并在许多用例上执行。 本文演示了如何使用 SageMaker JumpStart 将自己的 Falcon LLM 端点部署到您的环境中,并从 SageMaker Studio 中进行首次实验,从而使您能够快速构建模型原型并无缝过渡到生产环境。 借助 Falcon 和 LangChain,您可以有效地大规模总结长篇医疗保健和生命科学文档。
有关在 AWS 上使用生成式 AI 的更多信息,请参阅 宣布推出用于在 AWS 上使用生成式 AI 进行构建的新工具。 您可以使用本文中概述的方法开始为您的医疗保健和面向生命科学的 GenAI 应用程序试验和构建文档摘要概念证明。 什么时候 亚马逊基岩 正式发布后,我们将发布后续文章,展示如何使用 Amazon Bedrock 和 LangChain 实现文档摘要。
作者简介
约翰·北冈 是 Amazon Web Services 的解决方案架构师。 John 帮助客户设计和优化 AWS 上的 AI/ML 工作负载,以帮助他们实现业务目标。
乔什·法梅斯塔德 是 Amazon Web Services 的解决方案架构师。 Josh 与公共部门客户合作构建和执行基于云的方法来实现业务优先级。
- SEO 支持的内容和 PR 分发。 今天得到放大。
- PlatoData.Network 垂直生成人工智能。 赋予自己力量。 访问这里。
- 柏拉图爱流。 Web3 智能。 知识放大。 访问这里。
- 柏拉图ESG。 碳, 清洁科技, 能源, 环境, 太阳能, 废物管理。 访问这里。
- 柏拉图健康。 生物技术和临床试验情报。 访问这里。
- Sumber: https://aws.amazon.com/blogs/machine-learning/create-an-hcls-document-summarization-application-with-falcon-using-amazon-sagemaker-jumpstart/
- :具有
- :是
- :不是
- $UP
- 1
- 10
- 100
- 11
- 12
- 14
- 150
- 16
- 1M
- 20
- 40
- 400
- 50
- 500
- 7
- a
- 对,能力--
- 摘要
- 接受
- 访问
- 无障碍
- 账号管理
- 添加
- 采用
- 再次
- AI
- AI / ML
- 所有类型
- 允许
- 允许
- 允许
- 靠
- 已经
- 还
- Amazon
- 亚马逊SageMaker
- 亚马逊SageMaker JumpStart
- 亚马逊网络服务
- an
- 分析
- 分析师
- 和
- 动物
- 动物
- 应用领域
- 应用领域
- 的途径
- 方法
- 批准
- 保健
- 围绕
- AS
- At
- 属性
- 自动表
- 可使用
- 避免
- AWS
- 基于
- BE
- 因为
- 开始
- 相信
- 亿
- 生物医学
- 身体
- 无所畏惧
- 盒子
- 午休
- 破坏
- 建立
- 建筑物
- 建
- 商业
- 但是
- by
- 呼叫
- 被称为
- CAN
- 可以得到
- 能力
- 能力
- 卡
- 案件
- 例
- 细胞
- 链
- 链
- 更改
- 更改
- 选择
- 选择
- 程
- 类
- 客户
- 云端技术
- 码
- 共同
- 结合
- 结合
- 相当常见
- 常用
- 相比
- 完成
- 完成
- 复杂
- 包含
- 概念
- 简洁
- 地都
- 安慰
- 包含
- 内容
- 经济有效
- 成本
- 创建信息图
- 习俗
- 合作伙伴
- 定制
- data
- 数据科学
- 几十年
- 默认
- 定义
- 交付
- 演示
- 证明
- 根据
- 部署
- 部署
- 部署
- 部署
- 设计
- 开发
- 发展
- 研发支持
- 设备
- 不同
- do
- 文件
- 文件
- 不会
- 域
- 别
- 向下
- 下载
- 每
- 地球
- 只
- enable
- 端点
- 工程师
- 工程师
- 增强
- 确保
- 进入
- 环境
- 错误
- 事件
- 例子
- 执行
- 预期
- 预计
- 体验
- 实验
- 实验
- 面部彩妆
- 因素
- false
- 特征
- 少数
- 文件
- 最后
- 找到最适合您的地方
- (名字)
- 适合
- 专注焦点
- 遵循
- 以下
- 针对
- 基金会
- 四
- 止
- 功能
- 功能
- 此外
- 通常
- 生成
- 产生
- 生成的
- 生成式人工智能
- 得到
- 理想中
- 更大的
- 处理
- 处理
- 有
- 医疗保健
- 帮助
- 帮助
- 近期亮点
- 托管
- 创新中心
- How To
- HTML
- HTTPS
- 中心
- ICON
- if
- 图片
- 实施
- 履行
- 进口
- 重要
- in
- 包括
- 包括
- 包含
- 信息
- 创新
- 創新
- 输入
- 输入
- 安装
- 例
- 代替
- 研究所
- 说明
- 集成
- 智能化
- 互动
- 接口
- 成
- 隔离
- IT
- 它的
- John
- JSON
- 只是
- 键
- 语言
- 大
- 大
- 推出
- 离开
- 自学资料库
- 生活
- 生命科学
- 极限
- 线
- 链接
- 文学
- LLM
- 加载
- 长
- 不再
- 寻找
- 主要
- 使
- 管理
- 管理
- 管理
- 管理的
- 许多
- 制图
- 最多
- 可能..
- 中等
- 菜单
- 方法
- 最小
- ML
- 模型
- 模型
- 修改
- 模块
- 更多
- 最先进的
- 许多
- 旅游导航
- 必要
- 需求
- 打印车票
- 网络
- 全新
- 美国国立卫生研究院
- 通常
- 笔记本
- 注意..
- 数
- 对象
- of
- on
- 一
- 仅由
- 打开
- 开放源码
- 开源软件
- 优化
- 附加选项
- 其他名称
- 概述
- 产量
- 超过
- 己
- 页
- 面包
- 纸类
- 参数
- 参数
- 通过
- 演出
- 执行
- 施行
- 个性化
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 点
- 帖子
- 强大
- 打印
- 打印
- 私立
- 过程
- 产品
- 生产
- 样张
- 原型
- 提供
- 提供
- 提供
- 规定
- 国家
- 发布
- 蟒蛇
- 质量
- 题
- 很快
- 急速
- 读者
- 准备
- 真实的世界
- 建议
- 参考
- 监管
- 相应
- 岗位要求
- 需要
- 研究
- 研究人员
- 分别
- 响应
- 回报
- 机器人
- 运行
- sagemaker
- SageMaker 推理
- 鳞片
- 科学
- 科学
- 科学家
- 范围
- SDK
- 无缝
- 部分
- 扇形
- 保安
- 看到
- 选
- 自
- 情绪
- 序列
- 服务
- 特色服务
- 集
- 设置
- 购物
- 短
- 显示
- 单
- SIX
- So
- 软件
- 解决方案
- 具体的
- 特别是
- 速度
- 开始
- 开始
- Status
- 步
- 步骤
- 存储
- 策略
- 监督
- 结构体
- 工作室
- 这样
- 总结
- 概要
- SUPPORT
- 支持
- 需要
- 任务
- 任务
- 技术
- 专业技术
- 技术创新
- 文本
- 比
- 这
- 其
- 他们
- 然后
- 那里。
- 博曼
- Free Introduction
- 通过
- 至
- 一起
- 象征
- 令牌
- 工具
- 工具
- 熟练
- 变压器
- 转型
- 过渡
- 兆
- true
- 转
- 教程
- 二
- 类型
- 未定义
- 独特
- 不必要
- 上传
- 使用
- 用例
- 用过的
- 使用
- 运用
- 变量
- 各种
- 汽车
- 版本
- 通过
- 查看
- 走
- 演练
- we
- 卷筒纸
- Web服务
- 井
- 什么是
- ,尤其是
- 这
- 宽
- 将
- 中
- 也完全不需要
- 工作
- 工作流程
- 加工
- 合作
- 写
- 写作
- 完全
- 您一站式解决方案
- 和风网