亚马逊药房 是一家提供全方位服务的药房 Amazon.com 提供透明的定价、临床和客户支持以及免费送货上门。 客户服务代理在快速准确地实时检索与药房信息相关的信息方面发挥着至关重要的作用,这些信息包括处方说明和转移状态、订单和配药详细信息以及患者资料信息。 Amazon Pharmacy 提供了一个聊天界面,客户(患者和医生)可以在其中与客户服务代表(代理)在线交谈。 客服人员面临的一项挑战是在回答客户问题时找到准确的信息,因为医疗保健流程的多样性、数量和复杂性(例如解释事先授权)可能令人望而生畏。 找到正确的信息、总结并解释需要时间,减慢了为患者服务的速度。
为了应对这一挑战,Amazon Pharmacy 构建了一个生成式 AI 问答 (Q&A) 聊天机器人助手,使客服人员能够通过自然语言搜索实时检索信息,同时保留与客户的人际互动。 该解决方案符合 HIPAA 标准,确保客户隐私。 此外,代理将与机器生成的答案相关的反馈提交给 Amazon Pharmacy 开发团队,以便可用于未来的模型改进。
在这篇文章中,我们介绍了 Amazon Pharmacy 如何使用 AWS AI 产品(包括以下领域的基础模型)实施其客户服务代理助理聊天机器人解决方案: 亚马逊SageMaker JumpStart 以加速其发展。 我们首先强调客户服务代理的整体体验,并添加基于大型语言模型 (LLM) 的聊天机器人。 然后我们解释该解决方案如何使用检索增强生成 (RAG) 模式进行实现。 最后,我们描述了产品架构。 这篇文章展示了如何将生成式人工智能集成到复杂且高度监管的业务中已经运行的应用程序中,从而改善药房患者的客户服务体验。
基于法学硕士的问答聊天机器人
下图显示了患者通过聊天联系 Amazon Pharmacy 客户服务的流程(步骤 1)。 客服人员使用单独的内部客户服务 UI 向基于 LLM 的问答聊天机器人提问(步骤 2)。 然后,客户服务 UI 将请求发送到托管在的服务后端 AWS 法门 (步骤 3),其中通过模型和数据检索过程的组合来编排查询,统称为 RAG 过程。 此过程是基于 LLM 的聊天机器人解决方案的核心,其详细信息将在下一节中解释。 在此过程结束时,机器生成的响应将返回给代理,代理可以在将其返回给最终客户之前查看答案(步骤 4)。 应该指出的是,客服人员经过培训可以进行判断,并使用基于法学硕士的聊天机器人解决方案作为增强其工作的工具,这样他们就可以将时间用于与客户的个人互动。 代理还用反馈标记机器生成的响应(例如,积极或消极)。 然后,亚马逊药房开发团队使用此反馈来改进解决方案(通过微调或数据改进),与用户形成产品开发的持续循环(第 5 步)。
下图显示了问答聊天机器人和代理交互的示例。 在这里,代理人询问索赔拒绝代码。 问答聊天机器人(Agent AI Assistant)通过对拒绝代码的清晰描述来回答问题。 它还提供原始文档的链接,以便代理在需要时进行跟进。
加速 ML 模型开发
在描述聊天机器人工作流程的上图中,我们跳过了如何训练初始版本的问答聊天机器人模型的细节。 为此,Amazon Pharmacy 开发团队受益于 SageMaker JumpStart 的使用。 SageMaker JumpStart 使团队能够快速试验不同的模型,运行不同的基准测试和测试,并根据需要快速失败。 快速失败 是科学家和开发人员实践的一个概念,旨在快速构建尽可能现实的解决方案,并从他们的努力中学习,以便在下一次迭代中做得更好。 在团队决定模型并进行任何必要的微调和定制后,他们使用 SageMaker 托管 部署解决方案。 SageMaker JumpStart 中基础模型的重用使开发团队能够减少数月的工作量,否则需要从头开始训练模型。
RAG设计模式
该解决方案的核心部分是使用 检索增强生成 (RAG) 用于实施问答解决方案的设计模式。 此模式的第一步是识别一组已知的问题和答案对,这是解决方案的初始基本事实。 下一步是将问题转换为更好的表示形式,以实现相似性和搜索,这称为 嵌入 (我们将高维对象嵌入到维数较小的超平面中)。 这是通过特定于嵌入的基础模型来完成的。 这些嵌入用作答案的索引,就像数据库索引如何将主键映射到行一样。 我们现在已准备好支持来自客户的新查询。 如前所述,体验是客户将查询发送给代理,然后代理与基于 LLM 的聊天机器人进行交互。 在问答聊天机器人中,查询被转换为嵌入,然后用作匹配索引的搜索键(来自上一步)。 匹配标准基于相似性模型,例如 FAISS or 亚马逊开放搜索服务 (更多详细信息,请参阅 Amazon OpenSearch Service 的矢量数据库功能说明)。 当存在匹配时,将检索最重要的答案并将其用作生成模型的提示上下文。 这对应于 RAG 模式中的第二步——生成步骤。 在此步骤中,提示将发送到 LLM(生成器基础模型),该模型构成对原始问题的最终机器生成的响应。 该响应通过客户服务 UI 返回给客服人员,客服人员会验证答案,根据需要进行编辑,然后将其发送回患者。 下图说明了此过程。
管理知识库
正如我们通过 RAG 模式了解到的,执行问答的第一步包括检索数据(问题和答案对)以用作 LLM 提示的上下文。 该数据被称为聊天机器人的 知识库。 此数据的示例包括 Amazon Pharmacy 内部标准操作程序 (SOP) 和以下中提供的信息: 亚马逊药房帮助中心。 为了促进索引和检索过程(如前所述),将所有这些信息收集到单个存储库中通常很有用,这些信息可能跨不同的解决方案(例如 wiki、文件和数据库)托管。 在亚马逊药房聊天机器人的特殊情况下,我们使用 亚马逊简单存储服务 (Amazon S3)因其简单性和灵活性而用于此目的。
解决方案概述
解决方案架构如下图所示。 客户服务应用程序和基于 LLM 的问答聊天机器人部署在自己的 VPC 中以实现网络隔离。 之间的连接 VPC端点 是通过实现 AWS私有链接,保证他们的隐私。 问答聊天机器人同样拥有自己的 AWS 账户,用于角色分离、隔离,并易于出于安全、成本和合规性目的进行监控。 问答聊天机器人编排逻辑托管在 Fargate 中 亚马逊弹性容器服务 (亚马逊 ECS)。 要设置 PrivateLink, 网络负载均衡器 将请求代理到 应用程序负载均衡器,这会停止终端客户端 TLS 连接并将请求交给 Fargate。 主要存储服务是 Amazon S3。 如前所述,相关输入数据会以 Q&A 聊天机器人帐户内所需的格式导入,并保存在 S3 存储桶中。
当谈到机器学习 (ML) 基础设施时, 亚马逊SageMaker 位于建筑的中心。 如前面部分所述,使用了两种模型:嵌入模型和 LLM 模型,它们托管在两个单独的 SageMaker 端点中。 通过使用 SageMaker 数据抓取 功能,我们可以记录所有推理请求和响应以进行故障排除,并制定必要的隐私和安全限制。 接下来,从代理获取的反馈存储在单独的 S3 存储桶中。
问答聊天机器人被设计为多租户解决方案,并支持 Amazon Health Services 的其他健康产品,例如 Amazon Clinic。 例如,该解决方案部署为 AWS CloudFormation 基础设施即代码 (IaC) 模板,允许使用不同的知识库。
结论
这篇文章介绍了 Amazon Pharmacy 生成式 AI 客户服务改进的技术解决方案。 该解决方案包括一个在 SageMaker 上实现 RAG 设计模式的问答聊天机器人以及在 SageMaker JumpStart 中实现基础模型的问答机器人。 借助此解决方案,客户服务代理可以更快地为患者提供帮助,同时提供准确、信息丰富且简洁的答案。
该架构使用模块化微服务,具有独立的组件,用于知识库准备和加载、聊天机器人(指令)逻辑、嵌入索引和检索、LLM 内容生成和反馈监督。 后者对于正在进行的模型改进尤其重要。 SageMaker JumpStart 中的基础模型用于通过 SageMaker 端点完成模型服务的快速实验。 最后,符合 HIPAA 要求的聊天机器人服务器托管在 Fargate 上。
总之,我们了解了 Amazon Pharmacy 如何使用生成式 AI 和 AWS 来改善客户服务,同时优先考虑负责任的 AI 原则和实践。
您还可以 开始在 SageMaker JumpStart 中试验基础模型 今天就为您的用例找到合适的基础模型,并开始在 SageMaker 上构建您的生成式 AI 应用程序。
关于作者
布拉克·格兹卢克卢 是位于马萨诸塞州波士顿的首席 AI/ML 专家解决方案架构师。 他帮助全球客户采用 AWS 技术,特别是 AI/ML 解决方案来实现其业务目标。 Burak 拥有 METU 航空航天工程博士学位、系统工程硕士学位以及马萨诸塞州剑桥麻省理工学院系统动力学博士后。 布拉克热衷于瑜伽和冥想。
金昌元 是 Amazon Health Store & Tech 的高级应用科学家。 他拥有法学硕士、自然语言处理、语音人工智能和搜索方面的专业知识。 在加入 Amazon Health 之前,Jangwon 是 Amazon Alexa Speech 的应用科学家。 他居住在洛杉矶。
亚历山大·阿尔维斯 是 Amazon Health Services 的高级首席工程师,专门从事机器学习、优化和分布式系统。 他帮助提供健康前卫的健康体验。
尼尔瓦·库马尔 是 Amazon Health Services 的高级软件开发工程师,在履行技术领域工作多年后,领导药房运营的架构。 凭借分布式系统方面的专业知识,他对人工智能的潜力越来越感兴趣。 Nirvay 将他的才能投入到工程系统中,以创造力、细心、安全性和长期愿景来解决客户的实际需求。 当不徒步华盛顿山区时,他专注于预见意外情况的深思熟虑的设计。 Nirvay 旨在构建能够经受时间考验并满足客户不断变化的需求的系统。
- SEO 支持的内容和 PR 分发。 今天得到放大。
- PlatoData.Network 垂直生成人工智能。 赋予自己力量。 访问这里。
- 柏拉图爱流。 Web3 智能。 知识放大。 访问这里。
- 柏拉图ESG。 碳, 清洁科技, 能源, 环境, 太阳能, 废物管理。 访问这里。
- 柏拉图健康。 生物技术和临床试验情报。 访问这里。
- Sumber: https://aws.amazon.com/blogs/machine-learning/learn-how-amazon-pharmacy-created-their-llm-based-chat-bot-using-amazon-sagemaker/
- :具有
- :是
- :不是
- :在哪里
- $UP
- 1
- 100
- 7
- a
- 关于
- 加快
- 账号管理
- 准确
- 横过
- 增加
- 额外
- 采用
- 航空航天
- 后
- 经纪人
- 中介代理
- AI
- AI助手
- AI / ML
- 目标
- Alexa的
- 所有类型
- 允许
- 允许
- 已经
- 还
- Amazon
- 亚马逊SageMaker
- 亚马逊网络服务
- an
- 和
- 洛杉矶
- 回答
- 答案
- 预计
- 任何
- 应用领域
- 应用的
- 架构
- 保健
- AS
- 问
- 问
- 协助
- 助理
- At
- 增强
- 可使用
- AWS
- 背部
- 后端
- 基地
- 基于
- BE
- 因为
- 很
- before
- 作为
- 基准
- 更好
- 之间
- 波士顿
- 建立
- 建筑物
- 建
- 商业
- by
- 被称为
- 剑桥
- CAN
- 能力
- 关心
- 案件
- Center
- 挑战
- 通道
- 聊天机器人
- 要求
- 清除
- 诊所
- 临床资料
- 码
- 统
- COM的
- 组合
- 购买的订单均
- 未来
- 复杂
- 复杂
- 符合
- 兼容
- 组件
- 概念
- 简洁
- 地都
- 由
- 约束
- 容器
- 内容
- 内容生成
- 上下文
- 连续
- 兑换
- 转换
- 核心
- 对应
- 价格
- 创建
- 创造力
- 标准
- 关键
- 顾客
- 客户支持
- 合作伙伴
- 定制
- 切
- 周期
- data
- 数据库
- 数据库
- 决定
- 专用
- 交付
- 交货
- 演示
- 描绘
- 部署
- 部署
- 描述
- 描述
- 描述
- 设计
- 设计
- 期望
- 详情
- 开发
- 开发
- 研发支持
- 开发团队
- 不同
- 尺寸
- 分布
- 分布式系统
- 多元化
- do
- 医生
- 文件
- 完成
- 门
- 向下
- 动力学
- 缓解
- 工作的影响。
- 嵌
- 嵌入
- 授权
- 结束
- 工程师
- 工程师
- 保证
- 特别
- 演变
- 例子
- 例子
- 锻炼
- 体验
- 体验
- 实验
- 专门知识
- 说明
- 解释
- 说明
- 面部彩妆
- 促进
- 失败
- 高效率
- 专栏
- 反馈
- 数字
- 档
- 最后
- 终于
- 找到最适合您的地方
- 寻找
- (名字)
- 高度灵活
- 流
- 重点
- 遵循
- 以下
- 针对
- 格式
- 基金会
- 自由的
- 止
- 全程服务
- 未来
- 收集
- 代
- 生成的
- 生成式人工智能
- 发电机
- 全球
- 陆运
- 成长
- 手
- 有
- he
- 健康管理
- 胸襟
- 帮助
- 帮助
- 相关信息
- 高
- 突出
- 高度
- 他的
- 托管
- 创新中心
- How To
- HTML
- HTTP
- HTTPS
- 人
- 鉴定
- if
- 说明
- 履行
- 实施
- 实施
- 重要
- 改善
- 改善
- 改善
- in
- 包含
- 指数
- 指标
- 信息
- 信息
- 基础设施
- 初始
- 输入
- 内
- 集成
- 相互作用
- 互动
- 接口
- 内部
- 成
- 隔离
- IT
- 迭代
- 它的
- 加盟
- JPG
- 键
- 知识
- 已知
- 标签
- 语言
- 大
- 领导
- 学习用品
- 知道
- 学习
- 减
- Level
- 喜欢
- 友情链接
- LLM
- 加载
- 装载
- 位于
- 日志
- 逻辑
- 长期
- 该
- 洛杉矶
- 机
- 机器学习
- 使
- 许多
- 地图
- 火柴
- 匹配
- 可能..
- 提到
- 元
- 微服务
- 麻省理工学院简介
- ML
- 模型
- 模型
- 模块化
- 监控
- 个月
- 更多
- MS
- 许多
- 自然
- 必要
- 打印车票
- 需要
- 负
- 网络
- 全新
- 下页
- NLP
- 注意到
- 现在
- 对象
- 目标
- of
- 折扣
- 优惠精选
- 经常
- on
- 一
- 正在进行
- 在线
- 打开
- 操作
- 运营
- 优化
- or
- 精心策划
- 管弦乐编曲
- 秩序
- 原版的
- 除此以外
- 输出
- 最划算
- 己
- 对
- 部分
- 特别
- 情
- 多情
- 病人
- 患者
- 模式
- 执行
- 执行
- 个人
- 博士学位
- 地方
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 播放
- 积极
- 可能
- 帖子
- 潜力
- 做法
- 精确的
- 准备
- 处方
- 呈现
- 保存
- 以前
- 先前
- 价格
- 小学
- 校长
- 原则
- 先
- 优先顺序
- 隐私
- 隐私和安全
- 程序
- 过程
- 过程
- 产品
- 产品开发
- 核心产品
- 本人简介
- 提供
- 提供
- 优
- 目的
- 目的
- Q&A
- 查询
- 题
- 有疑问吗?
- 很快
- 准备
- 真实
- 实时的
- 现实
- 实现
- 参考
- 简称
- 监管
- 有关
- 知识库
- 表示
- 代表
- 请求
- 要求
- 响应
- 回复
- 提供品牌战略规划
- 重用
- 检讨
- 右
- 角色
- 行
- 运行
- sagemaker
- 锯
- 科学家
- 划伤
- 搜索
- 搜索
- 搜索
- 其次
- 部分
- 部分
- 保安
- 提交
- 发送
- 发送
- 分开
- 服务
- 服务器
- 服务
- 特色服务
- 服务
- 集
- 应该
- 作品
- 简易
- 简单
- 单
- 放缓
- So
- 软件
- 方案,
- 解决方案
- 解决
- 专家
- 专业
- 特别是
- 言语
- 速度
- 标准
- 开始
- Status
- 步
- 车站
- 存储
- 商店
- 存储
- 提交
- 这样
- 概要
- 监管
- SUPPORT
- 系统
- 产品
- 滑车
- 拍摄
- 需要
- 人才
- 谈论
- 团队
- 科技
- 文案
- 技术
- 模板
- test
- 测试
- 这
- 其
- 然后
- 那里。
- 博曼
- 他们
- Free Introduction
- 通过
- 次
- 至
- 今晚
- 工具
- 最佳
- 培训
- 熟练
- 转让
- 透明
- 真相
- 二
- ui
- 意外
- 使用
- 用例
- 用过的
- 用户
- 使用
- 运用
- 版本
- 通过
- 愿景
- 体积
- 是
- 华盛顿
- we
- 卷筒纸
- Web服务
- ,尤其是
- 这
- 而
- WHO
- 中
- 工作
- 工作流程
- 加工
- 将
- 年
- 瑜伽
- 您一站式解决方案
- 和风网