在当今快节奏的世界中,客户期望企业提供快速高效的服务。 但是,当查询量超过用于解决这些问题的人力资源时,提供卓越的客户服务可能会面临巨大挑战。 然而,企业可以通过由大型语言模型 (LLM) 支持的生成人工智能 (generative AI) 的进步来应对这一挑战,同时提供个性化和高效的客户服务。
生成式 AI 聊天机器人因其模仿人类智力的能力而声名狼藉。 然而,与面向任务的机器人不同,这些机器人使用 LLM 进行文本分析和内容生成。 法学硕士是基于 变压器架构,一种深度学习神经网络,于 2017 年 XNUMX 月推出,可以在大量未标记文本的语料库上进行训练。 这种方法创造了一种更像人类的对话体验,并适应了多个主题。
在撰写本文时,各种规模的公司都希望使用这项技术,但需要帮助确定从哪里开始。 如果您希望开始使用生成式 AI 以及在对话式 AI 中使用 LLM,那么这篇文章适合您。 我们提供了一个示例项目来快速部署 亚马逊Lex 使用预训练的开源 LLM 的机器人。 该代码还包括实现自定义内存管理器的起点。 这种机制允许 LLM 回忆以前的交互以保持对话的上下文和节奏。 最后,必须强调使用微调提示和 LLM 随机性和确定性参数进行试验以获得一致结果的重要性。
解决方案概述
该解决方案将 Amazon Lex 机器人与来自 亚马逊SageMaker JumpStart,可通过 亚马逊SageMaker 端点。 我们还使用 LangChain,这是一个流行的框架,可以简化 LLM 支持的应用程序。 最后,我们使用 QnABot 为聊天机器人提供用户界面。
首先,我们首先描述上图中的每个组件:
- JumpStart 为各种问题类型提供预训练的开源模型。 这使您能够快速开始机器学习 (ML)。 它包括 FLAN-T5-XL 型号,部署到深度学习容器中的 LLM。 它在各种自然语言处理 (NLP) 任务(包括文本生成)中表现出色。
- A SageMaker 实时推理端点 支持快速、可扩展地部署用于预测事件的 ML 模型。 由于能够与 Lambda 函数集成,端点允许构建自定义应用程序。
- AWS Lambda 函数使用来自 Amazon Lex 机器人或 质量保证 准备负载以调用 SageMaker 端点,使用 浪链. LangChain 是一个框架,允许开发人员创建由 LLM 提供支持的应用程序。
- Amazon Lex V2 机器人具有内置的
AMAZON.FallbackIntent
意图类型。 当用户的输入与机器人中的任何意图不匹配时触发。 - QnABot 是一种开源 AWS 解决方案,可为 Amazon Lex 机器人提供用户界面。 我们配置了一个 拉姆达钩子 一个函数
CustomNoMatches
项,并在 QnABot 找不到答案时触发 Lambda 函数。 我们假设您已经部署了它,并在以下部分中包含了配置它的步骤。
下面的序列图中在较高层次上描述了该解决方案。
解决方案执行的主要任务
在本节中,我们将查看解决方案中执行的主要任务。 本解决方案的整个项目源码在此提供,供大家参考 GitHub存储库.
处理聊天机器人回退
Lambda 函数通过以下方式处理“不知道”的答案 AMAZON.FallbackIntent
在 Amazon Lex V2 和 CustomNoMatches
QnABot 中的项目。 触发后,此函数会查看会话请求和回退意图。 如果匹配,它将请求交给 Lex V2 调度程序; 否则,QnABot 调度程序将使用该请求。 请参见以下代码:
为我们的法学硕士提供记忆
为了在多轮对话中保留 LLM 记忆,Lambda 函数包含一个 LangChain自定义内存类 使用的机制 Amazon Lex V2 会话 API 通过正在进行的多轮对话消息跟踪会话属性,并通过先前的交互为对话模型提供上下文。 请参见以下代码:
以下是我们为在 LangChain ConversationChain 中引入自定义内存类而创建的示例代码:
提示定义
LLM 的提示是一个问题或语句,它为生成的响应设置基调。 提示作为一种上下文形式发挥作用,有助于指导模型生成相关响应。 请参见以下代码:
使用 Amazon Lex V2 会话支持 LLM 内存
Amazon Lex V2 在用户与机器人交互时启动会话。 除非手动停止或超时,否则会话会持续存在。 会话存储元数据和特定于应用程序的数据,称为会话属性。 当 Lambda 函数添加或更改会话属性时,Amazon Lex 会更新客户端应用程序。 QnABot 包含一个界面,用于在 Amazon Lex V2 之上设置和获取会话属性。
在我们的代码中,我们使用这种机制在 LangChain 中构建了一个自定义记忆类,以跟踪对话历史并使 LLM 能够回忆起短期和长期的交互。 请参见以下代码:
先决条件
要开始部署,您需要满足以下先决条件:
部署解决方案
要部署解决方案,请继续执行以下步骤:
- 启动堆栈 在中启动解决方案
us-east-1
地区: - 针对 堆栈名称, 输入一个唯一的堆栈名称。
- 针对 高频模型,我们使用
Hugging Face Flan-T5-XL
JumpStart 上提供的模型。 - 针对 高频任务,输入
text2text
. - 保持 S3Bucket 名称 照原样。
这些用于查找 亚马逊简单存储服务 (Amazon S3) 部署解决方案所需的资产,并且可能会随着本文更新的发布而发生变化。
- 承认能力。
- 创建堆栈.
应该有四个成功创建的堆栈。
配置 Amazon Lex V2 机器人
与 Amazon Lex V2 机器人无关。 我们的 CloudFormation 模板已经完成了繁重的工作。
配置 QnABot
我们假设您已经在您的环境中部署了现有的 QnABot。 但如果您需要帮助,请关注 t这些说明 部署它。
- 在 AWS CloudFormation 控制台上,导航到您部署的主堆栈。
- 点击 输出 选项卡,记下
LambdaHookFunctionArn
因为您需要稍后将其插入到 QnABot 中。
- 登录到 QnABot Designer 用户界面 (UI) 作为管理员。
- 在 问题用户界面, 添加一个新问题。
- 输入以下值:
- ID –
CustomNoMatches
- 问题 –
no_hits
- 回答 – “不知道”的任何默认答案
- ID –
- 高级 并去 拉姆达钩子 部分。
- 输入您之前记下的 Lambda 函数的 Amazon 资源名称 (ARN)。
- 向下滚动到该部分的底部并选择 创建。
您会看到一个包含成功消息的窗口。
您的问题现在可以在 有疑问吗? 页面上发布服务提醒。
测试解决方案
让我们继续测试解决方案。 首先,值得一提的是,我们部署了 JumpStart 提供的 FLAN-T5-XL 模型,没有进行任何微调。 这可能有一些不可预测性,导致响应略有不同。
使用 Amazon Lex V2 机器人进行测试
本部分帮助您测试 Amazon Lex V2 自动程序与调用部署在 SageMaker 终端节点中的 LLM 的 Lambda 函数的集成。
- 在 Amazon Lex 控制台上,导航到名为
Sagemaker-Jumpstart-Flan-LLM-Fallback-Bot
.
此机器人已配置为调用 Lambda 函数,该函数调用托管 LLM 的 SageMaker 端点作为后备意图,当没有其他意图匹配时。 - 意向 在导航窗格中。
在右上角,一条消息显示为“English (US) has not build changes”。
- 建立.
- 等待它完成。
最后,您会收到一条成功消息,如以下屏幕截图所示。
- 测试.
将出现一个聊天窗口,您可以在其中与模型进行交互。
我们建议探索内置 Amazon Lex 机器人之间的集成 和 亚马逊通. 此外,还有使用 Amazon Chime SDK 和 Genesys Cloud 的消息传递平台(Facebook、Slack、Twilio SMS)或第三方联络中心。
使用 QnABot 实例进行测试
本节测试 QnABot on AWS 与调用部署在 SageMaker 终端节点中的 LLM 的 Lambda 函数的集成。
- 打开左上角的工具菜单。
- QnABot客户端.
- 以管理员身份登录.
- 在用户界面中输入任何问题。
- 评估响应。
清理
为避免产生未来费用,请按照以下步骤删除由我们的解决方案创建的资源:
- 在 AWS CloudFormation 控制台上,选择名为
SagemakerFlanLLMStack
(或您为堆栈设置的自定义名称)。 - 删除.
- 如果您为测试部署了 QnABot 实例,请选择 QnABot 堆栈。
- 删除.
结论
在这篇文章中,我们探索了向面向任务的机器人添加开放域功能,该机器人将用户请求路由到开源大型语言模型。
我们鼓励您:
- 将对话历史保存到外部持久化机制. 例如,您可以将对话历史记录保存到 Amazon DynamoDB 或 S3 存储桶并在 Lambda 函数挂钩中检索它。 这样,您就不需要依赖 Amazon Lex 提供的内部非持久性会话属性管理。
- 尝试总结 – 在多轮对话中,生成摘要很有帮助,您可以在提示中使用该摘要来添加上下文并限制对话历史记录的使用。 这有助于减少机器人会话大小并保持 Lambda 函数内存消耗较低。
- 尝试提示变体 – 修改符合您实验目的的原始提示说明。
- 调整语言模型以获得最佳结果 – 您可以通过微调高级 LLM 参数(例如随机性(
temperature
) 和确定性 (top_p
) 根据您的应用。 我们使用带有样本值的预训练模型演示了样本集成,但很高兴为您的用例调整值。
在我们的下一篇文章中,我们计划帮助您发现如何使用您自己的数据微调预训练的 LLM 支持的聊天机器人。
您是否正在 AWS 上试验 LLM 聊天机器人? 在评论中告诉我们更多信息!
资源和参考
作者简介
马塞洛席尔瓦 是一位经验丰富的技术专家,擅长设计、开发和实施尖端产品。 在 Cisco 开始他的职业生涯后,Marcelo 参与了各种备受瞩目的项目,包括第一个运营商路由系统的部署和 ASR9000 的成功推出。 他的专长扩展到云技术、分析和产品管理,在加入 GenAI 之前曾担任思科、Cape Networks 和 AWS 等多家公司的高级经理。 Marcelo 目前担任对话式 AI/GenAI 产品经理,在提供跨行业创新解决方案方面继续表现出色。
维克多·罗霍(Victor Rojo) 是一位经验丰富的技术专家,对人工智能、机器学习和软件开发的最新进展充满热情。 凭借其专业知识,他在将 Amazon Alexa 引入美国和墨西哥市场方面发挥了关键作用,同时率先向 AWS 合作伙伴成功推出了 Amazon Textract 和 AWS Contact Center Intelligence (CCI)。 作为 Conversational AI Competency Partners 计划的现任首席技术负责人,Victor 致力于推动创新并带来尖端解决方案,以满足行业不断变化的需求。
贾斯汀莱托 是 Amazon Web Services 的高级解决方案架构师,专攻机器学习。 他热衷于帮助客户利用机器学习和人工智能的力量来推动业务增长。 Justin 曾在包括 AWS 峰会在内的全球人工智能会议上发表过演讲,并在大学做过演讲。 他领导纽约机器学习和人工智能聚会。 在业余时间,他喜欢远洋航行和演奏爵士乐。 他与妻子和小女儿住在纽约市。
瑞安·戈麦斯 是 AWS 专业服务智能实践的数据和机器学习工程师。 他热衷于通过云中的分析和机器学习解决方案帮助客户取得更好的成果。 工作之余,他喜欢健身、烹饪以及与朋友和家人共度美好时光。
马赫什比拉达 是 Amazon Web Services 的高级解决方案架构师,专攻 DevOps 和可观察性。 他乐于帮助客户实施具有成本效益的可扩展架构。 工作之余,他喜欢看电影和徒步旅行。
坎贾纳·钱德伦 是 Amazon Web Services (AWS) 的解决方案架构师,对机器学习充满热情。 她帮助客户设计、实施和管理他们的 AWS 工作负载。 工作之余,她喜欢旅行、阅读以及与家人和朋友共度时光。
- SEO 支持的内容和 PR 分发。 今天得到放大。
- EVM财务。 去中心化金融的统一接口。 访问这里。
- 量子传媒集团。 IR/PR 放大。 访问这里。
- 柏拉图爱流。 Web3 数据智能。 知识放大。 访问这里。
- Sumber: https://aws.amazon.com/blogs/machine-learning/exploring-generative-ai-in-conversational-experiences-an-introduction-with-amazon-lex-langchain-and-sagemaker-jumpstart/
- :具有
- :是
- :不是
- :在哪里
- 100
- 11
- 12
- 13
- 14
- 17
- 2017
- 27
- 7
- 8
- 9
- a
- 对,能力--
- 关于
- 无障碍
- 根据
- 横过
- 行为
- 加
- 添加
- 增加
- 地址
- 添加
- 高级
- 进步
- 后
- AI
- Alexa的
- 所有类型
- 允许
- 已经
- 还
- Amazon
- 亚马逊编钟
- 亚马逊Lex
- 亚马逊Textract
- 亚马逊网络服务
- 亚马逊网络服务(AWS)
- an
- 分析
- 分析
- 和
- 回答
- 答案
- 任何
- API
- 出现
- 应用领域
- 的途径
- 保健
- 人造的
- 人工智能
- AS
- 办公室文员:
- At
- 属性
- 可使用
- 避免
- AWS
- AWS CloudFormation
- AWS专业服务
- 母婴
- 基于
- BE
- 因为
- 很
- before
- 开始
- 更好
- 之间
- 博特
- 机器人
- 半身裙/裤
- 瞻
- 建立
- 建筑物
- 建
- 内建的
- 商业
- 企业
- 但是
- by
- 呼叫
- 呼叫
- CAN
- 能力
- 寻找工作
- 例
- Center
- 中心
- 链
- 挑战
- 挑战
- 更改
- 更改
- 收费
- 聊天机器人
- 聊天机器人
- 钟
- 思科
- 城市
- 程
- 清除
- 客户
- 云端技术
- 云技术
- 码
- 提交
- 公司
- 完成
- 元件
- 会议
- 配置
- 一贯
- 安慰
- 消费
- CONTACT
- 联络中心
- 容器
- 内容
- 内容生成
- 上下文
- 继续
- 谈话
- 听起来像对话
- 会话AI
- 对话
- 角落
- 经济有效
- 创建信息图
- 创建
- 创建
- 电流
- 目前
- 习俗
- 顾客
- 客户服务
- 合作伙伴
- 前沿
- data
- 深
- 深入学习
- 默认
- 交付
- 证明
- 部署
- 部署
- 部署
- 部署
- 描述
- 描述
- 设计师
- 设计
- 详情
- 开发
- 发展
- 研发支持
- 信息通信技术部
- DID
- 直接
- 通过各种方式找到
- do
- 不
- 不会
- 不
- 别
- 向下
- 驾驶
- 驾驶
- 每
- 高效
- 其他
- 就业
- enable
- 使
- 鼓励
- 端点
- 工程师
- 输入
- 整个
- 实体
- 题为
- 环境
- 必要
- 活动
- 事件
- EVER
- 演变
- 例子
- Excel
- 优秀
- 现有
- 期望
- 体验
- 有经验
- 体验
- 专门知识
- 探讨
- 探索
- 扩展
- 外部
- 面部彩妆
- 家庭
- 高效率
- 快节奏
- 终于
- 找到最适合您的地方
- 姓氏:
- 运动健身
- 遵循
- 以下
- 针对
- 申请
- 格式
- 四
- 骨架
- 友好
- 朋友
- 止
- 履行
- 开玩笑
- 功能
- 功能
- 未来
- 获得
- 生成
- 产生
- 发电
- 代
- 生成的
- 生成式人工智能
- 得到
- 全球
- Go
- 事业发展
- 手柄
- 手
- 马具
- 有
- 有
- he
- 重
- 举重
- 帮助
- 有帮助
- 帮助
- 帮助
- 此处
- 高
- 高调
- 近期亮点
- 高度
- 他的
- 历史的
- 历史
- 托管
- 托管
- 创新中心
- How To
- 但是
- HTML
- HTTP
- HTTPS
- 人
- 人力资源
- if
- 实施
- 实施
- 重要性
- in
- 包括
- 包括
- 包含
- 行业
- 行业中的应用:
- 信息
- 同修
- 創新
- 创新
- 输入
- 输入
- 咨询内容
- 例
- 整合
- 集成
- 积分
- 房源搜索
- 意图
- 相互作用
- 相互作用
- 互动
- 交互
- 接口
- 内部
- 成
- 介绍
- 介绍
- 介绍
- 所调用
- IT
- 它的
- 加盟
- JPG
- JSON
- 六月
- 贾斯汀
- 保持
- 键
- 键
- 知道
- 已知
- 语言
- 大
- 后来
- 最新
- 发射
- 领导者
- 信息
- 学习
- 左
- 让
- Level
- 翻新
- 喜欢
- 极限
- 友情链接
- 清单
- 生活
- LLM
- 加载
- 长期
- 看
- 寻找
- LOOKS
- 爱
- 低
- 机
- 机器学习
- 主要
- 主要
- 使
- 管理
- 颠覆性技术
- 经理
- 管理的
- 手动
- 市场
- 大规模
- 匹配
- 匹配
- 可能..
- 机制
- 满足
- Meetup网站
- 内存
- 提到
- 菜单
- 的话
- 条未读消息
- 消息
- 元数据
- 墨西哥
- ML
- 模型
- 模型
- 修改
- 更多
- 电影
- 姓名
- 命名
- 自然
- 自然语言处理
- 导航
- 旅游导航
- 需求
- 打印车票
- 需要
- 网络
- 网络
- 神经网络
- 全新
- 纽约
- 纽约市
- 下页
- NLP
- 没有
- 注意到
- 没什么
- 现在
- 纽约市
- 对象
- 获得
- of
- 折扣
- 最多线路
- 优惠精选
- on
- 正在进行
- 开放源码
- 开放
- 最佳
- or
- 原版的
- 其他名称
- 除此以外
- 我们的
- 输出
- 结果
- 学校以外
- 超过
- 己
- 步伐
- 页
- 面包
- 参数
- 伙伴
- 情
- 多情
- 过去
- 执行
- 施行
- 坚持
- 仍然存在
- 个性化你的
- 关键的
- 计划
- 平台
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 播放
- 播放
- 点
- 热门
- 帖子
- 功率
- 供电
- 在练习上
- 预测
- Prepare
- 先决条件
- 呈现
- 以前
- 先前
- 校长
- 市场问题
- 处理
- 产品
- 产品管理
- 产品经理
- 热销产品
- 所以专业
- 曲目
- 项目
- 项目
- 提供
- 提供
- 提供
- 优
- 出版
- 目的
- 蟒蛇
- 质量保证
- 质量
- 题
- 有疑问吗?
- 快速
- 很快
- 随机性
- 阅读
- 实时的
- 建议
- 地区
- 相应
- 依靠
- 请求
- 要求
- 资源
- 资源
- 响应
- 回复
- 导致
- 成果
- 回报
- 回报
- 右
- 角色
- 推出
- 路线
- 路由
- s
- sagemaker
- 帆船
- 保存
- 说
- 可扩展性
- 鳞片
- SDK
- 部分
- 部分
- 看到
- 选择
- 自
- 前辈
- 序列
- 服务
- 服务
- 特色服务
- 会议
- 招生面试
- 集
- 套数
- 几个
- 她
- 短期的
- 应该
- 如图
- 签署
- 显著
- 简易
- 尺寸
- 尺寸
- 松弛
- 短信
- 软件
- 软件开发
- 方案,
- 解决方案
- 一些
- 来源
- 源代码
- 逍遥丸
- 具体的
- 花费
- 堆
- 堆栈
- 开始
- 开始
- 开始
- 个人陈述
- 步骤
- 停止
- 存储
- 商店
- 存储
- 成功
- 成功
- 顺利
- 这样
- 概要
- 峰会
- 系统
- 任务
- 科技
- 技术专家
- 专业技术
- 展示
- 模板
- test
- 测试
- 测试
- 这
- 其
- 他们
- 那里。
- 博曼
- 第三方
- Free Introduction
- 通过
- 次
- 时控
- 至
- 今天的
- TONE
- 工具
- 最佳
- Topics
- 对于
- 跟踪时
- 熟练
- 引发
- 类型
- 类型
- ui
- 独特
- 大学合作伙伴
- 不像
- 最新动态
- us
- 用法
- 使用
- 用过的
- 用户
- 用户界面
- 使用
- 运用
- 价值观
- 各个
- 通过
- 可见
- 体积
- 想
- 观看
- 方法..
- we
- 卷筒纸
- Web服务
- 井
- ,尤其是
- 而
- WHO
- 妻子
- 也完全不需要
- 工作
- 工作
- 加工
- 世界
- 价值
- 写作
- 纽约
- 完全
- 您一站式解决方案
- 和风网