使用检索增强生成和 LangChain 代理简化对内部信息的访问 | 亚马逊网络服务

这篇文章将带您了解客户在搜索内部文档时面临的最常见挑战，并为您提供有关如何使用 AWS 服务创建生成式 AI 对话机器人以使内部信息更有用的具体指导。

非结构化数据占全部数据的80% 在组织内找到，包括手册、PDF、常见问题解答、电子邮件和其他每天都在增长的文档的存储库。 当今的企业依赖于不断增长的内部信息存储库，当非结构化数据量变得难以管理时就会出现问题。 通常，用户发现自己正在阅读和检查许多不同的内部资源以找到他们需要的答案。

内部问答论坛可以帮助用户获得高度具体的答案，但也需要更长的等待时间。 对于公司特定的内部常见问题解答，较长的等待时间会导致员工生产力降低。 问答论坛很难扩展，因为它们依赖于手动编写的答案。 借助生成式人工智能，当前用户搜索和查找信息的方式发生了范式转变。 下一个合乎逻辑的步骤是使用生成式人工智能将大型文档压缩为更小的信息，以便于用户使用。 用户可以根据多个现有的内部信息存储库实时生成摘要，而不是花费很长时间阅读文本或等待答案。

解决方案概述

该解决方案允许客户使用变压器模型生成有关未经训练的数据问题的答案，从而检索有关内部文档的问题的精选答案，这种技术称为零样本提示。 通过采用该解决方案，客户可以获得以下好处：

• 根据现有的内部文件来源找到问题的准确答案
• 通过使用大型语言模型 (LLM)，使用包含最新信息的文档为复杂查询提供近乎即时的答案，从而减少用户搜索答案所花费的时间
• 通过集中式仪表板搜索以前回答过的问题
• 减少因花时间手动阅读信息寻找答案而造成的压力

检索增强生成 (RAG)

检索增强生成 (RAG) 通过从知识库中查找答案并使用 LLM 将文档总结为简洁的响应，减少了基于 LLM 的查询的一些缺点。 请阅读这个 发表 了解如何实施 RAG 方法 亚马逊肯德拉。 以下风险和限制与基于 LLM 的查询相关，采用 Amazon Kendra 的 RAG 方法可以解决这些问题：

• 幻觉和可追溯性——LLMS 在大型数据集上进行训练并生成概率响应。 这可能会导致不准确的答案，这被称为幻觉。
• 多个数据孤岛——为了在响应中引用多个来源的数据，需要建立一个连接器生态系统来聚合数据。 访问多个存储库是手动且耗时的。
• 安全性 – 在部署由 RAG 和 LLM 提供支持的对​​话机器人时，安全和隐私是重要的考虑因素。 尽管使用 亚马逊领悟 为了过滤掉可能通过用户查询提供的个人数据，根据所获取的数据，仍然有可能无意中显示个人或敏感信息。 这意味着控制对聊天机器人的访问对于防止敏感信息的意外访问至关重要。
• 数据相关性——LLMS接受特定日期的数据训练，这意味着信息通常不是最新的。 根据最新数据训练模型的成本很高。 为了确保准确和最新的响应，组织有责任定期更新和丰富索引文档的内容。
• 成本——企业应该考虑与部署此解决方案相关的成本。 企业在实施此解决方案时需要仔细评估其预算和性能要求。 运行法学硕士可能需要大量计算资源，这可能会增加运营成本。 这些成本可能成为需要大规模运行的应用程序的限制。 然而，该方法的好处之一是 AWS云 是只为您使用的部分付费的灵活性。 AWS 提供简单、一致、即用即付的定价模式，因此您只需为您消耗的资源付费。

Amazon SageMaker JumpStart 的使用

对于基于转换器的语言模型，组织可以受益于使用 亚马逊SageMaker JumpStart，提供一系列预构建的机器学习模型。 Amazon SageMaker JumpStart 提供各种可以轻松部署和使用的文本生成和问答 (Q&A) 基础模型。 该解决方案集成了 FLAN T5-XL Amazon SageMaker JumpStart 模型，但在使用时需要记住不同的方面 选择基础模型.

将安全性集成到我们的工作流程中

遵循安全支柱的最佳实践 架构良好的框架, 亚马逊Cognito 用于身份验证。 Amazon Cognito 用户池可以与支持多种用于访问控制的框架的第三方身份提供商集成，包括开放授权 (OAuth)、OpenID Connect (OIDC) 或安全断言标记语言 (SAML)。 识别用户及其操作使解决方案能够保持可追溯性。 该解决方案还使用了 Amazon Comprehend 个人身份信息 (PII) 检测 自动识别和编辑 PII 的功能。 经编辑的 PII 包括地址、社会安全号码、电子邮件地址和其他敏感信息。 此设计可确保用户通过输入查询提供的任何 PII 都经过编辑。 Amazon Kendra 不会存储、使用 PII，也不会将其提供给 LLM。

解决方案演练

以下步骤描述了文档流问答的工作流程：

1. 用户通过 Web 界面发送查询。
2. 亚马逊Cognito 用于身份验证，确保安全访问 Web 应用程序。
3. Web 应用程序前端托管在 AWS放大.
4. Amazon API网关 托管具有各种终端节点的 REST API，以处理使用 Amazon Cognito 进行身份验证的用户请求。
5. PII 编辑 亚马逊领悟:
   • 用户查询处理：当用户提交查询或输入时，它首先通过 Amazon Comprehend 传递。 该服务分析文本并识别查询中存在的任何 PII 实体。
   • PII 提取：Amazon Comprehend 从用户查询中提取检测到的 PII 实体。
6. 相关信息检索 亚马逊肯德拉:
   • Amazon Kendra 用于管理文档索引，其中包含用于生成用户查询答案的信息。
   • 浪链QA检索 模块用于构建一个对话链，其中包含有关用户查询的相关信息。
7. 整合 亚马逊SageMaker JumpStart:
   • AWS Lambda 函数使用 LangChain 库，并通过上下文填充查询连接到 Amazon SageMaker JumpStart 终端节点。 Amazon SageMaker JumpStart 终端节点充当用于推理的 LLM 的接口。
8. 存储响应并将其返回给用户：
   • LLM 的回复存储在 Amazon DynamoDB 连同用户的查询、时间戳、唯一标识符以及该项目的其他任意标识符（例如问题类别）。 将问题和答案存储为离散项目使 AWS Lambda 函数可以根据提出问题的时间轻松重新创建用户的对话历史记录。
   • 最后，响应通过 Amazon API Gateway REST API 集成响应通过 HTTPs 请求发送回用户。

以下步骤描述了 AWS Lambda 函数及其整个过程的流程：

1. 检查并编辑任何 PII/敏感信息
2. LangChain QA检索链
   • 搜索并检索相关信息
3. 上下文填充和即时工程
4. LLM 推理
5. 返回响应并保存

用例

客户可以在许多业务用例中使用此工作流程。 以下部分解释了如何在不同行业和垂直领域使用工作流程。

员工协助

精心设计的企业培训可以提高员工满意度并减少新员工入职所需的时间。 随着组织的发展和复杂性的增加，员工发现很难理解内部文档的许多来源。 这方面的内部文件包括公司指南、政策和标准操作程序。 对于这种情况，员工对如何继续和编辑内部问题工单有疑问。 员工可以访问并使用生成人工智能 (AI) 对话机器人来询问并执行特定工单的后续步骤。

具体用例： 根据公司准则自动为员工解决问题。

以下步骤描述了 AWS Lambda 函数及其整个过程的流程：

1. LangChain代理识别意图
2. 根据员工请求发送通知
3. 修改票证状态

在此架构图中，企业培训视频可以通过 亚马逊转录 收集这些视频脚本的日志。 此外，存储在各种来源（即 Confluence、Microsoft SharePoint、Google Drive、Jira 等）中的企业培训内容可用于通过 Amazon Kendra 连接器创建索引。 阅读本文以了解有关本机集合的更多信息 连接器 您可以在 Amazon Kendra 中用作源点。 然后，Amazon Kendra 爬网程序能够使用存储在这些其他来源中的企业培训视频脚本和文档来帮助对话机器人回答特定于公司企业培训指南的问题。 LangChain 代理验证权限、修改票证状态并使用 Amazon Simple Notification Service (亚马逊SNS).

客户支持团队

快速解决客户疑问可以改善客户体验并提高品牌忠诚度。 忠诚的客户群有助于推动销售，从而提高利润并提高客户参与度。 客户支持团队花费大量精力参考许多内部文档和客户关系管理软件来回答客户有关产品和服务的疑问。 此上下文中的内部文档可以包括通用客户支持呼叫脚本、剧本、升级指南和业务信息。 生成式人工智能对话机器人有助于成本优化，因为它代表客户支持团队处理查询。

具体用例： 根据服务历史记录和购买的客户服务计划处理换油请求。

在此架构图中，客户被路由到生成式 AI 对话机器人或 亚马逊通 联络中心。 此决定可以基于所需的支持级别或客户支持代理的可用性。 LangChain代理识别客户的意图并验证身份。 浪链代理还会检查服务历史记录和购买的支持计划。

以下步骤描述了 AWS Lambda 函数及其整个过程的流程：

1. LangChain代理识别意图
2. 检索客户信息
3. 查看客户服务历史记录和保修信息
4. 预约、提供更多信息或前往联络中心的路线
5. 发送电子邮件确认

Amazon Connect 用于收集语音和聊天日志，Amazon Comprehend 用于从这些日志中删除个人身份信息 (PII)。 然后，Amazon Kendra 爬网程序能够使用经过编辑的语音和聊天日志、客户呼叫脚本和客户服务支持计划策略来创建索引。 一旦做出决定，生成式人工智能对话机器人就会决定是否预约、提供更多信息或将客户路由至联络中心以获得进一步帮助。 为了优化成本，LangChain 代理还可以使用更少的代币和更便宜的大型语言模型来生成答案，以应对优先级较低的客户查询。

银行和金融服务

金融服务公司依靠及时使用信息来保持竞争力并遵守金融法规。 使用生成式人工智能对话机器人，财务分析师和顾问可以以对话方式与文本信息进行交互，并减少做出更明智决策所需的时间和精力。 除了投资和市场研究之外，生成式人工智能对话机器人还可以通过处理传统上需要更多人力和时间的任务来增强人类能力。 例如，专门从事个人贷款的金融机构可以提高贷款处理速度，同时为客户提供更好的透明度。

具体用例： 使用客户的财务历史记录和以前的贷款申请来决定和解释贷款决定。

以下步骤描述了 AWS Lambda 函数及其整个过程的流程：

1. LangChain代理识别意图
2. 检查客户的财务和信用评分历史记录
3. 检查内部客户关系管理系统
4. 检查标准贷款政策并为符合贷款资格的员工提出决定
5. 向客户发送通知

该架构结合了存储在数据库中的客户财务数据和存储在客户关系管理（CRM）工具中的数据。 这些数据点用于根据公司内部贷款政策做出决策。 客户可以提出澄清问题，以了解他们有资格获得哪些贷款以及他们可以接受的贷款条款。 如果生成式人工智能对话机器人无法批准贷款申请，用户仍然可以询问有关提高信用评分或替代融资选择的问题。

政府

生成式人工智能对话机器人可以通过加快沟通、提高效率和决策过程，为政府机构带来巨大好处。 生成式人工智能对话机器人还可以提供对内部知识库的即时访问，帮助政府雇员快速检索信息、政策和程序（即资格标准、申请流程以及公民的服务和支持）。 一种解决方案是交互式系统，它允许纳税人和税务专业人员轻松找到与税务相关的详细信息和福利。 它可用于理解用户问题、总结税务文件并通过交互式对话提供清晰的答案。

用户可以提出以下问题：

• 遗产税如何运作以及税收起征点是多少？
• 您能解释一下所得税的概念吗？
• 出售第二处房产时会产生哪些税务影响？

此外，用户可以方便地向系统提交纳税表格，这有助于验证所提供信息的正确性。

该架构说明了用户如何将填好的税务表格上传到解决方案，并利用它进行交互式验证并指导如何准确填写必要的信息。

健康防护

医疗保健企业有机会自动使用大量内部患者信息，同时解决有关治疗选择、保险索赔、临床试验和药物研究等用例的常见问题。 使用生成式人工智能对话机器人可以从提供的知识库快速准确地生成有关健康信息的答案。 例如，一些医疗保健专业人员花费大量时间填写表格来提交保险索赔。

在类似的情况下，临床试验管理者和研究人员需要查找有关治疗方案的信息。 生成式 AI 对话机器人可以使用 Amazon Kendra 中的预构建连接器，从制药公司和大学正在进行的研究发布的数百万份文档中检索最相关的信息。

具体用例： 减少填写和发送保险表格所需的错误和时间。

在此架构图中，医疗保健专业人员能够使用生成式 AI 对话机器人来确定需要填写哪些保险表格。 然后，LangChain 代理能够检索正确的表格并添加患者所需的信息，并根据保险单和以前的表格对表格的描述性部分做出响应。 医疗保健专业人员可以在批准并将表格发送到保险门户之前编辑法学硕士给出的答复。

以下步骤描述了 AWS Lambda 函数及其整个过程的流程：

1. LangChain代理识别意图
2. 检索所需的患者信息
3. 根据患者信息和表格指南填写保险表格
4. 用户批准后将表格提交至保险门户

AWS 健康湖 用于安全存储健康数据，包括以前的保险表格和患者信息，Amazon Comprehend 用于从以前的保险表格中删除个人身份信息 (PII)。 然后，Amazon Kendra 爬网程序就能够使用这组保险表格和指南来创建索引。 一旦生成人工智能填写了表格，医疗专业人员审阅的表格就可以发送到保险门户。

费用估算

下表显示了部署基本解决方案作为概念验证的成本。 由于基本解决方案被视为概念验证，因此 Amazon Kendra 开发人员版被用作低成本选项，因为工作负载不会投入生产。 我们对 Amazon Kendra Developer Edition 的假设是当月 730 个活跃小时。

对于 Amazon SageMaker，我们假设客户将使用 ml.g4dn.2xlarge 实例进行实时推理，每个实例有一个推理终端节点。 您可以找到有关 Amazon SageMaker 定价和可用推理实例类型的更多信息 相关信息.

服务	资源消耗	每月成本估算（美元）
AWS放大	150 构建分钟 提供 1 GB 数据 500,000个请求	15.71
Amazon API网关	1 万次 REST API 调用	3.5
AWS Lambda	1 万个请求 每个请求持续 5 秒 已分配 2 GB 内存	160.23
Amazon DynamoDB	1 亿次读取 1 万次写入 100 GB存储空间	26.38
亚马逊 Sagemaker	使用 ml.g4dn.2xlarge 进行实时推理	676.8
亚马逊肯德拉	开发者版，每月 730 小时 已扫描 10,000 份文档 5,000 次查询/天	821.25
.	.	总成本：1703.87

* Amazon Cognito 的免费套餐为使用 Cognito 用户池的 50,000 名每月活跃用户或使用 SAML 50 身份提供商的 2.0 名每月活跃用户

清理

为了节省成本，请删除您在教程中部署的所有资源。 您可以删除通过 SageMaker 控制台创建的任何 SageMaker 终端节点。 请记住，删除 Amazon Kendra 索引不会从存储中删除原始文档。

结论

在这篇文章中，我们向您展示了如何通过实时汇总多个存储库来简化对内部信息的访问。 在最近商业化法学硕士的发展之后，生成式人工智能的可能性变得更加明显。 在这篇文章中，我们展示了使用 AWS 服务创建无服务器聊天机器人的方法，该聊天机器人使用生成式 AI 来回答问题。 此方法结合了身份验证层和 Amazon Comprehend 的 PII 检测，以过滤掉用户查询中提供的任何敏感信息。 无论是医疗保健领域的个人了解提交保险索赔的细微差别，还是人力资源部门了解公司范围内的特定法规，多个行业和垂直领域都可以从这种方法中受益。 Amazon SageMaker JumpStart 基础模型是聊天机器人背后的引擎，而使用 RAG 技术的上下文填充方法用于确保响应更准确地引用内部文档。

要了解有关在 AWS 上使用生成式 AI 的更多信息，请参阅 宣布推出用于在 AWS 上使用生成式 AI 进行构建的新工具。 有关将 RAG 技术与 AWS 服务结合使用的更深入指南，请参阅 使用 Amazon Kendra、LangChain 和大型语言模型在企业数据上快速构建高精度的生成式 AI 应用程序。 由于本博客中的方法与 LLM 无关，因此任何 LLM 都可以用于推理。 在下一篇文章中，我们将概述使用 Amazon Bedrock 和 Amazon Titan LLM 实施此解决方案的方法。

---

作者简介

阿布舍克·马里格哈利·希瓦林盖亚 是 AWS 的高级 AI 服务解决方案架构师。 他热衷于使用生成式 AI、Amazon Kendra 和 NLP 构建应用程序。 他在构建数据和人工智能解决方案为客户和企业创造价值方面拥有约 10 年的经验。 他甚至为了好玩而建立了一个（个人）聊天机器人来回答有关他的职业和职业旅程的问题。 工作之余，他喜欢为家人和朋友拍摄肖像，并喜欢创作艺术品。

梅达·艾亚 是位于德克萨斯州奥斯汀的 AWS 的副解决方案架构师。 她最近于 2022 年 XNUMX 月从德克萨斯大学达拉斯分校毕业，获得了计算机科学理学硕士学位，专业方向为人工智能/机器学习智能系统。 她有兴趣了解有关 AI/ML 的更多信息，并利用 AWS 服务来发现客户可以从中受益的解决方案。

谢雨果 是位于华盛顿州西雅图的 AWS 的副解决方案架构师。 他拥有亚利桑那州立大学信息技术硕士学位和芝加哥大学经济学学士学位。 他是信息系统审计与控制协会 (ISACA) 和国际信息系统安全认证联盟 (ISC)2 的成员。 他喜欢帮助客户从技术中受益。

艾曼·伊希姆威 是位于华盛顿州西雅图的 AWS 的副解决方案架构师。 他拥有奥克兰大学软件工程和 IT 硕士学位。 他拥有软件开发经验，特别是为分布式 Web 应用程序构建微服务。 他热衷于帮助客户遵循最佳实践在 AWS 云服务上构建强大且可扩展的解决方案。

谢尔文·苏雷什 是位于德克萨斯州奥斯汀的 AWS 的副解决方案架构师。 他毕业于圣何塞州立大学，获得软件工程硕士学位（主修云计算和虚拟化）以及计算机工程学士学位。 他热衷于利用技术来帮助改善来自不同背景的人们的生活。

• SEO 支持的内容和 PR 分发。 今天得到放大。
• PlatoData.Network 垂直生成人工智能。 赋予自己力量。 访问这里。
• 柏拉图爱流。 Web3 智能。 知识放大。 访问这里。
• 柏拉图ESG。 汽车/电动汽车， 碳， 清洁科技, 能源， 环境， 太阳能， 废物管理。 访问这里。
• 柏拉图健康。 生物技术和临床试验情报。 访问这里。
• 图表Prime。 使用 ChartPrime 提升您的交易游戏。 访问这里。
• 块偏移量。 现代化环境抵消所有权。 访问这里。
• Sumber: https://aws.amazon.com/blogs/machine-learning/simplify-access-to-internal-information-using-retrieval-augmented-generation-and-langchain-agents/