利用生成式 AI 增强 AWS 智能文档处理 | 亚马逊网络服务

对于处理大量文档的组织来说，数据分类、提取和分析可能具有挑战性。 传统的文档处理解决方案是手动的、昂贵的、容易出错且难以扩展。 AWS 智能文档处理 (IDP)，具有 AI 服务，例如 亚马逊Textract，让您能够利用行业领先的机器学习 (ML) 技术来快速、准确地处理任何扫描文档或图像中的数据。 生成式人工智能（generative AI）与 Amazon Textract 相辅相成，进一步实现文档处理工作流程的自动化。 标准化关键字段和汇总输入数据等功能支持更快的文档处理工作流程管理周期，同时减少出现错误的可能性。

生成式人工智能由称为基础模型 (FM) 的大型机器学习模型驱动。 FM 正在改变您解决传统复杂文档处理工作负载的方式。 除了现有功能之外，企业还需要汇总特定类别的信息，包括财务报告和银行对账单等文档中的借方和贷方数据。 FM 可以更轻松地从提取的数据中生成此类见解。 为了优化人工审核所花费的时间并提高员工的工作效率，可以以自动方式标记电话号码中缺少数字、缺少文档或没有街道号码的地址等错误。 在当前场景中，您需要投入资源，使用人工审核和复杂的脚本来完成此类任务。 这种方法既繁琐又昂贵。 FM 可以帮助使用更少的资源更快地完成这些任务，并将不同的输入格式转换为可以进一步处理的标准模板。 在 AWS，我们提供以下服务： 亚马逊基岩，使用 FM 构建和扩展生成式 AI 应用程序的最简单方法。 Amazon Bedrock 是一项完全托管的服务，可通过 API 提供来自领先 AI 初创公司和 Amazon 的 FM，因此您可以找到最适合您要求的模型。 我们还提供 亚马逊SageMaker JumpStart，这使得 ML 从业者可以从多种开源 FM 中进行选择。 ML从业者可以将FM部署到专用的 亚马逊SageMaker 来自网络隔离环境的实例，并使用 SageMaker 自定义模型进行模型训练和部署。

理光 提供工作场所解决方案和数字化转型服务，旨在帮助客户管理和优化整个企业的信息流。 产品组合解决方案开发副总裁 Ashok Shenoy 表示：“我们正在将生成式 AI 添加到我们的 IDP 解决方案中，以帮助我们的客户利用问答、摘要和标准化输出等新功能更快、更准确地完成工作。 AWS 使我们能够利用生成式人工智能，同时保持每个客户的数据独立且安全。”

在这篇文章中，我们分享如何利用生成式 AI 增强 AWS 上的 IDP 解决方案。

改善 IDP 渠道

在本节中，我们将回顾如何通过 FM 增强传统 IDP 管道，并演练结合使用 Amazon Textract 和 FM 的示例用例。

AWS IDP 由三个阶段组成：分类、提取和丰富。 有关每个阶段的更多详细信息，请参阅 使用 AWS AI 服务进行智能文档处理：第 1 部分 和 部分2。 在分类阶段，FM 现在可以对文档进行分类，而无需任何额外的训练。 这意味着即使模型以前没有见过类似的示例，也可以对文档进行分类。 FM 在提取阶段标准化日期字段并验证地址和电话号码，同时确保格式一致。 丰富阶段的 FM 允许推理、逻辑推理和总结。 当您在每个 IDP 阶段使用 FM 时，您的工作流程将更加简化，性能也会提高。 下图说明了具有生成式 AI 的 IDP 管道。

IDP 管道的提取阶段

当 FM 无法直接处理原始格式的文档（例如 PDF、img、jpeg 和 tiff）作为输入时，需要一种将文档转换为文本的机制。 要在将文档发送到 FM 之前提取文档中的文本，您可以使用 Amazon Textract。 借助 Amazon Textract，您可以提取行和单词并将其传递给下游 FM。 以下架构使用 Amazon Textract 从任何类型的文档中准确提取文本，然后将其发送到 FM 进行进一步处理。

通常，文档由结构化和半结构化信息组成。 Amazon Textract 可用于从表和表单中提取原始文本和数据。 表和表单中的数据之间的关系在自动化业务流程中起着至关重要的作用。 FM 可能无法处理某些类型的信息。 因此，我们可以选择将此信息存储在下游存储中或将其发送到 FM。 下图是 Amazon Textract 如何从文档中提取结构化和半结构化信息以及需要 FM 处理的文本行的示例。

使用AWS无服务器服务与FM进行汇总

我们之前介绍的 IDP 管道可以使用 AWS 无服务器服务无缝自动化。 高度非结构化的文档在大型企业中很常见。 这些文件可以涵盖银行业的证券交易委员会 (SEC) 文件到健康保险业的承保文件。 随着 AWS 生成式 AI 的发展，这些行业的人们正在寻找以自动化且经济高效的方式从这些文档中获取摘要的方法。 无服务器服务有助于提供快速构建 IDP 解决方案的机制。 服务如 AWS Lambda, AWS步骤功能及 亚马逊EventBridge 可以通过集成 FM 来帮助构建文档处理管道，如下图所示。

样品申请 前面的架构中使用的是 由事件驱动。 一个 活动 被定义为最近发生的状态变化。 例如，当一个对象上传到 亚马逊简单存储服务 (Amazon S3) 存储桶，Amazon S3 发出对象创建事件。 来自 Amazon S3 的此事件通知可以触发 Lambda 函数或 Step Functions 工作流程。 这种类型的架构被称为 事件驱动架构。 在这篇文章中，我们的示例应用程序使用事件驱动的架构来处理示例医疗出院文档并总结该文档的详细信息。 该流程的工作原理如下：

1. 当文档上传到 S3 存储桶时，Amazon S3 会触发对象创建事件。
2. EventBridge 默认事件总线根据 EventBridge 规则将事件传播到 Step Functions。
3. 状态机工作流程从 Amazon Textract 开始处理文档。
4. Lambda 函数转换分析后的数据以供下一步使用。
5. 状态机 所调用 a SageMaker端点，它使用直接 AWS SDK 集成托管 FM。
6. 摘要 S3 目标存储桶接收从 FM 收集的摘要响应。

我们使用示例应用程序 flan-t5 抱脸模型 使用 Step Functions 工作流程总结以下示例患者出院摘要。

Step Functions 工作流程使用 AWS SDK 集成 调用 Amazon Textract 分析文件 和 SageMaker 运行时 调用端点 API，如下图所示。

此工作流会生成一个存储在目标存储桶中的摘要 JSON 对象。 JSON 对象如下所示：

{ "summary": [ "John Doe is a 35-year old male who has been experiencing stomach problems for two months. He has been taking antibiotics for the last two weeks, but has not been able to eat much. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has also noticed a change in his stool color, which is now darker. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of fatigue, and has been unable to work for the last two weeks. He has also been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help." ], "forms": [ { "key": "Ph: ", "value": "(888)-(999)-(0000) " }, { "key": "Fax: ", "value": "(888)-(999)-(1111) " }, { "key": "Patient Name: ", "value": "John Doe " }, { "key": "Patient ID: ", "value": "NARH-36640 " }, { "key": "Gender: ", "value": "Male " }, { "key": "Attending Physician: ", "value": "Mateo Jackson, PhD " }, { "key": "Admit Date: ", "value": "07-Sep-2020 " }, { "key": "Discharge Date: ", "value": "08-Sep-2020 " }, { "key": "Discharge Disposition: ", "value": "Home with Support Services " }, { "key": "Pre-existing / Developed Conditions Impacting Hospital Stay: ", "value": "35 yo M c/o stomach problems since 2 months. Patient reports epigastric abdominal pain non- radiating. Pain is described as gnawing and burning, intermittent lasting 1-2 hours, and gotten progressively worse. Antacids used to alleviate pain but not anymore; nothing exacerbates pain. Pain unrelated to daytime or to meals. Patient denies constipation or diarrhea. Patient denies blood in stool but have noticed them darker. Patient also reports nausea. Denies recent illness or fever. He also reports fatigue for 2 weeks and bloating after eating. ROS: Negative except for above findings Meds: Motrin once/week. Tums previously. PMHx: Back pain and muscle spasms. No Hx of surgery. NKDA. FHx: Uncle has a bleeding ulcer. Social Hx: Smokes since 15 yo, 1/2-1 PPD. No recent EtOH use. Denies illicit drug use. Works on high elevation construction. Fast food diet. Exercises 3-4 times/week but stopped 2 weeks ago. " }, { "key": "Summary: ", "value": "some activity restrictions suggested, full course of antibiotics, check back with physican in case of relapse, strict diet " } ] }

使用 IDP 和大规模无服务器实施生成这些摘要有助于组织以经济高效的方式获得有意义、简洁且可呈现的数据。 Step Functions 并不将处理文档的方法限制为一次处理一个文档。 它是 分布式地图 功能可以按计划汇总大量文档。

样品申请 使用 flan-t5 抱脸模型; 但是，您可以使用您选择的 FM 端点。 训练和运行模型超出了示例应用程序的范围。 按照 GitHub 存储库中的说明部署示例应用程序。 上述架构指导您如何使用 Step Functions 编排 IDP 工作流程。 请参阅 IDP 生成式人工智能研讨会 有关如何使用 AWS AI 服务和 FM 构建应用程序的详细说明。

设置解决方案

请按照 读我 文件来设置解决方案架构（SageMaker 端点除外）。 当您拥有自己的 SageMaker 端点后，您可以将端点名称作为参数传递给模板。

清理

为了节省成本，请删除您在教程中部署的资源：

1. 按照清理部分中的步骤进行操作 读我 文件中。
2. 从 S3 存储桶中删除所有内容，然后通过 Amazon S3 控制台删除该存储桶。
3. 删除您可能通过 SageMaker 控制台创建的任何 SageMaker 终端节点。

结论

生成式 AI 正在改变您使用 IDP 处理文档以获取见解的方式。 AWS AI 服务（例如 Amazon Textract 和 AWS FM）可以帮助准确处理任何类型的文档。 有关在 AWS 上使用生成式 AI 的更多信息，请参阅 宣布推出用于在 AWS 上使用生成式 AI 进行构建的新工具.

---

作者简介

索纳利萨胡 与 AWS 的 AI/ML 服务团队一起领导智能文档处理。 她是一位作家、思想领袖和充满热情的技术专家。 她的核心关注领域是人工智能和机器学习，她经常在世界各地的人工智能和机器学习会议和聚会上发表演讲。 她在技术和技术行业拥有广泛而深入的经验，在医疗保健、金融部门和保险领域拥有行业专业知识。

阿什什·拉尔 是一名高级产品营销经理，负责领导 AWS 的 AI 服务产品营销。 他拥有 9 年的营销经验，领导了智能文档处理的产品营销工作。 他在华盛顿大学获得工商管理硕士学位。

姆鲁纳尔·达夫塔里 是 Amazon Web Services 的企业高级解决方案架构师。 他居住在马萨诸塞州波士顿。 他是一名云爱好者，非常热衷于为客户寻找简单且能够解决其业务成果的解决方案。 他喜欢使用云技术，提供简单、可扩展的解决方案来推动积极的业务成果、云采用策略，并设计创新的解决方案并推动卓越运营。

迪拉杰·马哈帕特罗 是 AWS 的首席无服务器专家解决方案架构师。 他专门帮助企业金融服务采用无服务器和事件驱动的架构来实现应用程序现代化并加快创新步伐。 最近，他一直致力于为金融服务行业客户使容器工作负载和生成式 AI 的实际使用更接近无服务器和 EDA。

雅各布·豪斯肯斯 是一位首席人工智能专家，拥有超过 15 年的战略业务开发和合作经验。 在过去 7 年里，他领导了人工智能驱动的新 B2B 服务的上市策略的制定和实施。 最近，他一直在通过将生成式人工智能添加到智能文档处理工作流程中来帮助 ISV 增加收入。

• SEO 支持的内容和 PR 分发。 今天得到放大。
• PlatoData.Network 垂直生成人工智能。 赋予自己力量。 访问这里。
• 柏拉图爱流。 Web3 智能。 知识放大。 访问这里。
• 柏拉图ESG。 汽车/电动汽车， 碳， 清洁科技, 能源， 环境， 太阳能， 废物管理。 访问这里。
• 块偏移量。 现代化环境抵消所有权。 访问这里。
• Sumber: https://aws.amazon.com/blogs/machine-learning/enhancing-aws-intelligent-document-processing-with-generative-ai/