使用自定义镜头构建架构良好的 IDP 解决方案 – 第 4 部分：性能效率 | 亚马逊网络服务

当客户准备好生产时 智能文档处理 (IDP) 工作负载时，我们经常收到架构完善审核的请求。 要构建企业解决方案，必须平衡开发人员资源、成本、时间和用户体验，以实现所需的业务成果。 这 AWS架构完善的框架 为组织提供了一种系统的方法来学习操作和架构最佳实践，以在云中设计和操作可靠、安全、高效、经济高效且可持续的工作负载。

IDP 架构完善的自定义镜头遵循 AWS 架构完善的框架，以特定 AI 或机器学习 (ML) 用例的粒度审查具有六大支柱的解决方案，并提供应对常见挑战的指导。 IDP 架构完善的定制镜头 架构良好的工具 包含有关每个支柱的问题。 通过回答这些问题，您可以识别潜在风险并按照改进计划解决这些风险。

这篇文章的重点是 绩效效率支柱 IDP 工作量。 我们深入设计和实施解决方案，以优化吞吐量、延迟和整体性能。 我们首先讨论您应该进行架构完善审查的一些常见指标，并介绍具有设计原则的基本方法。 然后我们从技术角度审视每个重点领域。

要阅读这篇文章，您应该熟悉本系列之前的文章（部分1 和 部分2）和指南 AWS 上的智能文档处理指南。 这些资源介绍了适用于 IDP 工作负载的常见 AWS 服务和建议的工作流程。 有了这些知识，您现在就可以了解有关工作负载生产化的更多信息。

常用指标

以下是您应该针对性能效率支柱进行架构完善的框架审查的常见指标：

• 高延迟 – 当光学字符识别 (OCR)、实体识别或端到端工作流程的延迟时间比之前的基准更长时，这可能表明架构设计未涵盖负载测试或错误处理。
• 频繁节流 – 您可能会遇到 AWS 服务的限制，例如 亚马逊Textract 由于请求限制。 这意味着需要通过审查架构工作流程、同步和异步实现、每秒事务数（TPS）计算等来调整架构。
• 调试困难 – 当文档流程出现故障时，您可能没有有效的方法来确定错误在工作流程中的位置、与哪个服务相关以及发生故障的原因。 这意味着系统缺乏对日志和故障的可见性。 考虑重新审视遥测数据的日志记录设计，并向解决方案添加基础设施即代码 (IaC)，例如文档处理管道。

指标	课程描述	架构差距
高延迟	OCR、实体识别或端到端工作流程延迟超过之前的基准	负载测试 错误处理
频繁节流	由于请求限制而受到 Amazon Textract 等 AWS 服务的限制	同步与异步 TPS计算
难以调试	无法了解文档处理失败的位置、原因和原因	测井设计 文档处理管道

设计原则

在这篇文章中，我们讨论三个设计原则：委派复杂的 AI 任务、IaC 架构和无服务器架构。 当您遇到两种实现之间的权衡时，您可以根据组织的业务优先级重新审视设计原则，以便您可以有效地做出决策。

• 委派复杂的人工智能任务 – 通过将 ML 模型开发生命周期转移到托管服务并利用 AWS 提供的模型开发和基础设施，您可以在组织中更快地采用 AI。 您可以使用预先训练的 AI 服务来为您自动执行任务，而不是要求数据科学和 IT 团队构建和维护 AI 模型。 这使您的团队能够专注于使您的业务脱颖而出的更高价值的工作，而云提供商则负责处理训练、部署和扩展 AI 模型的复杂性。
• IaC架构 – 运行 IDP 解决方案时，该解决方案包含多个 AI 服务，用于按时间顺序执行端到端工作流程。 您可以使用工作流管道构建解决方案 AWS步骤功能 增强容错、并行处理、可见性和可扩展性。 这些优势可以帮助您优化底层 AI 服务的使用和成本。
• 无服务器 架构 – IDP 通常是事件驱动的解决方案，由用户上传或计划作业启动。 该解决方案可以通过提高人工智能服务的调用率来横向扩展， AWS Lambda，以及其他涉及的服务。 无服务器方法提供可扩展性，无需过度配置资源，从而避免不必要的开支。 无服务器设计背后的监控有助于检测性能问题。

牢记这三个设计原则，组织可以为云平台上的 AI/ML 采用奠定有效的基础。 通过委派复杂性、实施弹性基础设施和规模设计，组织可以优化其 AI/ML 解决方案。

在以下部分中，我们讨论如何应对技术重点领域的常见挑战。

重点领域

在审查性能效率时，我们从架构设计、数据管理、错误处理、系统监控和模型监控五个重点领域来审查解决方案。 通过这些重点领域，您可以从不同方面进行架构审查，以增强 AI/ML 项目、数据、模型或业务目标三个组成部分的有效性、可观察性和可扩展性。

架构设计

通过解决此重点领域中的问题，您将检查现有工作流程，看看它是否遵循最佳实践。 建议的工作流程提供了组织可以遵循的通用模式，并避免了试错成本。

基于该 提议的架构，工作流程遵循数据捕获、分类、提取、充实、审查和验证以及消费六个阶段。 在我们前面讨论的常见指标中，三分之二来自于架构设计问题。 这是因为，当您使用临时方法启动项目时，在尝试使基础架构与解决方案保持一致时可能会遇到项目限制。 通过架构设计审查，即兴设计可以作为阶段解耦，并且每个阶段都可以重新评估和重新排序。

您可以通过实施来节省时间、金钱和劳动力 分类 在您的工作流程中，文档根据文档类型转到下游应用程序和 API。 这增强了文档流程的可观察性，并使解决方案在添加新文档类型时易于维护。

数据管理

IDP 解决方案的性能包括延迟、吞吐量和端到端用户体验。 如何在解决方案中管理文档及其提取的信息是数据一致性、安全性和隐私性的关键。 此外，该解决方案必须以低延迟和高吞吐量处理高数据量。

在解决此重点领域的问题时，您将回顾文档工作流程。 这包括数据提取、数据预处理、将文档转换为 Amazon Textract 接受的文档类型、处理传入文档流、按类型路由文档以及实施访问控制和保留策略。

例如，通过在不同的处理阶段存储文档，您可以根据需要将处理反转到上一步骤。 数据生命周期确保工作负载的可靠性和合规性。 通过使用 Amazon Textract 服务配额计算器 （请参阅以下屏幕截图）、Amazon Textract、Lambda、Step Functions 上的异步功能、 Amazon Simple Queue服务 （亚马逊 SQS），以及 亚马逊简单通知服务 (Amazon SNS)，组织可以自动化和扩展文档处理任务，以满足特定的工作负载需求。

错误处理

强大的错误处理对于跟踪文档处理状态至关重要，它使运营团队有时间对任何异常行为做出反应，例如意外的文档量、新文档类型或来自第三方服务的其他计划外问题。 从组织的角度来看，正确的错误处理可以提高系统的正常运行时间和性能。

您可以将错误处理分解为两个关键方面：

• AWS服务配置 – 您可以使用指数退避来实现重试逻辑，以处理诸如限制之类的瞬态错误。 当您通过调用异步 Start* 操作开始处理时，例如 开始文档文本检测，您可以指定将请求的完成状态发布到 SNS 主题中 通知通道 配置。 这有助于您避免由于轮询 Get* API 而对 API 调用造成限制。 您还可以在以下位置实施警报 亚马逊CloudWatch 并在发生异常错误峰值时触发警报。
• 错误报告增强 – 这包括按错误类型划分的具有适当详细程度的详细消息以及错误处理响应的描述。 通过正确的错误处理设置，系统可以通过实施常见模式（例如自动重试间歇性错误、使用断路器来处理级联故障以及监视服务以深入了解错误）来提高系统的弹性。 这使得解决方案能够在重试限制之间取得平衡，并防止永无休止的电路循环。

模型监控

监控机器学习模型的性能随时间的推移是否下降。 随着数据和系统条件的变化，系统会跟踪模型性能和效率指标，以确保在需要时执行重新训练。

IDP 工作流中的 ML 模型可以是 OCR 模型、实体识别模型或分类模型。 该模型可以来自 AWS AI 服务，这是一个开源模型 亚马逊SageMaker, 亚马逊基岩或其他第三方服务。 您必须了解每个服务的局限性和用例，以便确定通过人工反馈改进模型并随着时间的推移提高服务性能的方法。

一种常见的方法是使用服务日志来了解不同级别的准确性。 这些日志可以帮助数据科学团队识别和理解模型重新训练的任何需求。 您的组织可以选择再培训机制——可以是季度、月度，也可以基于科学指标，例如当准确性低于给定阈值时。

监控的目标不仅仅是检测问题，而是闭环以不断完善模型并随着外部环境的变化保持 IDP 解决方案的性能。

系统监控

在生产中部署 IDP 解决方案后，监控关键指标和自动化性能以确定需要改进的领域非常重要。 指标应包括业务指标和技术指标。 这使得公司能够评估系统的性能，识别问题，并随着时间的推移对模型、规则和工作流程进行改进，以提高自动化率以了解运营影响。

在业务方面，重要字段的提取准确性、总体自动化率（表示无需人工干预的情况下处理的文档的百分比）以及每个文档的平均处理时间等指标至关重要。 这些业务指标有助于量化最终用户体验和运营效率提升。

从工程角度来看，跟踪整个工作流程中发生的错误和异常率等技术指标至关重要。 技术指标还可以在每个级别进行端到端监控，并提供复杂工作负载的全面视图。 您可以将指标分解为不同级别，例如解决方案级别、端到端工作流程级别、文档类型级别、文档级别、实体识别级别和 OCR 级别。

现在您已经审查了该支柱中的所有问题，您可以评估其他支柱并为 IDP 工作负载制定改进计划。

结论

在这篇文章中，我们讨论了您可能需要对 IDP 工作负载的性能效率支柱进行架构完善的框架审查的常见指标。 然后，我们详细介绍了设计原则，以提供高级概述并讨论解决方案目标。 通过参考 IDP Well-Architected Custom Lens 遵循这些建议并按重点领域审查问题，您现在应该有一个项目改进计划。

---

作者简介

张米娅 是 Amazon Web Services 的 ML 专家解决方案架构师。 她与欧洲、中东和非洲地区的客户合作，并分享了利用她在应用数学、计算机科学和 AI/ML 方面的背景在云上运行 AI/ML 工作负载的最佳实践。 她专注于 NLP 特定的工作负载，并分享了她作为会议发言人和书籍作者的经验。 在空闲时间，她喜欢徒步旅行、棋盘游戏和冲泡咖啡。

布里杰什·帕蒂 是 AWS 的企业解决方案架构师。 他的主要重点是帮助企业客户采用云技术来处理他们的工作负载。 他拥有应用程序开发和企业架构背景，曾与体育、金融、能源和专业服务等各个行业的客户合作。 他的兴趣包括无服务器架构和 AI/ML。

鲁伊·卡多佐 是 Amazon Web Services (AWS) 的合作伙伴解决方案架构师。 他专注于人工智能/机器学习和物联网。 他与 AWS 合作伙伴合作并支持他们在 AWS 中开发解决方案。 工作之余，他喜欢骑自行车、徒步旅行和学习新事物。

蒂姆·康德罗 是 Amazon Web Services (AWS) 的高级人工智能 (AI) 和机器学习 (ML) 专家解决方案架构师。 他的研究重点是自然语言处理和计算机视觉。 Tim 喜欢吸收客户的想法并将其转化为可扩展的解决方案。

丁雪莉 是 Amazon Web Services (AWS) 的高级人工智能 (AI) 和机器学习 (ML) 专家解决方案架构师。 她在机器学习方面拥有丰富的经验，并拥有计算机科学博士学位。 她主要与公共部门客户合作解决各种 AI/ML 相关的业务挑战，帮助他们加快 AWS 云上的机器学习之旅。 当不帮助顾客时，她喜欢户外活动。

王素印 是 AWS 的 AI/ML 专家解决方案架构师。 她拥有机器学习、金融信息服务和经济学的跨学科教育背景，以及构建解决实际业务问题的数据科学和机器学习应用程序的多年经验。 她喜欢帮助客户识别正确的业务问题并构建正确的 AI/ML 解决方案。 业余时间，她喜欢唱歌和烹饪。

• SEO 支持的内容和 PR 分发。 今天得到放大。
• PlatoData.Network 垂直生成人工智能。 赋予自己力量。 访问这里。
• 柏拉图爱流。 Web3 智能。 知识放大。 访问这里。
• 柏拉图ESG。 碳， 清洁科技, 能源， 环境， 太阳能， 废物管理。 访问这里。
• 柏拉图健康。 生物技术和临床试验情报。 访问这里。
• Sumber: https://aws.amazon.com/blogs/machine-learning/build-well-architected-idp-solutions-with-a-custom-lens-part-4-performance-efficiency/