맞춤형 렌즈를 사용하여 잘 설계된 IDP 솔루션 구축 - 4부: 성능 효율성 | 아마존 웹 서비스

고객이 생산 준비가 된 경우 지능형 문서 처리 (IDP) 워크로드 때문에 Well-Architected 검토 요청을 자주 받습니다. 엔터프라이즈 솔루션을 구축하려면 원하는 비즈니스 결과를 달성할 수 있도록 개발자 리소스, 비용, 시간 및 사용자 경험의 균형을 맞춰야 합니다. 그만큼 AWS Well-Architected 프레임 워크 조직이 클라우드에서 안정적이고 안전하며 효율적이고 비용 효율적이며 지속 가능한 워크로드를 설계하고 운영하기 위한 운영 및 아키텍처 모범 사례를 배울 수 있는 체계적인 방법을 제공합니다.

IDP Well-Architected Custom Lens는 AWS Well-Architected 프레임워크를 따르며, 특정 AI 또는 기계 학습(ML) 사용 사례를 세분화하여 XNUMX개 핵심 요소로 솔루션을 검토하고 일반적인 문제를 해결하기 위한 지침을 제공합니다. IDP Well-Architected 맞춤형 렌즈는 잘 설계된 도구 각 기둥에 관한 질문을 담고 있습니다. 이러한 질문에 답하면 잠재적인 위험을 식별하고 개선 계획에 따라 해결할 수 있습니다.

이번 포스팅은 다음에 중점을 두고 있습니다. 성능 효율성 기둥 IDP 워크로드의 우리는 처리량, 대기 시간 및 전반적인 성능을 최적화하기 위해 솔루션을 설계하고 구현하는 데 깊이 관여합니다. 먼저 Well-Architected 검토를 수행해야 한다는 몇 가지 일반적인 지표에 대해 논의하고 디자인 원칙을 포함한 기본 접근 방식을 소개합니다. 그런 다음 기술적인 관점에서 각 중점 영역을 살펴보겠습니다.

이 게시물을 따라가려면 이 시리즈의 이전 게시물(파트 1 및 파트 2) 및 지침 AWS의 지능형 문서 처리에 대한 지침. 이러한 리소스에서는 IDP 워크로드 및 제안된 워크플로를 위한 일반적인 AWS 서비스를 소개합니다. 이러한 지식을 바탕으로 이제 워크로드 프로덕션화에 대해 자세히 알아볼 준비가 되었습니다.

공통 지표

다음은 성능 효율성 원칙에 대해 Well-Architected 프레임워크 검토를 수행해야 한다는 일반적인 지표입니다.

• 높은 대기 시간 – OCR(광학 문자 인식), 엔터티 인식 또는 엔드투엔드 워크플로의 대기 시간이 이전 벤치마크보다 오래 걸리는 경우 이는 아키텍처 설계에 로드 테스트 또는 오류 처리가 포함되지 않는다는 의미일 수 있습니다.
• 잦은 제한 – 다음과 같은 AWS 서비스로 인해 조절이 발생할 수 있습니다. 아마존 텍사스 요청 제한으로 인해. 이는 아키텍처 워크플로, 동기 및 비동기 구현, TPS(초당 트랜잭션) 계산 등을 검토하여 아키텍처를 조정해야 함을 의미합니다.
• 디버깅의 어려움 – 문서 프로세스에 오류가 있는 경우 워크플로에서 오류가 있는 위치, 오류와 관련된 서비스, 오류가 발생한 이유를 효과적으로 식별할 수 있는 방법이 없을 수 있습니다. 이는 시스템에서 로그 및 오류에 대한 가시성이 부족하다는 것을 의미합니다. 원격 분석 데이터의 로깅 설계를 다시 검토하고 문서 처리 파이프라인과 같은 코드형 인프라(IaC)를 솔루션에 추가하는 것을 고려하세요.

디자인 원칙

이 게시물에서는 복잡한 AI 작업 위임, IaC 아키텍처 및 서버리스 아키텍처라는 세 가지 설계 원칙에 대해 논의합니다. 두 가지 구현 사이에 균형이 필요한 경우 조직의 비즈니스 우선순위에 맞춰 디자인 원칙을 다시 검토하여 효과적으로 결정을 내릴 수 있습니다.

• 복잡한 AI 작업 위임 – ML 모델 개발 수명 주기를 관리형 서비스로 오프로드하고 AWS에서 제공하는 모델 개발 및 인프라를 활용하여 조직에서 더 빠르게 AI를 도입할 수 있습니다. 데이터 과학 및 IT 팀에 AI 모델을 구축하고 유지 관리하도록 요구하는 대신 작업을 자동화할 수 있는 사전 훈련된 AI 서비스를 사용할 수 있습니다. 이를 통해 팀은 비즈니스를 차별화하는 더 높은 가치의 작업에 집중할 수 있으며 클라우드 공급자는 AI 모델 교육, 배포 및 확장의 복잡성을 처리할 수 있습니다.
• IaC 아키텍처 – IDP 솔루션을 실행할 때 솔루션에는 엔드투엔드 워크플로를 시간순으로 수행하는 여러 AI 서비스가 포함됩니다. 다음을 사용하여 워크플로 파이프라인으로 솔루션을 설계할 수 있습니다. AWS 단계 함수 내결함성, 병렬 처리, 가시성 및 확장성을 향상시킵니다. 이러한 이점을 통해 기본 AI 서비스의 사용량과 비용을 최적화할 수 있습니다.
• 서버리스 아키텍처 – IDP는 사용자 업로드 또는 예약된 작업에 의해 시작되는 이벤트 중심 솔루션인 경우가 많습니다. AI 서비스의 호출률을 높여 솔루션을 수평적으로 확장할 수 있으며, AWS 람다및 기타 관련 서비스가 포함됩니다. 서버리스 접근 방식은 리소스를 과도하게 프로비저닝하지 않고 확장성을 제공하여 불필요한 비용을 방지합니다. 서버리스 설계 이면의 모니터링은 성능 문제를 감지하는 데 도움이 됩니다.

그림 1. 디자인 원칙을 적용할 때의 이점

조직은 이러한 세 가지 설계 원칙을 염두에 두고 클라우드 플랫폼에서 AI/ML 도입을 위한 효과적인 기반을 구축할 수 있습니다. 복잡성을 위임하고 탄력적인 인프라를 구현하며 규모에 맞게 설계함으로써 조직은 AI/ML 솔루션을 최적화할 수 있습니다.

다음 섹션에서는 기술 중점 영역과 관련된 일반적인 문제를 해결하는 방법에 대해 논의합니다.

초점 영역

성능 효율성을 검토할 때 아키텍처 설계, 데이터 관리, 오류 처리, 시스템 모니터링, 모델 모니터링이라는 XNUMX가지 중점 영역에서 솔루션을 검토합니다. 이러한 중점 영역을 통해 다양한 측면에서 아키텍처 검토를 수행하여 AI/ML 프로젝트, 데이터, 모델 또는 비즈니스 목표의 세 가지 구성 요소의 효율성, 관찰 가능성 및 확장성을 향상할 수 있습니다.

건축 설계

이 중점 영역의 질문을 검토함으로써 기존 워크플로를 검토하여 모범 사례를 따르는지 확인하게 됩니다. 제안된 워크플로는 조직이 따를 수 있는 공통 패턴을 제공하고 시행착오 비용을 방지합니다.

에 기초 제안된 아키텍처에서 워크플로우는 데이터 캡처, 분류, 추출, 강화, 검토 및 검증, 소비의 XNUMX단계를 따릅니다. 앞서 논의한 공통 지표에서 XNUMX개 중 XNUMX개는 아키텍처 설계 문제에서 비롯됩니다. 즉흥적인 접근 방식으로 프로젝트를 시작할 때 인프라를 솔루션에 맞추려고 할 때 프로젝트 제한 사항에 직면할 수 있기 때문입니다. 아키텍처 설계 검토를 통해 임시 설계를 단계로 분리하고 각 단계를 재평가하고 재정렬할 수 있습니다.

구현함으로써 시간, 비용, 노동력을 절약할 수 있습니다. 분류 워크플로에서 문서는 문서 유형에 따라 다운스트림 애플리케이션 및 API로 이동됩니다. 이를 통해 문서 프로세스의 관찰 가능성이 향상되고 새 문서 유형을 추가할 때 솔루션을 쉽게 유지 관리할 수 있습니다.

데이터 관리

IDP 솔루션의 성능에는 대기 시간, 처리량, 엔드투엔드 사용자 경험이 포함됩니다. 솔루션에서 문서와 추출된 정보를 어떻게 관리하느냐가 데이터 일관성, 보안, 개인정보 보호의 핵심입니다. 또한 솔루션은 짧은 대기 시간과 높은 처리량으로 높은 데이터 볼륨을 처리해야 합니다.

이 중점 영역의 질문을 검토하면서 문서 작업 흐름을 검토하게 됩니다. 여기에는 데이터 수집, 데이터 사전 처리, 문서를 Amazon Textract에서 허용하는 문서 유형으로 변환, 수신 문서 스트림 처리, 유형별 문서 라우팅, 액세스 제어 및 보존 정책 구현이 포함됩니다.

예를 들어 문서를 다양한 처리 단계에 저장하여 필요한 경우 이전 단계로 처리를 되돌릴 수 있습니다. 데이터 수명주기는 워크로드의 안정성과 규정 준수를 보장합니다. 을 사용하여 Amazon Textract 서비스 할당량 계산기 (다음 스크린샷 참조), Amazon Textract, Lambda, Step Functions의 비동기 기능, 아마존 단순 대기열 서비스 (아마존 SQS), 아마존 단순 알림 서비스 (Amazon SNS)을 통해 조직은 특정 워크로드 요구 사항에 맞게 문서 처리 작업을 자동화하고 확장할 수 있습니다.

그림 2. Amazon Textract 서비스 할당량 계산기.

오류 처리

강력한 오류 처리는 문서 프로세스 상태를 추적하는 데 매우 중요하며, 이는 운영 팀이 예상치 못한 문서 볼륨, 새로운 문서 유형 또는 타사 서비스의 기타 계획되지 않은 문제와 같은 비정상적인 동작에 대응할 수 있는 시간을 제공합니다. 조직의 관점에서 볼 때 적절한 오류 처리는 시스템 가동 시간과 성능을 향상시킬 수 있습니다.

오류 처리를 두 가지 주요 측면으로 나눌 수 있습니다.

• AWS 서비스 구성 – 지수 백오프로 재시도 논리를 구현하여 제한과 같은 일시적인 오류를 처리할 수 있습니다. 다음과 같은 비동기 Start* 작업을 호출하여 처리를 시작할 때 문서 텍스트 감지 시작, 요청의 완료 상태가 SNS 주제에 게시되도록 지정할 수 있습니다. 알림채널 구성. 이렇게 하면 Get* API 폴링으로 인한 API 호출 제한 제한을 방지할 수 있습니다. 다음에서 알람을 구현할 수도 있습니다. 아마존 클라우드 워치 비정상적인 오류 급증이 발생할 때 경고를 트리거합니다.
• 오류 보고서 개선 – 여기에는 오류 유형별 적절한 세부 수준과 오류 처리 응답에 대한 설명이 포함된 자세한 메시지가 포함됩니다. 적절한 오류 처리 설정을 사용하면 간헐적 오류 자동 재시도, 회로 차단기를 사용하여 계단식 오류 처리, 서비스 모니터링을 통해 오류에 대한 통찰력 확보 등의 일반적인 패턴을 구현하여 시스템의 탄력성을 높일 수 있습니다. 이를 통해 솔루션은 재시도 제한 간의 균형을 맞추고 끝없는 회로 루프를 방지할 수 있습니다.

모델 모니터링

ML 모델의 성능은 시간 경과에 따른 성능 저하를 모니터링합니다. 데이터 및 시스템 조건이 변경되면 필요할 때 재교육이 수행되도록 모델 성능 및 효율성 지표를 추적합니다.

IDP 워크플로의 ML 모델은 OCR 모델, 엔터티 인식 모델 또는 분류 모델일 수 있습니다. 모델은 오픈 소스 모델인 AWS AI 서비스에서 가져올 수 있습니다. 아마존 세이지 메이커, 아마존 기반암, 또는 기타 타사 서비스. 사람의 피드백을 통해 모델을 개선하고 시간이 지남에 따라 서비스 성능을 향상시키는 방법을 식별하려면 각 서비스의 제한 사항과 사용 사례를 이해해야 합니다.

일반적인 접근 방식은 서비스 로그를 사용하여 다양한 수준의 정확도를 이해하는 것입니다. 이러한 로그는 데이터 과학 팀이 모델 재교육의 필요성을 식별하고 이해하는 데 도움이 될 수 있습니다. 귀하의 조직은 재교육 메커니즘을 선택할 수 있습니다. 이는 분기별, 월별 또는 정확성이 특정 임계값 아래로 떨어지는 경우와 같은 과학 지표를 기반으로 할 수 있습니다.

모니터링의 목표는 단순히 문제를 감지하는 것이 아니라 루프를 닫아 지속적으로 모델을 개선하고 외부 환경이 발전함에 따라 IDP 솔루션의 성능을 유지하는 것입니다.

시스템 모니터링

프로덕션 환경에 IDP 솔루션을 배포한 후에는 주요 지표와 자동화 성능을 모니터링하여 개선이 필요한 영역을 파악하는 것이 중요합니다. 측정항목에는 비즈니스 측정항목과 기술 측정항목이 포함되어야 합니다. 이를 통해 회사는 시스템 성능을 평가하고, 문제를 식별하고, 시간이 지남에 따라 모델, 규칙 및 워크플로를 개선하여 자동화 속도를 높여 운영 영향을 이해할 수 있습니다.

비즈니스 측면에서는 중요한 필드에 대한 추출 정확도, 사람의 개입 없이 처리된 문서의 비율을 나타내는 전체 자동화 비율, 문서당 평균 처리 시간과 같은 지표가 가장 중요합니다. 이러한 비즈니스 지표는 최종 사용자 경험과 운영 효율성 향상을 정량화하는 데 도움이 됩니다.

워크플로우 전반에 걸쳐 발생하는 오류 및 예외율을 포함한 기술 지표는 엔지니어링 관점에서 추적하는 데 필수적입니다. 기술 지표는 각 수준에서 처음부터 끝까지 모니터링하고 복잡한 워크로드에 대한 포괄적인 보기를 제공할 수도 있습니다. 메트릭을 솔루션 수준, 엔드투엔드 워크플로 수준, 문서 유형 수준, 문서 수준, 엔터티 인식 수준, OCR 수준 등 다양한 수준으로 분류할 수 있습니다.

이제 이 기본 요소의 모든 질문을 검토했으므로 다른 기본 요소를 평가하고 IDP 워크로드에 대한 개선 계획을 개발할 수 있습니다.

결론

이 게시물에서는 IDP 워크로드의 성능 효율성 원칙에 대해 Well-Architected 프레임워크 검토를 수행해야 할 수 있는 일반적인 지표에 대해 논의했습니다. 그런 다음 설계 원칙을 살펴보고 높은 수준의 개요를 제공하고 솔루션 목표에 대해 논의했습니다. IDP Well-Architected Custom Lens와 관련하여 이러한 제안을 따르고 초점 영역별 질문을 검토함으로써 이제 프로젝트 개선 계획을 세울 수 있습니다.

저자에 관하여

장미아 Amazon Web Services의 ML 전문가 솔루션 아키텍트입니다. 그녀는 EMEA 고객과 협력하며 응용 수학, 컴퓨터 과학, AI/ML에 대한 배경 지식을 바탕으로 클라우드에서 AI/ML 워크로드를 실행하기 위한 모범 사례를 공유합니다. 그녀는 NLP 관련 워크로드에 중점을 두고 컨퍼런스 연사 및 책 저자로서의 경험을 공유합니다. 여가 시간에는 하이킹, 보드 게임, 커피 끓이기를 즐깁니다.

브리제시 파티 AWS의 엔터프라이즈 솔루션 아키텍트입니다. 그의 주요 초점은 기업 고객이 워크로드에 클라우드 기술을 채택하도록 돕는 것입니다. 그는 애플리케이션 개발 및 엔터프라이즈 아키텍처에 대한 배경 지식을 갖고 있으며 스포츠, 금융, 에너지 및 전문 서비스와 같은 다양한 산업 분야의 고객과 협력해 왔습니다. 그의 관심 분야는 서버리스 아키텍처와 AI/ML입니다.

루이 카르도소 Amazon Web Services(AWS)의 파트너 솔루션 아키텍트입니다. 그는 AI/ML 및 IoT에 중점을 두고 있습니다. 그는 AWS 파트너와 협력하여 AWS에서 솔루션을 개발하도록 지원합니다. 일하지 않을 때는 사이클링, 하이킹, 새로운 것을 배우는 것을 즐깁니다.

팀 콘델로 Amazon Web Services(AWS)의 수석 인공 지능(AI) 및 기계 학습(ML) 전문 솔루션 설계자입니다. 그의 초점은 자연어 처리와 컴퓨터 비전입니다. Tim은 고객의 아이디어를 확장 가능한 솔루션으로 바꾸는 것을 좋아합니다.

셰리 딩 Amazon Web Services(AWS)의 수석 인공 지능(AI) 및 기계 학습(ML) 전문 솔루션 설계자입니다. 그녀는 컴퓨터 과학 박사 학위를 취득하여 기계 학습 분야에서 광범위한 경험을 갖고 있습니다. 그녀는 주로 다양한 AI/ML 관련 비즈니스 과제에 대해 공공 부문 고객과 협력하여 고객이 AWS 클라우드에서 기계 학습 여정을 가속화하도록 돕습니다. 고객을 돕지 않을 때는 야외 활동을 즐깁니다.

왕수인 AWS의 AI/ML 전문가 솔루션 아키텍트입니다. 그녀는 실제 비즈니스 문제를 해결하는 데이터 과학 및 기계 학습 애플리케이션 구축에 대한 수년간의 경험과 함께 기계 학습, 금융 정보 서비스 및 경제학 분야의 학제간 교육 배경을 보유하고 있습니다. 그녀는 고객이 올바른 비즈니스 질문을 식별하도록 돕고 올바른 AI/ML 솔루션을 구축하는 것을 즐깁니다. 여가 시간에는 노래와 요리를 좋아합니다.

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
• PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
• PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
• 출처: https://aws.amazon.com/blogs/machine-learning/build-well-architected-idp-solutions-with-a-custom-lens-part-4-performance-efficiency/