인적 검토 및 BI 시각화를 통해 지능형 문서 처리를 위한 비즈니스 규칙 사용자 지정

방대한 양의 비즈니스 문서가 산업 전반에 걸쳐 매일 처리됩니다. 이러한 문서의 대부분은 종이 기반이며 이미지로 시스템에 스캔되거나 PDF와 같은 구조화되지 않은 형식입니다. 각 회사는 이러한 문서를 처리하는 동안 비즈니스 배경과 관련된 고유한 규칙을 적용할 수 있습니다. 정보를 정확하게 추출하고 유연하게 처리하는 방법은 많은 기업이 직면한 과제입니다.

Amazon Intelligent Document Processing(IDP)을 사용하면 이전 ML 경험 없이도 업계 최고의 기계 학습(ML) 기술을 활용할 수 있습니다. 이 게시물은 에 포함된 솔루션을 소개합니다. 아마존 IDP 워크숍 Amazon AI 서비스를 사용하여 유연한 비즈니스 규칙을 제공하기 위해 문서를 처리하는 방법을 보여줍니다. 다음을 단계별로 사용할 수 있습니다. 주피터 노트 실험실을 완료합니다.

아마존 텍사스 다양한 문서에서 텍스트를 쉽게 추출하고 아마존 증강 AI (Amazon A2I)를 사용하면 ML 예측에 대한 인적 검토를 구현할 수 있습니다. 기본 Amazon A2I 템플릿을 사용하면 추출 신뢰도 점수가 사전 정의된 임계값보다 낮거나 필수 키가 누락된 경우와 같이 규칙을 기반으로 인적 검토 파이프라인을 구축할 수 있습니다. 그러나 프로덕션 환경에서는 문자열 형식 검증, 데이터 유형 및 범위 검증, 문서 전반의 필드 검증과 같은 유연한 비즈니스 규칙을 지원하는 문서 처리 파이프라인이 필요합니다. 이 게시물은 Amazon Textract 및 Amazon A2I를 사용하여 유연한 비즈니스 규칙을 지원하는 일반 문서 처리 파이프라인을 사용자 지정하는 방법을 보여줍니다.

솔루션 개요

샘플 솔루션의 경우 다음을 사용합니다. 세금 양식 990, 비영리 조직에 대한 재무 정보를 대중에게 제공하는 미국 국세청(IRS) 양식입니다. 이 예에서는 양식의 첫 번째 페이지에 있는 일부 필드에 대한 추출 논리만 다룹니다. 에서 더 많은 샘플 문서를 찾을 수 있습니다. 국세청 웹 사이트.

다음 다이어그램은 사람이 검토하는 맞춤형 비즈니스 규칙을 지원하는 IDP 파이프라인을 보여줍니다.

아키텍처는 세 가지 논리적 단계로 구성됩니다.

• 추출 – 990 세금 양식에서 데이터를 추출합니다(1페이지를 예로 사용).
  • 에 저장된 샘플 이미지 검색 아마존 단순 스토리지 서비스 (Amazon S3) 버킷.
  • 다음을 사용하여 Amazon Textract analyze_document API를 호출합니다. 검색어 페이지에서 텍스트를 추출하는 기능.
• 검증 – Human-in-Loop 검토를 통해 유연한 비즈니스 규칙을 적용합니다.
  • ID 필드의 길이 검증과 같은 비즈니스 규칙에 대해 추출된 데이터의 유효성을 검증하십시오.
  • 비즈니스 규칙이 실패할 경우 사람이 검토할 수 있도록 문서를 Amazon A2I로 보냅니다.
  • 검토자는 Amazon A2I UI(사용자 지정 가능한 웹 사이트)를 사용하여 추출 결과를 확인합니다.
• BI 시각화 - 우리는 사용 아마존 퀵 사이트 프로세스 통찰력을 보여주는 비즈니스 인텔리전스(BI) 대시보드를 구축합니다.

비즈니스 규칙 사용자 지정

다음 JSON 형식으로 일반 비즈니스 규칙을 정의할 수 있습니다. 샘플 코드에서는 세 가지 규칙을 정의합니다.

• 첫 번째 규칙은 고용주 ID 필드에 대한 것입니다. Amazon Textract 신뢰도 점수가 99% 미만이면 규칙이 실패합니다. 이 게시물에서 우리는 신뢰 점수 임계값을 높게 설정했는데 이는 설계상 깨지게 될 것입니다. 임계값을 보다 합리적인 값으로 조정하여 실제 환경에서 불필요한 인간의 노력을 90%와 같이 줄일 수 있습니다.
• 두 번째 규칙은 다운스트림 처리 논리에 필요한 DLN 필드(세금 양식의 고유 식별자)에 대한 것입니다. DLN 필드가 없거나 값이 비어 있으면 이 규칙은 실패합니다.
• 세 번째 규칙은 DLN 필드에도 적용되지만 다른 조건 유형인 LengthCheck를 사용합니다. DLN 길이가 16자가 아닌 경우 규칙이 중단됩니다.

다음 코드는 JSON 형식의 비즈니스 규칙을 보여줍니다.

rules = [
    {
        "description": "Employee Id confidence score should greater than 99",
        "field_name": "d.employer_id",
        "field_name_regex": None, # support Regex: "_confidence$",
        "condition_category": "Confidence",
        "condition_type": "ConfidenceThreshold",
        "condition_setting": "99",
    },
    {
        "description": "dln is required",
        "field_name": "dln",
        "condition_category": "Required",
        "condition_type": "Required",
        "condition_setting": None,
    },
    {
        "description": "dln length should be 16",
        "field_name": "dln",
        "condition_category": "LengthCheck",
        "condition_type": "ValueRegex",
        "condition_setting": "^[0-9a-zA-Z]{16}$",
    }
]

동일한 구조에 따라 더 많은 비즈니스 규칙을 추가하여 솔루션을 확장할 수 있습니다.

Amazon Textract 쿼리를 사용하여 텍스트 추출

샘플 솔루션에서는 Amazon Textract analyze_document API를 호출합니다. 질문 특정 질문을 하여 필드를 추출하는 기능. 문서의 데이터 구조(표, 양식, 암시적 필드, 중첩 데이터)를 알거나 문서 버전 및 형식의 변화에 ​​대해 걱정할 필요가 없습니다. 쿼리는 시각적, 공간적, 언어적 신호의 조합을 사용하여 원하는 정보를 높은 정확도로 추출합니다.

DLN 필드의 값을 추출하기 위해 "DLN이 무엇입니까?"와 같은 자연어로 된 질문과 함께 요청을 보낼 수 있습니다. Amazon Textract는 이미지 또는 문서에서 해당 정보를 찾으면 텍스트, 신뢰도 및 기타 메타데이터를 반환합니다. 다음은 Amazon Textract 쿼리 요청의 예입니다.

textract.analyze_document(
        Document={'S3Object': {'Bucket': data_bucket, 'Name': s3_key}},
        FeatureTypes=["QUERIES"],
        QueriesConfig={
                'Queries': [
                    {
                        'Text': 'What is the DLN?',
                       'Alias': 'The DLN number - unique identifier of the form'
                    }
               ]
        }
)

데이터 모델 정의

샘플 솔루션은 일반 비즈니스 규칙 평가를 제공하기 위해 구조화된 형식으로 데이터를 구성합니다. 추출된 값을 유지하기 위해 각 문서 페이지에 대한 데이터 모델을 정의할 수 있습니다. 다음 이미지는 1페이지의 텍스트가 JSON 필드에 매핑되는 방식을 보여줍니다.

각 필드는 문서의 텍스트, 확인란 또는 페이지의 테이블/양식 셀을 나타냅니다. JSON 객체는 다음 코드와 같습니다.

{
    "dln": {
        "value": "93493319020929",
        "confidence": 0.9765, 
        "block": {} 
    },
    "omb_no": {
        "value": "1545-0047",
        "confidence": 0.9435,
        "block": {}
    },
    ...
}

자세한 JSON 구조 정의는 GitHub 레포.

비즈니스 규칙에 따라 데이터 평가

샘플 솔루션에는 추출된 데이터(데이터 모델에 정의된 대로)와 규칙(사용자 정의된 비즈니스 규칙에 정의된 대로)을 사용하는 일반 규칙 엔진인 Condition 클래스가 함께 제공됩니다. 실패 및 만족 조건이 있는 두 개의 목록을 반환합니다. 결과를 사용하여 사람의 검토를 위해 문서를 Amazon A2I로 보내야 하는지 결정할 수 있습니다.

Condition 클래스 소스 코드는 샘플에 있습니다. GitHub 레포. 문자열 길이, 값 범위 및 신뢰도 점수 임계값의 유효성 검사와 같은 기본 유효성 검사 논리를 지원합니다. 더 많은 조건 유형과 복잡한 유효성 검사 논리를 지원하도록 코드를 수정할 수 있습니다.

사용자 지정 Amazon A2I 웹 UI 생성

Amazon A2I를 사용하면 다음을 정의하여 검토자의 웹 UI를 사용자 지정할 수 있습니다. 작업자 작업 템플릿. 템플릿은 HTML 및 JavaScript의 정적 웹 페이지입니다. 다음을 사용하여 맞춤형 검토자 페이지에 데이터를 전달할 수 있습니다. 리퀴드 통사론.

샘플 솔루션에서, 사용자 지정 Amazon A2I UI 템플릿 왼쪽에는 페이지가 표시되고 오른쪽에는 실패 조건이 표시됩니다. 검토자는 이를 사용하여 추출 값을 수정하고 주석을 추가할 수 있습니다.

다음 스크린샷은 맞춤형 Amazon A2I UI를 보여줍니다. 왼쪽에는 원본 이미지 문서가 표시되고 오른쪽에는 다음과 같은 실패한 조건이 표시됩니다.

• DLN 번호는 16자여야 합니다. 실제 DLN은 15자입니다.
• 고용주 ID의 신뢰도 점수는 99% 미만입니다. 실제 신뢰 점수는 약 98%입니다.

검토자는 이러한 결과를 수동으로 확인하고 주석을 추가할 수 있습니다. 변경 이유 텍스트 상자.

Amazon A2I를 사용자 지정 ML 워크플로에 통합하는 방법에 대한 자세한 내용은 60개 이상의 사전 제작 된 작업자 템플릿 GitHub 리포지토리에서 사용자 지정 작업 유형으로 Amazon Augmented AI 사용.

Amazon A2I 출력 처리

Amazon A2I 사용자 지정 UI를 사용하는 검토자가 결과를 확인하고 선택한 후 문의하기, Amazon A2I는 S3 버킷 폴더에 JSON 파일을 저장합니다. JSON 파일에는 루트 수준에 대한 다음 정보가 포함됩니다.

• Amazon A2I 흐름 정의 ARN 및 휴먼 루프 이름
• 사람의 답변(사용자 지정 Amazon A2I UI에서 수집한 검토자의 입력)
• 입력 콘텐츠(휴먼 루프 작업 시작 시 Amazon A2I로 전송된 원본 데이터)

다음은 Amazon A2I에서 생성한 샘플 JSON입니다.

{
  "flowDefinitionArn": "arn:aws:sagemaker:us-east-1:711334203977:flow-definition/a2i-custom-ui-demo-workflow",
  "humanAnswers": [
    {
      "acceptanceTime": "2022-08-23T15:23:53.488Z",
      "answerContent": {
        "Change Reason 1": "Missing X at the end.",
        "True Value 1": "93493319020929X",
        "True Value 2": "04-3018996"
      },
      "submissionTime": "2022-08-23T15:24:47.991Z",
      "timeSpentInSeconds": 54.503,
      "workerId": "94de99f1bc6324b8",
      "workerMetadata": {
        "identityData": {
          "identityProviderType": "Cognito",
          "issuer": "https://cognito-idp.us-east-1.amazonaws.com/us-east-1_URd6f6sie",
          "sub": "cef8d484-c640-44ea-8369-570cdc132d2d"
        }
      }
    }
  ],
  "humanLoopName": "custom-loop-9b4e67ff-2c9f-40f9-aae5-0e26316c905c",
  "inputContent": {...} # the original input send to A2I when starting the human review task
}

ETL(추출, 변환 및 로드) 로직을 구현하여 Amazon A2I 출력 JSON에서 정보를 구문 분석하고 파일 또는 데이터베이스에 저장할 수 있습니다. 샘플 솔루션은 다음과 함께 제공됩니다. CSV 파일 처리된 데이터로 다음 섹션의 지침에 따라 이를 사용하여 BI 대시보드를 구축할 수 있습니다.

Amazon QuickSight에서 대시보드 생성

샘플 솔루션에는 Amazon QuickSight에서 제공하는 시각화 대시보드가 ​​있는 보고 단계가 포함되어 있습니다. BI 대시보드는 자동 또는 수동으로 처리된 문서 수, 사람의 검토가 필요한 가장 인기 있는 필드 및 기타 통찰력과 같은 주요 메트릭을 보여줍니다. 이 대시보드를 사용하면 문서 처리 파이프라인을 감독하고 사람이 검토하는 일반적인 이유를 분석할 수 있습니다. 인적 입력을 더욱 줄여 워크플로를 최적화할 수 있습니다.

샘플 대시보드에는 기본 메트릭이 포함되어 있습니다. Amazon QuickSight를 사용하여 솔루션을 확장하여 데이터에 대한 더 많은 통찰력을 표시할 수 있습니다.

더 많은 문서 및 비즈니스 규칙을 지원하도록 솔루션 확장

해당 비즈니스 규칙이 있는 더 많은 문서 페이지를 지원하도록 솔루션을 확장하려면 다음과 같이 변경해야 합니다.

• 페이지에서 추출하려는 모든 값을 나타내는 JSON 구조의 새 페이지에 대한 데이터 모델을 작성하십시오. 참조 데이터 모델 정의 자세한 형식은 섹션을 참조하십시오.
• Amazon Textract를 사용하여 문서에서 텍스트를 추출하고 데이터 모델에 값을 채웁니다.
• 페이지에 해당하는 비즈니스 규칙을 JSON 형식으로 추가합니다. 참조 비즈니스 규칙 사용자 지정 자세한 형식은 섹션을 참조하십시오.

솔루션의 사용자 지정 Amazon A2I UI는 일반적이므로 새로운 비즈니스 규칙을 지원하기 위해 변경할 필요가 없습니다.

결론

지능형 문서 처리에 대한 수요가 높으며 기업은 고유한 비즈니스 로직을 지원하기 위해 맞춤형 파이프라인이 필요합니다. 또한 Amazon A2I는 Amazon Textract와 통합된 내장 템플릿을 제공하여 인적 검토 사용 사례를 구현합니다. 또한 유연한 요구 사항을 제공하도록 검토자 페이지를 사용자 지정할 수 있습니다.

이 게시물에서는 Amazon Textract 및 Amazon A2I를 사용하여 유연한 비즈니스 규칙을 지원하는 IDP 파이프라인을 구축하는 참조 솔루션을 안내했습니다. 당신은 그것을 사용하여 그것을 시도 할 수 있습니다 주피터 노트 GitHub IDP 워크샵 리포지토리에 있습니다.

저자 소개

장라나 지능형 문서 처리 및 콘텐츠 조정을 위한 AI 및 ML 전문 지식을 갖춘 AWS WWSO AI Services 팀의 수석 솔루션 설계자입니다. 그녀는 AWS AI 서비스를 홍보하고 고객이 비즈니스 솔루션을 혁신하도록 돕는 데 열정을 가지고 있습니다.

소날리 사후 Amazon Web Services에서 Intelligent Document Processing AI/ML 솔루션 아키텍트 팀을 이끌고 있습니다. 그녀는 열정적인 기술 애호가이며 혁신을 사용하여 복잡한 문제를 해결하기 위해 고객과 함께 일하는 것을 즐깁니다. 그녀의 핵심 초점 영역은 지능형 문서 처리를 위한 인공 지능 및 기계 학습입니다.