ปรับแต่งกฎเกณฑ์ทางธุรกิจสำหรับการประมวลผลเอกสารอัจฉริยะด้วยการตรวจทานโดยเจ้าหน้าที่และการแสดงภาพ BI

เอกสารทางธุรกิจจำนวนมากได้รับการประมวลผลทุกวันในอุตสาหกรรมต่างๆ เอกสารเหล่านี้จำนวนมากเป็นแบบกระดาษ สแกนเข้าสู่ระบบของคุณเป็นรูปภาพ หรือในรูปแบบที่ไม่มีโครงสร้าง เช่น PDF แต่ละบริษัทอาจใช้กฎเฉพาะที่เกี่ยวข้องกับภูมิหลังทางธุรกิจของตนในขณะที่ประมวลผลเอกสารเหล่านี้ วิธีดึงข้อมูลอย่างถูกต้องและประมวลผลอย่างยืดหยุ่นถือเป็นความท้าทายที่หลายบริษัทต้องเผชิญ

Amazon Intelligent Document Processing (IDP) ช่วยให้คุณสามารถใช้ประโยชน์จากเทคโนโลยี Machine Learning (ML) ชั้นนำของอุตสาหกรรมได้โดยไม่ต้องมีประสบการณ์ ML มาก่อน โพสต์นี้จะแนะนำโซลูชันที่รวมอยู่ใน เวิร์กช็อป Amazon IDP จัดแสดงวิธีการประมวลผลเอกสารเพื่อรองรับกฎเกณฑ์ทางธุรกิจที่ยืดหยุ่นโดยใช้บริการ Amazon AI คุณสามารถใช้ทีละขั้นตอนต่อไปนี้ สมุดบันทึก Jupyter เพื่อให้ห้องปฏิบัติการเสร็จสมบูรณ์

Amazon Text ช่วยให้คุณแยกข้อความจากเอกสารต่าง ๆ ได้อย่างง่ายดายและ อเมซอน เสริม AI (Amazon A2I) ช่วยให้คุณสามารถดำเนินการตรวจสอบการคาดการณ์ ML โดยมนุษย์ได้ เทมเพลต Amazon A2I เริ่มต้นช่วยให้คุณสร้างไปป์ไลน์การตรวจสอบโดยเจ้าหน้าที่ตามกฎได้ เช่น เมื่อคะแนนความเชื่อมั่นในการดึงข้อมูลต่ำกว่าเกณฑ์ที่กำหนดไว้ล่วงหน้า หรือคีย์ที่จำเป็นหายไป แต่ในสภาพแวดล้อมการใช้งานจริง คุณต้องมีไปป์ไลน์การประมวลผลเอกสารเพื่อรองรับกฎเกณฑ์ทางธุรกิจที่ยืดหยุ่น เช่น การตรวจสอบความถูกต้องของรูปแบบสตริง การตรวจสอบประเภทและช่วงข้อมูล และการตรวจสอบความถูกต้องของฟิลด์ในเอกสารต่างๆ โพสต์นี้แสดงวิธีที่คุณสามารถใช้ Amazon Textract และ Amazon A2I เพื่อปรับแต่งไปป์ไลน์การประมวลผลเอกสารทั่วไปที่รองรับกฎเกณฑ์ทางธุรกิจที่ยืดหยุ่น

ภาพรวมโซลูชัน

สำหรับโซลูชันตัวอย่างของเรา เราใช้ แบบฟอร์มภาษี 990ซึ่งเป็นแบบฟอร์ม US IRS (Internal Revenue Service) ที่ให้ข้อมูลทางการเงินแก่สาธารณะเกี่ยวกับองค์กรที่ไม่แสวงหาผลกำไร สำหรับตัวอย่างนี้ เราครอบคลุมเฉพาะตรรกะการแยกข้อมูลสำหรับบางฟิลด์ในหน้าแรกของแบบฟอร์มเท่านั้น คุณสามารถดูเอกสารตัวอย่างเพิ่มเติมได้ที่ เว็บไซต์ของ IRS.

แผนภาพต่อไปนี้แสดงไปป์ไลน์ IDP ที่รองรับกฎเกณฑ์ทางธุรกิจที่ปรับแต่งพร้อมการตรวจสอบโดยเจ้าหน้าที่

สถาปัตยกรรมประกอบด้วยสามขั้นตอนเชิงตรรกะ:

• การสกัด – แยกข้อมูลจากแบบฟอร์มภาษี 990 (เราใช้หน้าที่ 1 เป็นตัวอย่าง)
  • ดึงภาพตัวอย่างที่เก็บไว้ใน บริการจัดเก็บข้อมูลอย่างง่ายของ Amazon (Amazon S3) ถัง
  • เรียกใช้ Amazon Textract analys_document API โดยใช้ คำสั่ง คุณสมบัติในการแยกข้อความออกจากหน้า
• การตรวจสอบ – ใช้กฎเกณฑ์ทางธุรกิจที่ยืดหยุ่นพร้อมการตรวจสอบโดยมนุษย์
  • ตรวจสอบข้อมูลที่แยกออกมาตามกฎเกณฑ์ทางธุรกิจ เช่น การตรวจสอบความยาวของฟิลด์ ID
  • ส่งเอกสารไปที่ Amazon A2I เพื่อให้เจ้าหน้าที่ตรวจสอบหากกฎเกณฑ์ทางธุรกิจล้มเหลว
  • ผู้ตรวจสอบใช้ Amazon A2I UI (เว็บไซต์ที่ปรับแต่งได้) เพื่อตรวจสอบผลการแยกข้อมูล
• การสร้างภาพ BI - เราใช้ อเมซอน QuickSight เพื่อสร้างแดชบอร์ดระบบธุรกิจอัจฉริยะ (BI) ที่แสดงข้อมูลเชิงลึกของกระบวนการ

ปรับแต่งกฎเกณฑ์ทางธุรกิจ

คุณสามารถกำหนดกฎธุรกิจทั่วไปได้ในรูปแบบ JSON ต่อไปนี้ ในโค้ดตัวอย่าง เรากำหนดกฎสามข้อ:

• กฎข้อแรกคือสำหรับฟิลด์รหัสนายจ้าง กฎนี้จะล้มเหลวหากคะแนนความเชื่อมั่นของ Amazon Textract ต่ำกว่า 99% สำหรับโพสต์นี้ เราได้กำหนดเกณฑ์คะแนนความเชื่อมั่นไว้สูง ซึ่งจะพังตามการออกแบบ คุณสามารถปรับเกณฑ์ให้เป็นค่าที่สมเหตุสมผลมากขึ้นเพื่อลดความพยายามของมนุษย์ที่ไม่จำเป็นในสภาพแวดล้อมจริง เช่น 90%
• กฎข้อที่สองมีไว้สำหรับฟิลด์ DLN (ตัวระบุเฉพาะของแบบฟอร์มภาษี) ซึ่งจำเป็นสำหรับตรรกะการประมวลผลดาวน์สตรีม กฎนี้จะล้มเหลวหากฟิลด์ DLN หายไปหรือมีค่าว่าง
• กฎข้อที่สามใช้สำหรับฟิลด์ DLN เช่นกัน แต่มีประเภทเงื่อนไขที่แตกต่างกัน: LengthCheck กฎจะใช้งานไม่ได้หากความยาว DLN ไม่ใช่ 16 อักขระ

รหัสต่อไปนี้แสดงกฎเกณฑ์ทางธุรกิจของเราในรูปแบบ JSON:

rules = [
    {
        "description": "Employee Id confidence score should greater than 99",
        "field_name": "d.employer_id",
        "field_name_regex": None, # support Regex: "_confidence$",
        "condition_category": "Confidence",
        "condition_type": "ConfidenceThreshold",
        "condition_setting": "99",
    },
    {
        "description": "dln is required",
        "field_name": "dln",
        "condition_category": "Required",
        "condition_type": "Required",
        "condition_setting": None,
    },
    {
        "description": "dln length should be 16",
        "field_name": "dln",
        "condition_category": "LengthCheck",
        "condition_type": "ValueRegex",
        "condition_setting": "^[0-9a-zA-Z]{16}$",
    }
]

คุณสามารถขยายโซลูชันได้โดยเพิ่มกฎทางธุรกิจเพิ่มเติมตามโครงสร้างเดียวกัน

แยกข้อความโดยใช้แบบสอบถาม Amazon Textract

ในโซลูชันตัวอย่าง เราเรียก Amazon Textract analyse_document API การสอบถาม คุณสมบัติในการแยกฟิลด์โดยถามคำถามเฉพาะ คุณไม่จำเป็นต้องทราบโครงสร้างของข้อมูลในเอกสาร (ตาราง แบบฟอร์ม ฟิลด์โดยนัย ข้อมูลที่ซ้อนกัน) หรือกังวลเกี่ยวกับความแปรผันของเวอร์ชันและรูปแบบของเอกสาร การสืบค้นใช้การผสมผสานระหว่างภาพ พื้นที่ และภาษาเพื่อดึงข้อมูลที่คุณต้องการด้วยความแม่นยำสูง

หากต้องการแยกค่าสำหรับฟิลด์ DLN คุณสามารถส่งคำขอพร้อมคำถามในภาษาธรรมชาติ เช่น “DLN คืออะไร” Amazon Textract ส่งคืนข้อความ ความมั่นใจ และข้อมูลเมตาอื่นๆ หากพบข้อมูลที่เกี่ยวข้องบนรูปภาพหรือเอกสาร ต่อไปนี้คือตัวอย่างคำขอสืบค้น Amazon Textract:

textract.analyze_document(
        Document={'S3Object': {'Bucket': data_bucket, 'Name': s3_key}},
        FeatureTypes=["QUERIES"],
        QueriesConfig={
                'Queries': [
                    {
                        'Text': 'What is the DLN?',
                       'Alias': 'The DLN number - unique identifier of the form'
                    }
               ]
        }
)

กำหนดแบบจำลองข้อมูล

โซลูชันตัวอย่างจะสร้างข้อมูลในรูปแบบที่มีโครงสร้างเพื่อรองรับการประเมินกฎธุรกิจทั่วไป หากต้องการเก็บค่าที่แยกออกมา คุณสามารถกำหนดแบบจำลองข้อมูลสำหรับหน้าเอกสารแต่ละหน้าได้ รูปภาพต่อไปนี้แสดงวิธีที่ข้อความในหน้า 1 แมปกับฟิลด์ JSON

แต่ละฟิลด์แสดงถึงข้อความของเอกสาร กล่องกาเครื่องหมาย หรือเซลล์ตาราง/ฟอร์มบนหน้า วัตถุ JSON ดูเหมือนรหัสต่อไปนี้:

{
    "dln": {
        "value": "93493319020929",
        "confidence": 0.9765, 
        "block": {} 
    },
    "omb_no": {
        "value": "1545-0047",
        "confidence": 0.9435,
        "block": {}
    },
    ...
}

คุณสามารถค้นหาคำจำกัดความโครงสร้าง JSON โดยละเอียดได้ใน repo GitHub.

ประเมินข้อมูลตามกฎเกณฑ์ทางธุรกิจ

โซลูชันตัวอย่างมาพร้อมกับคลาสเงื่อนไข ซึ่งเป็นกลไกกฎทั่วไปที่รับข้อมูลที่แยกออกมา (ตามที่กำหนดไว้ในแบบจำลองข้อมูล) และกฎ (ตามที่กำหนดไว้ในกฎทางธุรกิจที่กำหนดเอง) ส่งคืนสองรายการที่มีเงื่อนไขที่ล้มเหลวและเป็นที่น่าพอใจ เราสามารถใช้ผลลัพธ์เพื่อตัดสินใจว่าเราควรส่งเอกสารไปยัง Amazon A2I เพื่อตรวจสอบโดยมนุษย์หรือไม่

ซอร์สโค้ดคลาส Condition อยู่ในตัวอย่าง repo GitHub. รองรับตรรกะการตรวจสอบขั้นพื้นฐาน เช่น การตรวจสอบความยาวของสตริง ช่วงค่า และเกณฑ์คะแนนความเชื่อมั่น คุณสามารถแก้ไขโค้ดเพื่อรองรับประเภทเงื่อนไขเพิ่มเติมและตรรกะการตรวจสอบที่ซับซ้อนได้

สร้าง UI เว็บ Amazon A2I แบบกำหนดเอง

Amazon A2I ช่วยให้คุณสามารถปรับแต่ง UI เว็บของผู้ตรวจสอบได้โดยการกำหนด แม่แบบงานผู้ปฏิบัติงาน. เทมเพลตนี้เป็นหน้าเว็บแบบคงที่ในรูปแบบ HTML และ JavaScript คุณสามารถส่งข้อมูลไปยังหน้าผู้ตรวจสอบที่กำหนดเองได้โดยใช้ ของเหลว วากยสัมพันธ์

ในสารละลายตัวอย่าง เทมเพลต Amazon A2I UI แบบกำหนดเอง แสดงเพจทางด้านซ้ายและเงื่อนไขความล้มเหลวทางด้านขวา ผู้ตรวจสอบสามารถใช้เพื่อแก้ไขค่าการแยกและเพิ่มความคิดเห็นได้

ภาพหน้าจอต่อไปนี้แสดง Amazon A2I UI ที่ปรับแต่งเองของเรา โดยจะแสดงเอกสารรูปภาพต้นฉบับทางด้านซ้ายและเงื่อนไขที่ล้มเหลวต่อไปนี้ทางด้านขวา:

• หมายเลข DLN ควรมีความยาว 16 อักขระ DLN จริงมีอักขระ 15 ตัว
• คะแนนความเชื่อมั่นของนายจ้าง_id ต่ำกว่า 99% คะแนนความเชื่อมั่นที่แท้จริงอยู่ที่ประมาณ 98%

ผู้ตรวจสอบสามารถตรวจสอบผลลัพธ์เหล่านี้ด้วยตนเองและเพิ่มความคิดเห็นใน เหตุผลในการเปลี่ยนแปลง กล่องข้อความ

สำหรับข้อมูลเพิ่มเติมเกี่ยวกับการผสานรวม Amazon A2I เข้ากับเวิร์กโฟลว์ ML แบบกำหนดเอง โปรดดูที่ส่วน 60 เทมเพลตผู้ปฏิบัติงานที่สร้างไว้ล่วงหน้า บน GitHub repo และ ใช้ Amazon Augmented AI กับประเภทงานที่กำหนดเอง.

ประมวลผลเอาต์พุต Amazon A2I

หลังจากที่ผู้ตรวจสอบใช้ UI แบบกำหนดเองของ Amazon A2I ตรวจสอบผลลัพธ์และเลือก ส่งAmazon A2I จะจัดเก็บไฟล์ JSON ไว้ในโฟลเดอร์บัคเก็ต S3 ไฟล์ JSON มีข้อมูลต่อไปนี้ในระดับราก:

• ARN คำจำกัดความโฟลว์ของ Amazon A2I และชื่อลูปของมนุษย์
• คำตอบของมนุษย์ (ข้อมูลของผู้ตรวจสอบที่รวบรวมโดย Amazon A2I UI ที่กำหนดเอง)
• ป้อนเนื้อหา (ข้อมูลต้นฉบับที่ส่งไปยัง Amazon A2I เมื่อเริ่มต้นงาน Human Loop)

ต่อไปนี้เป็นตัวอย่าง JSON ที่สร้างโดย Amazon A2I:

{
  "flowDefinitionArn": "arn:aws:sagemaker:us-east-1:711334203977:flow-definition/a2i-custom-ui-demo-workflow",
  "humanAnswers": [
    {
      "acceptanceTime": "2022-08-23T15:23:53.488Z",
      "answerContent": {
        "Change Reason 1": "Missing X at the end.",
        "True Value 1": "93493319020929X",
        "True Value 2": "04-3018996"
      },
      "submissionTime": "2022-08-23T15:24:47.991Z",
      "timeSpentInSeconds": 54.503,
      "workerId": "94de99f1bc6324b8",
      "workerMetadata": {
        "identityData": {
          "identityProviderType": "Cognito",
          "issuer": "https://cognito-idp.us-east-1.amazonaws.com/us-east-1_URd6f6sie",
          "sub": "cef8d484-c640-44ea-8369-570cdc132d2d"
        }
      }
    }
  ],
  "humanLoopName": "custom-loop-9b4e67ff-2c9f-40f9-aae5-0e26316c905c",
  "inputContent": {...} # the original input send to A2I when starting the human review task
}

คุณสามารถใช้ตรรกะแยก แปลง และโหลด (ETL) เพื่อแยกวิเคราะห์ข้อมูลจาก JSON เอาท์พุตของ Amazon A2I และจัดเก็บไว้ในไฟล์หรือฐานข้อมูล สารละลายตัวอย่างมาพร้อมกับ ไฟล์ CSV ด้วยข้อมูลที่ประมวลผลแล้ว คุณสามารถใช้เพื่อสร้างแดชบอร์ด BI ได้โดยทำตามคำแนะนำในส่วนถัดไป

สร้างแดชบอร์ดใน Amazon QuickSight

โซลูชันตัวอย่างประกอบด้วยขั้นตอนการรายงานพร้อมแดชบอร์ดการแสดงภาพที่ให้บริการโดย Amazon QuickSight แดชบอร์ด BI แสดงตัวชี้วัดที่สำคัญ เช่น จำนวนเอกสารที่ประมวลผลโดยอัตโนมัติหรือด้วยตนเอง ฟิลด์ยอดนิยมที่ต้องมีการตรวจสอบโดยมนุษย์ และข้อมูลเชิงลึกอื่นๆ แดชบอร์ดนี้สามารถช่วยให้คุณควบคุมขั้นตอนการประมวลผลเอกสารและวิเคราะห์สาเหตุทั่วไปที่ทำให้เกิดการตรวจสอบโดยเจ้าหน้าที่ได้ คุณสามารถปรับขั้นตอนการทำงานให้เหมาะสมได้โดยลดการป้อนข้อมูลของมนุษย์ลงอีก

แดชบอร์ดตัวอย่างประกอบด้วยเมตริกพื้นฐาน คุณสามารถขยายโซลูชันได้โดยใช้ Amazon QuickSight เพื่อแสดงข้อมูลเชิงลึกเพิ่มเติมเกี่ยวกับข้อมูล

ขยายโซลูชันเพื่อรองรับเอกสารและกฎเกณฑ์ทางธุรกิจเพิ่มเติม

หากต้องการขยายโซลูชันเพื่อรองรับหน้าเอกสารเพิ่มเติมด้วยกฎเกณฑ์ทางธุรกิจที่เกี่ยวข้อง คุณต้องทำการเปลี่ยนแปลงต่อไปนี้:

• สร้างโมเดลข้อมูลสำหรับเพจใหม่ในโครงสร้าง JSON ที่แสดงค่าทั้งหมดที่คุณต้องการแยกออกจากเพจ อ้างถึง กำหนดแบบจำลองข้อมูล ส่วนสำหรับรูปแบบโดยละเอียด
• ใช้ Amazon Textract เพื่อแยกข้อความออกจากเอกสารและเติมค่าให้กับโมเดลข้อมูล
• เพิ่มกฎเกณฑ์ทางธุรกิจที่สอดคล้องกับเพจในรูปแบบ JSON อ้างถึง ปรับแต่งกฎเกณฑ์ทางธุรกิจ ส่วนสำหรับรูปแบบรายละเอียด

Amazon A2I UI แบบกำหนดเองในโซลูชันเป็นแบบทั่วไป ซึ่งไม่จำเป็นต้องมีการเปลี่ยนแปลงเพื่อรองรับกฎเกณฑ์ทางธุรกิจใหม่

สรุป

การประมวลผลเอกสารอัจฉริยะเป็นที่ต้องการอย่างมาก และบริษัทต่างๆ จำเป็นต้องมีขั้นตอนที่ปรับแต่งเพื่อรองรับตรรกะทางธุรกิจที่เป็นเอกลักษณ์ของตน Amazon A2I ยังมีเทมเพลตในตัวที่ผสานรวมกับ Amazon Textract เพื่อปรับใช้กรณีการใช้งานการตรวจสอบโดยมนุษย์ของคุณ นอกจากนี้ยังช่วยให้คุณปรับแต่งหน้าผู้ตรวจสอบเพื่อตอบสนองความต้องการที่ยืดหยุ่นได้

โพสต์นี้จะแนะนำคุณเกี่ยวกับโซลูชันอ้างอิงโดยใช้ Amazon Textract และ Amazon A2I เพื่อสร้างไปป์ไลน์ IDP ที่รองรับกฎเกณฑ์ทางธุรกิจที่ยืดหยุ่น คุณสามารถทดลองใช้งานได้โดยใช้ สมุดบันทึก Jupyter ใน repo เวิร์กช็อป GitHub IDP

เกี่ยวกับผู้แต่ง

ลาน่า จาง เป็นสถาปนิกโซลูชันอาวุโสของทีมบริการ AWS WWSO AI ซึ่งมีความเชี่ยวชาญด้าน AI และ ML สำหรับการประมวลผลเอกสารอัจฉริยะและการกลั่นกรองเนื้อหา เธอมีความหลงใหลในการส่งเสริมบริการ AWS AI และช่วยเหลือลูกค้าในการเปลี่ยนแปลงโซลูชันทางธุรกิจของตน

โซนาลี ซาฮู เป็นผู้นำทีมสถาปนิกโซลูชัน AI/ML สำหรับการประมวลผลเอกสารอัจฉริยะที่ Amazon Web Services เธอเป็นผู้หลงใหลในเทคโนโลยีและสนุกกับการทำงานร่วมกับลูกค้าเพื่อแก้ไขปัญหาที่ซับซ้อนโดยใช้นวัตกรรม ประเด็นหลักที่เธอสนใจคือปัญญาประดิษฐ์และการเรียนรู้ของเครื่องจักรสำหรับการประมวลผลเอกสารอัจฉริยะ