मानव समीक्षा और बीआई विज़ुअलाइज़ेशन के साथ बुद्धिमान दस्तावेज़ प्रसंस्करण के लिए व्यावसायिक नियमों को अनुकूलित करें

उद्योगों में प्रतिदिन बड़ी मात्रा में व्यावसायिक दस्तावेज़ संसाधित किए जाते हैं। इनमें से कई दस्तावेज़ पेपर-आधारित हैं, छवियों के रूप में आपके सिस्टम में स्कैन किए गए हैं, या पीडीएफ जैसे असंरचित प्रारूप में हैं। प्रत्येक कंपनी इन दस्तावेजों को संसाधित करते समय अपनी व्यावसायिक पृष्ठभूमि से जुड़े अद्वितीय नियम लागू कर सकती है। जानकारी को सही तरीके से कैसे निकाला जाए और उन्हें लचीले ढंग से संसाधित किया जाए, यह कई कंपनियों के सामने एक चुनौती है।

अमेज़ॅन इंटेलिजेंट डॉक्यूमेंट प्रोसेसिंग (आईडीपी) आपको पिछले एमएल अनुभव के बिना उद्योग की अग्रणी मशीन लर्निंग (एमएल) तकनीक का लाभ उठाने की अनुमति देता है। यह पोस्ट में शामिल एक समाधान प्रस्तुत करता है अमेज़न आईडीपी कार्यशाला अमेज़ॅन एआई सेवाओं का उपयोग करके लचीले व्यावसायिक नियमों की सेवा के लिए दस्तावेज़ों को संसाधित करने का तरीका दिखाना। आप निम्न चरण-दर-चरण का उपयोग कर सकते हैं ज्यूपिटर नोटबुक प्रयोगशाला को पूरा करने के लिए।

अमेज़न टेक्सट्रेक आपको विभिन्न दस्तावेज़ों से आसानी से टेक्स्ट निकालने में मदद करता है, और अमेज़न संवर्धित ऐ (अमेज़ॅन ए2आई) आपको एमएल भविष्यवाणियों की मानवीय समीक्षा को लागू करने की अनुमति देता है। डिफ़ॉल्ट Amazon A2I टेम्प्लेट आपको नियमों के आधार पर एक मानव समीक्षा पाइपलाइन बनाने की अनुमति देता है, जैसे कि जब निष्कर्षण आत्मविश्वास स्कोर पूर्व-निर्धारित सीमा से कम होता है या आवश्यक कुंजियाँ गायब होती हैं। लेकिन उत्पादन के माहौल में, आपको लचीले व्यावसायिक नियमों का समर्थन करने के लिए दस्तावेज़ प्रसंस्करण पाइपलाइन की आवश्यकता होती है, जैसे कि स्ट्रिंग प्रारूप को मान्य करना, डेटा प्रकार और श्रेणी की पुष्टि करना, और दस्तावेज़ों में फ़ील्ड को मान्य करना। यह पोस्ट दिखाता है कि आप लचीले व्यावसायिक नियमों का समर्थन करने वाले एक सामान्य दस्तावेज़ प्रसंस्करण पाइपलाइन को अनुकूलित करने के लिए Amazon Textract और Amazon A2I का उपयोग कैसे कर सकते हैं।

समाधान अवलोकन

हमारे नमूना समाधान के लिए, हम उपयोग करते हैं टैक्स फॉर्म 990, एक यूएस आईआरएस (आंतरिक राजस्व सेवा) फ़ॉर्म जो जनता को एक गैर-लाभकारी संगठन के बारे में वित्तीय जानकारी प्रदान करता है। इस उदाहरण के लिए, हम केवल फॉर्म के पहले पृष्ठ पर कुछ क्षेत्रों के लिए निष्कर्षण तर्क को कवर करते हैं। आप अधिक नमूना दस्तावेज़ प्राप्त कर सकते हैं आईआरएस वेबसाइट.

निम्नलिखित आरेख IDP पाइपलाइन को दिखाता है जो मानव समीक्षा के साथ अनुकूलित व्यावसायिक नियमों का समर्थन करता है।

वास्तुकला तीन तार्किक चरणों से बना है:

• निष्कर्षण - 990 टैक्स फॉर्म से डेटा निकालें (उदाहरण के तौर पर हम पेज 1 का इस्तेमाल करते हैं)।
  • एक में संग्रहीत एक नमूना छवि पुनर्प्राप्त करें अमेज़न सरल भंडारण सेवा (अमेज़न S3) बाल्टी।
  • Amazon Textract Analysis_document API का उपयोग करके कॉल करें प्रश्न पृष्ठ से पाठ निकालने की सुविधा।
• मान्यकरण - मानव-में-लूप समीक्षा के साथ लचीले व्यावसायिक नियम लागू करें।
  • निकाले गए डेटा को व्यावसायिक नियमों के अनुसार मान्य करें, जैसे किसी आईडी फ़ील्ड की लंबाई को मान्य करना।
  • किसी भी व्यावसायिक नियम के विफल होने पर समीक्षा करने के लिए दस्तावेज़ को Amazon A2I पर भेजें।
  • निष्कर्षण परिणाम को सत्यापित करने के लिए समीक्षक Amazon A2I UI (एक अनुकूलन योग्य वेबसाइट) का उपयोग करते हैं।
• बीआई विज़ुअलाइज़ेशन - हम प्रयोग करते हैं अमेज़न क्विकसाइट प्रक्रिया अंतर्दृष्टि दिखाते हुए एक व्यावसायिक खुफिया (बीआई) डैशबोर्ड बनाने के लिए।

व्यावसायिक नियमों को अनुकूलित करें

आप निम्न JSON प्रारूप में एक सामान्य व्यापार नियम परिभाषित कर सकते हैं। नमूना कोड में, हम तीन नियमों को परिभाषित करते हैं:

• पहला नियम नियोक्ता आईडी क्षेत्र के लिए है। यदि Amazon Textract का कॉन्फिडेंस स्कोर 99% से कम है तो नियम विफल हो जाता है। इस पोस्ट के लिए, हमने कॉन्फिडेंस स्कोर थ्रेशोल्ड हाई सेट किया है, जो डिजाइन के हिसाब से टूटेगा। आप वास्तविक दुनिया के वातावरण में अनावश्यक मानव प्रयास को कम करने के लिए सीमा को अधिक उचित मूल्य पर समायोजित कर सकते हैं, जैसे कि 90%।
• दूसरा नियम DLN फ़ील्ड (टैक्स फॉर्म का विशिष्ट पहचानकर्ता) के लिए है, जो डाउनस्ट्रीम प्रोसेसिंग लॉजिक के लिए आवश्यक है। यदि DLN फ़ील्ड अनुपलब्ध है या उसका मान रिक्त है, तो यह नियम विफल हो जाता है।
• तीसरा नियम DLN फ़ील्ड के लिए भी है, लेकिन एक अलग शर्त प्रकार के साथ: LengthCheck। यदि DLN की लंबाई 16 वर्ण नहीं है, तो नियम टूट जाता है।

निम्नलिखित कोड हमारे व्यावसायिक नियमों को JSON प्रारूप में दिखाता है:

rules = [
    {
        "description": "Employee Id confidence score should greater than 99",
        "field_name": "d.employer_id",
        "field_name_regex": None, # support Regex: "_confidence$",
        "condition_category": "Confidence",
        "condition_type": "ConfidenceThreshold",
        "condition_setting": "99",
    },
    {
        "description": "dln is required",
        "field_name": "dln",
        "condition_category": "Required",
        "condition_type": "Required",
        "condition_setting": None,
    },
    {
        "description": "dln length should be 16",
        "field_name": "dln",
        "condition_category": "LengthCheck",
        "condition_type": "ValueRegex",
        "condition_setting": "^[0-9a-zA-Z]{16}$",
    }
]

आप समान संरचना का अनुसरण करते हुए अधिक व्यावसायिक नियम जोड़कर समाधान का विस्तार कर सकते हैं।

Amazon Textract क्वेरी का उपयोग करके टेक्स्ट निकालें

नमूना समाधान में, हम Amazon Textract Analysis_document API कहते हैं सवाल विशिष्ट प्रश्न पूछकर फ़ील्ड निकालने की सुविधा। आपको दस्तावेज़ में डेटा की संरचना (तालिका, प्रपत्र, निहित फ़ील्ड, नेस्टेड डेटा) या दस्तावेज़ संस्करणों और स्वरूपों में भिन्नताओं के बारे में चिंता करने की आवश्यकता नहीं है। आपके द्वारा मांगी गई जानकारी को उच्च सटीकता के साथ निकालने के लिए क्वेरी दृश्य, स्थानिक और भाषा संकेतों के संयोजन का उपयोग करती हैं।

DLN फ़ील्ड के लिए मूल्य निकालने के लिए, आप प्राकृतिक भाषाओं में प्रश्नों के साथ अनुरोध भेज सकते हैं, जैसे "DLN क्या है?" यदि छवि या दस्तावेज़ पर संबंधित जानकारी मिलती है तो Amazon Textract टेक्स्ट, आत्मविश्वास और अन्य मेटाडेटा लौटाता है। Amazon Textract क्वेरी अनुरोध का एक उदाहरण निम्नलिखित है:

textract.analyze_document(
        Document={'S3Object': {'Bucket': data_bucket, 'Name': s3_key}},
        FeatureTypes=["QUERIES"],
        QueriesConfig={
                'Queries': [
                    {
                        'Text': 'What is the DLN?',
                       'Alias': 'The DLN number - unique identifier of the form'
                    }
               ]
        }
)

डेटा मॉडल को परिभाषित करें

नमूना समाधान सामान्य व्यापार नियम मूल्यांकन की सेवा के लिए संरचित प्रारूप में डेटा का निर्माण करता है। निकाले गए मान रखने के लिए, आप प्रत्येक दस्तावेज़ पृष्ठ के लिए एक डेटा मॉडल परिभाषित कर सकते हैं। निम्न छवि दिखाती है कि पृष्ठ 1 पर पाठ JSON फ़ील्ड में कैसे मैप करता है।

प्रत्येक फ़ील्ड पृष्ठ पर दस्तावेज़ के टेक्स्ट, चेक बॉक्स, या तालिका/फ़ॉर्म सेल का प्रतिनिधित्व करती है। JSON ऑब्जेक्ट निम्न कोड की तरह दिखता है:

{
    "dln": {
        "value": "93493319020929",
        "confidence": 0.9765, 
        "block": {} 
    },
    "omb_no": {
        "value": "1545-0047",
        "confidence": 0.9435,
        "block": {}
    },
    ...
}

आप विस्तृत JSON संरचना परिभाषा में पा सकते हैं गीथहब रेपो.

व्यावसायिक नियमों के विरुद्ध डेटा का मूल्यांकन करें

नमूना समाधान एक शर्त वर्ग के साथ आता है - एक सामान्य नियम इंजन जो निकाले गए डेटा (जैसा कि डेटा मॉडल में परिभाषित किया गया है) और नियम (जैसा कि अनुकूलित व्यावसायिक नियमों में परिभाषित किया गया है) लेता है। यह विफल और संतुष्ट शर्तों के साथ दो सूचियां देता है। हम परिणाम का उपयोग यह तय करने के लिए कर सकते हैं कि क्या हमें दस्तावेज़ को मानव समीक्षा के लिए Amazon A2I को भेजना चाहिए।

कंडीशन क्लास सोर्स कोड नमूने में है गीथहब रेपो. यह बुनियादी सत्यापन तर्क का समर्थन करता है, जैसे कि एक स्ट्रिंग की लंबाई, मूल्य सीमा और आत्मविश्वास स्कोर सीमा को मान्य करना। आप अधिक शर्त प्रकारों और जटिल सत्यापन तर्क का समर्थन करने के लिए कोड को संशोधित कर सकते हैं।

एक अनुकूलित Amazon A2I वेब UI बनाएं

Amazon A2I आपको a . को परिभाषित करके समीक्षक के वेब UI को अनुकूलित करने की अनुमति देता है कार्यकर्ता कार्य टेम्पलेट. टेम्पलेट HTML और जावास्क्रिप्ट में एक स्थिर वेबपेज है। आप का उपयोग करके अनुकूलित समीक्षक पृष्ठ पर डेटा पास कर सकते हैं तरल वाक्य - विन्यास।

नमूना समाधान में, कस्टम Amazon A2I UI टेम्प्लेट बाईं ओर पृष्ठ और दाईं ओर विफलता की स्थिति प्रदर्शित करता है। समीक्षक इसका उपयोग निष्कर्षण मूल्य को सही करने और अपनी टिप्पणी जोड़ने के लिए कर सकते हैं।

निम्न स्क्रीनशॉट हमारे अनुकूलित Amazon A2I UI को दिखाता है। यह बाईं ओर मूल छवि दस्तावेज़ और दाईं ओर निम्न विफल स्थितियों को दिखाता है:

• DLN संख्या 16 वर्ण लंबी होनी चाहिए। वास्तविक DLN में 15 वर्ण होते हैं।
• नियोक्ता_आईडी का कॉन्फिडेंस स्कोर 99% से कम है। वास्तविक आत्मविश्वास स्कोर लगभग 98% है।

समीक्षक इन परिणामों को मैन्युअल रूप से सत्यापित कर सकते हैं और इसमें टिप्पणियां जोड़ सकते हैं कारण बदलें टेक्स्ट बॉक्स।

Amazon A2I को किसी भी कस्टम ML वर्कफ़्लो में एकीकृत करने के बारे में अधिक जानकारी के लिए, 60 से अधिक देखें पूर्व-निर्मित कार्यकर्ता टेम्पलेट GitHub रेपो पर और कस्टम टास्क प्रकारों के साथ अमेज़न संवर्धित ऐ का उपयोग करें.

Amazon A2I आउटपुट को प्रोसेस करें

समीक्षक द्वारा Amazon A2I अनुकूलित UI का उपयोग करने के बाद परिणाम की पुष्टि करता है और चुनता है सब्मिट, Amazon A2I एक JSON फ़ाइल को S3 बकेट फ़ोल्डर में संग्रहीत करता है। JSON फ़ाइल में रूट स्तर पर निम्नलिखित जानकारी शामिल है:

• Amazon A2I प्रवाह परिभाषा ARN और मानव लूप नाम
• मानवीय उत्तर (कस्टमाइज्ड Amazon A2I UI द्वारा एकत्रित समीक्षक का इनपुट)
• इनपुट सामग्री (मानव लूप कार्य शुरू करते समय Amazon A2I को भेजा गया मूल डेटा)

Amazon A2I द्वारा उत्पन्न एक नमूना JSON निम्नलिखित है:

{
  "flowDefinitionArn": "arn:aws:sagemaker:us-east-1:711334203977:flow-definition/a2i-custom-ui-demo-workflow",
  "humanAnswers": [
    {
      "acceptanceTime": "2022-08-23T15:23:53.488Z",
      "answerContent": {
        "Change Reason 1": "Missing X at the end.",
        "True Value 1": "93493319020929X",
        "True Value 2": "04-3018996"
      },
      "submissionTime": "2022-08-23T15:24:47.991Z",
      "timeSpentInSeconds": 54.503,
      "workerId": "94de99f1bc6324b8",
      "workerMetadata": {
        "identityData": {
          "identityProviderType": "Cognito",
          "issuer": "https://cognito-idp.us-east-1.amazonaws.com/us-east-1_URd6f6sie",
          "sub": "cef8d484-c640-44ea-8369-570cdc132d2d"
        }
      }
    }
  ],
  "humanLoopName": "custom-loop-9b4e67ff-2c9f-40f9-aae5-0e26316c905c",
  "inputContent": {...} # the original input send to A2I when starting the human review task
}

आप Amazon A2I आउटपुट JSON से जानकारी पार्स करने के लिए एक्सट्रेक्ट, ट्रांसफ़ॉर्म और लोड (ETL) लॉजिक लागू कर सकते हैं और इसे किसी फ़ाइल या डेटाबेस में स्टोर कर सकते हैं। नमूना समाधान a . के साथ आता है CSV फ़ाइल संसाधित डेटा के साथ। आप अगले भाग में दिए गए निर्देशों का पालन करके बीआई डैशबोर्ड बनाने के लिए इसका उपयोग कर सकते हैं।

Amazon QuickSight में एक डैशबोर्ड बनाएं

नमूना समाधान में Amazon QuickSight द्वारा प्रस्तुत विज़ुअलाइज़ेशन डैशबोर्ड के साथ एक रिपोर्टिंग चरण शामिल है। बीआई डैशबोर्ड प्रमुख मीट्रिक दिखाता है जैसे कि स्वचालित रूप से या मैन्युअल रूप से संसाधित किए गए दस्तावेज़ों की संख्या, सबसे लोकप्रिय फ़ील्ड जिन्हें मानव समीक्षा की आवश्यकता होती है, और अन्य अंतर्दृष्टि। यह डैशबोर्ड आपको दस्तावेज़ प्रसंस्करण पाइपलाइन की निगरानी करने और मानव समीक्षा के सामान्य कारणों का विश्लेषण करने में मदद कर सकता है। आप मानव इनपुट को और कम करके कार्यप्रवाह को अनुकूलित कर सकते हैं।

नमूना डैशबोर्ड में बुनियादी मीट्रिक शामिल हैं। डेटा में अधिक अंतर्दृष्टि दिखाने के लिए आप Amazon QuickSight का उपयोग करके समाधान का विस्तार कर सकते हैं।

अधिक दस्तावेज़ों और व्यावसायिक नियमों का समर्थन करने के लिए समाधान का विस्तार करें

संबंधित व्यावसायिक नियमों के साथ अधिक दस्तावेज़ पृष्ठों का समर्थन करने के लिए समाधान का विस्तार करने के लिए, आपको निम्नलिखित परिवर्तन करने होंगे:

• JSON संरचना में नए पृष्ठ के लिए एक डेटा मॉडल बनाएं जो उन सभी मानों का प्रतिनिधित्व करता है जिन्हें आप पृष्ठों से निकालना चाहते हैं। को देखें डेटा मॉडल को परिभाषित करें विस्तृत प्रारूप के लिए अनुभाग।
• दस्तावेज़ से टेक्स्ट निकालने और डेटा मॉडल में मानों को पॉप्युलेट करने के लिए Amazon Textract का उपयोग करें।
• JSON प्रारूप में पृष्ठ से संबंधित व्यावसायिक नियम जोड़ें। को देखें व्यावसायिक नियमों को अनुकूलित करें विस्तृत प्रारूप के लिए अनुभाग।

समाधान में कस्टम Amazon A2I UI सामान्य है, जिसे नए व्यावसायिक नियमों का समर्थन करने के लिए बदलाव की आवश्यकता नहीं है।

निष्कर्ष

बुद्धिमान दस्तावेज़ प्रसंस्करण उच्च मांग में है, और कंपनियों को अपने अद्वितीय व्यावसायिक तर्क का समर्थन करने के लिए एक अनुकूलित पाइपलाइन की आवश्यकता होती है। Amazon A2I आपके मानव समीक्षा उपयोग के मामलों को लागू करने के लिए Amazon Textract के साथ एकीकृत एक अंतर्निहित टेम्पलेट भी प्रदान करता है। यह आपको लचीली आवश्यकताओं को पूरा करने के लिए समीक्षक पृष्ठ को अनुकूलित करने की भी अनुमति देता है।

इस पोस्ट ने आपको लचीले व्यावसायिक नियमों का समर्थन करने वाली आईडीपी पाइपलाइन बनाने के लिए अमेज़ॅन टेक्स्टट्रैक्ट और अमेज़ॅन ए 2 आई का उपयोग करके एक संदर्भ समाधान के माध्यम से मार्गदर्शन किया। आप इसका उपयोग करके इसे आजमा सकते हैं ज्यूपिटर नोटबुक GitHub IDP वर्कशॉप रेपो में।

लेखक के बारे में

लाना झांगो बुद्धिमान दस्तावेज़ प्रसंस्करण और सामग्री मॉडरेशन के लिए एआई और एमएल में विशेषज्ञता के साथ एडब्ल्यूएस डब्ल्यूडब्ल्यूएसओ एआई सर्विसेज टीम में एक सीनियर सॉल्यूशंस आर्किटेक्ट हैं। वह एडब्ल्यूएस एआई सेवाओं को बढ़ावा देने और ग्राहकों को अपने व्यावसायिक समाधान बदलने में मदद करने के बारे में भावुक है।

सोनाली साहू अमेज़ॅन वेब सर्विसेज में इंटेलिजेंट डॉक्यूमेंट प्रोसेसिंग एआई / एमएल सॉल्यूशंस आर्किटेक्ट टीम का नेतृत्व कर रहा है। वह एक भावुक टेक्नोफाइल है और नवाचार का उपयोग करके जटिल समस्याओं को हल करने के लिए ग्राहकों के साथ काम करना पसंद करती है। उनका मुख्य फोकस आर्टिफिशियल इंटेलिजेंस और इंटेलिजेंट डॉक्यूमेंट प्रोसेसिंग के लिए मशीन लर्निंग है।