মানব পর্যালোচনা এবং BI ভিজ্যুয়ালাইজেশন সহ বুদ্ধিমান নথি প্রক্রিয়াকরণের জন্য ব্যবসার নিয়ম কাস্টমাইজ করুন

শিল্প জুড়ে প্রতিদিন প্রচুর পরিমাণে ব্যবসায়িক নথি প্রক্রিয়া করা হয়। এই নথিগুলির মধ্যে অনেকগুলি কাগজ-ভিত্তিক, ছবি হিসাবে আপনার সিস্টেমে স্ক্যান করা হয়, বা পিডিএফের মতো একটি অসংগঠিত বিন্যাসে। এই নথিগুলি প্রক্রিয়া করার সময় প্রতিটি কোম্পানি তার ব্যবসায়িক পটভূমির সাথে যুক্ত অনন্য নিয়ম প্রয়োগ করতে পারে। কীভাবে সঠিকভাবে তথ্য বের করা যায় এবং নমনীয়ভাবে সেগুলিকে প্রক্রিয়া করা যায় তা অনেক কোম্পানির সামনে একটি চ্যালেঞ্জ।

অ্যামাজন ইন্টেলিজেন্ট ডকুমেন্ট প্রসেসিং (IDP) আপনাকে পূর্ববর্তী ML অভিজ্ঞতা ছাড়াই শিল্প-নেতৃস্থানীয় মেশিন লার্নিং (ML) প্রযুক্তির সুবিধা নিতে দেয়। এই পোস্টে অন্তর্ভুক্ত একটি সমাধান প্রবর্তন আমাজন আইডিপি কর্মশালা Amazon AI পরিষেবাগুলি ব্যবহার করে নমনীয় ব্যবসার নিয়মগুলি পরিবেশন করার জন্য নথিগুলি কীভাবে প্রক্রিয়া করা যায় তা প্রদর্শন করে৷ আপনি নিম্নলিখিত ধাপে ধাপে ব্যবহার করতে পারেন জুপিটার নোটবুক ল্যাব সম্পূর্ণ করতে।

অ্যামাজন টেক্সট্র্যাক আপনাকে সহজেই বিভিন্ন নথি থেকে পাঠ্য বের করতে সাহায্য করে, এবং অ্যামাজন অগমেন্টেড এআই (Amazon A2I) আপনাকে ML পূর্বাভাসের একটি মানবিক পর্যালোচনা বাস্তবায়ন করতে দেয়। ডিফল্ট অ্যামাজন A2I টেমপ্লেট আপনাকে নিয়মের উপর ভিত্তি করে একটি মানব পর্যালোচনা পাইপলাইন তৈরি করতে দেয়, যেমন যখন নিষ্কাশন আত্মবিশ্বাস স্কোর পূর্ব-নির্ধারিত থ্রেশহোল্ডের চেয়ে কম হয় বা প্রয়োজনীয় কীগুলি অনুপস্থিত থাকে। কিন্তু একটি উত্পাদন পরিবেশে, নমনীয় ব্যবসায়িক নিয়মগুলিকে সমর্থন করার জন্য আপনার ডকুমেন্ট প্রসেসিং পাইপলাইন প্রয়োজন, যেমন স্ট্রিং ফর্ম্যাট যাচাই করা, ডেটা টাইপ এবং পরিসীমা যাচাই করা এবং নথি জুড়ে ক্ষেত্রগুলি যাচাই করা। এই পোস্টটি দেখায় কিভাবে আপনি Amazon Textract এবং Amazon A2I ব্যবহার করে নমনীয় ব্যবসার নিয়ম সমর্থন করে একটি জেনেরিক ডকুমেন্ট প্রসেসিং পাইপলাইন কাস্টমাইজ করতে পারেন।

সমাধান ওভারভিউ

আমাদের নমুনা সমাধানের জন্য, আমরা ব্যবহার করি ট্যাক্স ফর্ম 990, একটি US IRS (অভ্যন্তরীণ রাজস্ব পরিষেবা) ফর্ম যা জনসাধারণকে একটি অলাভজনক সংস্থা সম্পর্কে আর্থিক তথ্য প্রদান করে৷ এই উদাহরণের জন্য, আমরা ফর্মের প্রথম পৃষ্ঠায় কিছু ক্ষেত্রের জন্য শুধুমাত্র নিষ্কাশন যুক্তি কভার করি। আপনি আরও নমুনা নথি পেতে পারেন আইআরএস ওয়েবসাইট.

নিম্নলিখিত চিত্রটি IDP পাইপলাইনকে চিত্রিত করে যা মানুষের পর্যালোচনা সহ কাস্টমাইজড ব্যবসার নিয়মগুলিকে সমর্থন করে৷

স্থাপত্যটি তিনটি যৌক্তিক পর্যায়ে গঠিত:

• নিষ্কাশন - 990 ট্যাক্স ফর্ম থেকে ডেটা বের করুন (আমরা উদাহরণ হিসাবে পৃষ্ঠা 1 ব্যবহার করি)।
  • একটি সঞ্চিত একটি নমুনা ইমেজ পুনরুদ্ধার করুন আমাজন সিম্পল স্টোরেজ সার্ভিস (অ্যামাজন এস 3) বালতি।
  • Amazon Textract analyze_document API ব্যবহার করে কল করুন তুমি চাও পৃষ্ঠা থেকে পাঠ্য বের করার বৈশিষ্ট্য।
• ভ্যালিডেশন - হিউম্যান-ইন-দ্য-লুপ পর্যালোচনা সহ নমনীয় ব্যবসায়িক নিয়ম প্রয়োগ করুন।
  • ব্যবসার নিয়মের বিরুদ্ধে নিষ্কাশিত ডেটা যাচাই করুন, যেমন একটি আইডি ক্ষেত্রের দৈর্ঘ্য যাচাই করা।
  • কোনো ব্যবসার নিয়ম ব্যর্থ হলে পর্যালোচনা করার জন্য ডকুমেন্টটি Amazon A2I-তে পাঠান।
  • সমালোচকরা নিষ্কাশন ফলাফল যাচাই করতে Amazon A2I UI (একটি কাস্টমাইজযোগ্য ওয়েবসাইট) ব্যবহার করেন।
• BI ভিজ্যুয়ালাইজেশন - আমরা ব্যাবহার করি অ্যামাজন কুইকসাইট একটি ব্যবসায়িক বুদ্ধিমত্তা (BI) ড্যাশবোর্ড তৈরি করতে যা প্রক্রিয়ার অন্তর্দৃষ্টি প্রদর্শন করে।

ব্যবসার নিয়ম কাস্টমাইজ করুন

আপনি নিম্নলিখিত JSON ফর্ম্যাটে একটি সাধারণ ব্যবসার নিয়ম সংজ্ঞায়িত করতে পারেন। নমুনা কোডে, আমরা তিনটি নিয়ম সংজ্ঞায়িত করি:

• প্রথম নিয়মটি নিয়োগকর্তা আইডি ক্ষেত্রের জন্য। Amazon Textract কনফিডেন্স স্কোর 99% এর কম হলে নিয়মটি ব্যর্থ হয়। এই পোস্টের জন্য, আমরা কনফিডেন্স স্কোর থ্রেশহোল্ড উচ্চ সেট করেছি, যা ডিজাইনের মাধ্যমে ভেঙ্গে যাবে। বাস্তব-বিশ্বের পরিবেশে অপ্রয়োজনীয় মানুষের প্রচেষ্টা কমাতে আপনি থ্রেশহোল্ডকে আরও যুক্তিসঙ্গত মানতে সামঞ্জস্য করতে পারেন, যেমন 90%।
• দ্বিতীয় নিয়মটি হল DLN ক্ষেত্রের (ট্যাক্স ফর্মের অনন্য শনাক্তকারী), যা ডাউনস্ট্রিম প্রসেসিং লজিকের জন্য প্রয়োজন। এই নিয়ম ব্যর্থ হয় যদি DLN ক্ষেত্রটি অনুপস্থিত থাকে বা একটি খালি মান থাকে।
• তৃতীয় নিয়মটি DLN ক্ষেত্রের জন্যও কিন্তু একটি ভিন্ন শর্তের ধরন সহ: দৈর্ঘ্য চেক। DLN দৈর্ঘ্য 16 অক্ষর না হলে নিয়ম ভঙ্গ হয়।

নিম্নলিখিত কোড JSON বিন্যাসে আমাদের ব্যবসার নিয়ম দেখায়:

rules = [
    {
        "description": "Employee Id confidence score should greater than 99",
        "field_name": "d.employer_id",
        "field_name_regex": None, # support Regex: "_confidence$",
        "condition_category": "Confidence",
        "condition_type": "ConfidenceThreshold",
        "condition_setting": "99",
    },
    {
        "description": "dln is required",
        "field_name": "dln",
        "condition_category": "Required",
        "condition_type": "Required",
        "condition_setting": None,
    },
    {
        "description": "dln length should be 16",
        "field_name": "dln",
        "condition_category": "LengthCheck",
        "condition_type": "ValueRegex",
        "condition_setting": "^[0-9a-zA-Z]{16}$",
    }
]

আপনি একই কাঠামো অনুসরণ করে আরও ব্যবসায়িক নিয়ম যোগ করে সমাধানটি প্রসারিত করতে পারেন।

একটি Amazon Textract ক্যোয়ারী ব্যবহার করে টেক্সট বের করুন

নমুনা সমাধানে, আমরা Amazon Textract analyze_document API কল করি প্রশ্ন নির্দিষ্ট প্রশ্ন জিজ্ঞাসা করে ক্ষেত্র নিষ্কাশন করার বৈশিষ্ট্য। আপনাকে নথিতে ডেটার গঠন (টেবিল, ফর্ম, অন্তর্নিহিত ক্ষেত্র, নেস্টেড ডেটা) জানার দরকার নেই বা নথির সংস্করণ এবং বিন্যাস জুড়ে তারতম্য সম্পর্কে চিন্তা করতে হবে না৷ আপনি উচ্চ নির্ভুলতার সাথে যে তথ্য খুঁজছেন তা বের করতে ক্যোয়ারীগুলি ভিজ্যুয়াল, স্থানিক এবং ভাষার সংকেতের সংমিশ্রণ ব্যবহার করে।

DLN ক্ষেত্রের মান বের করতে, আপনি প্রাকৃতিক ভাষায় প্রশ্ন সহ একটি অনুরোধ পাঠাতে পারেন, যেমন "DLN কি?" Amazon Textract টেক্সট, আত্মবিশ্বাস এবং অন্যান্য মেটাডেটা ফেরত দেয় যদি এটি চিত্র বা নথিতে সংশ্লিষ্ট তথ্য খুঁজে পায়। নিম্নলিখিত একটি Amazon Textract ক্যোয়ারী অনুরোধের একটি উদাহরণ:

textract.analyze_document(
        Document={'S3Object': {'Bucket': data_bucket, 'Name': s3_key}},
        FeatureTypes=["QUERIES"],
        QueriesConfig={
                'Queries': [
                    {
                        'Text': 'What is the DLN?',
                       'Alias': 'The DLN number - unique identifier of the form'
                    }
               ]
        }
)

ডেটা মডেল সংজ্ঞায়িত করুন

নমুনা সমাধান জেনেরিক ব্যবসার নিয়ম মূল্যায়ন পরিবেশন করার জন্য একটি কাঠামোগত বিন্যাসে ডেটা তৈরি করে। নিষ্কাশিত মান রাখতে, আপনি প্রতিটি নথি পৃষ্ঠার জন্য একটি ডেটা মডেল নির্ধারণ করতে পারেন। নিম্নলিখিত চিত্রটি দেখায় যে পৃষ্ঠা 1-এর পাঠ্যটি কীভাবে JSON ক্ষেত্রের সাথে মানচিত্র করে।

প্রতিটি ক্ষেত্র একটি নথির পাঠ্য, চেক বক্স, বা পৃষ্ঠায় টেবিল/ফর্ম সেল উপস্থাপন করে। JSON অবজেক্টটি নিম্নলিখিত কোডের মত দেখাচ্ছে:

{
    "dln": {
        "value": "93493319020929",
        "confidence": 0.9765, 
        "block": {} 
    },
    "omb_no": {
        "value": "1545-0047",
        "confidence": 0.9435,
        "block": {}
    },
    ...
}

আপনি বিস্তারিত JSON গঠন সংজ্ঞা পেতে পারেন গিটহুব রেপো.

ব্যবসার নিয়মের বিরুদ্ধে ডেটা মূল্যায়ন করুন

নমুনা সমাধানটি একটি কন্ডিশন ক্লাসের সাথে আসে—একটি জেনেরিক নিয়ম ইঞ্জিন যা এক্সট্র্যাক্ট করা ডেটা (ডেটা মডেলে সংজ্ঞায়িত করা হয়েছে) এবং নিয়মগুলি (কাস্টমাইজড ব্যবসায়িক নিয়মে সংজ্ঞায়িত করা হয়েছে) নেয়। এটি ব্যর্থ এবং সন্তুষ্ট শর্ত সহ দুটি তালিকা প্রদান করে। আমরা মানব পর্যালোচনার জন্য ডকুমেন্টটি Amazon A2I-এ পাঠাতে হবে কিনা তা সিদ্ধান্ত নিতে আমরা ফলাফল ব্যবহার করতে পারি।

কন্ডিশন ক্লাস সোর্স কোড নমুনায় আছে গিটহুব রেপো. এটি মৌলিক বৈধতা যুক্তি সমর্থন করে, যেমন একটি স্ট্রিং এর দৈর্ঘ্য, মান পরিসীমা, এবং আত্মবিশ্বাস স্কোর থ্রেশহোল্ড যাচাই করা। আপনি আরও শর্তের ধরন এবং জটিল বৈধতা যুক্তি সমর্থন করার জন্য কোডটি পরিবর্তন করতে পারেন।

একটি কাস্টমাইজড Amazon A2I ওয়েব UI তৈরি করুন৷

অ্যামাজন A2I আপনাকে একটি সংজ্ঞায়িত করে পর্যালোচনাকারীর ওয়েব UI কাস্টমাইজ করার অনুমতি দেয় কর্মীর টাস্ক টেমপ্লেট. টেমপ্লেট হল এইচটিএমএল এবং জাভাস্ক্রিপ্টের একটি স্ট্যাটিক ওয়েবপেজ। আপনি ব্যবহার করে কাস্টমাইজড পর্যালোচক পৃষ্ঠায় ডেটা পাঠাতে পারেন তরল বাক্য গঠন.

নমুনা সমাধান মধ্যে, কাস্টম অ্যামাজন A2I UI টেমপ্লেট বাম দিকে পৃষ্ঠা এবং ডানদিকে ব্যর্থতার অবস্থা প্রদর্শন করে। সমালোচকরা নিষ্কাশন মান সংশোধন করতে এবং তাদের মন্তব্য যোগ করতে এটি ব্যবহার করতে পারেন।

নিম্নলিখিত স্ক্রিনশটটি আমাদের কাস্টমাইজড অ্যামাজন A2I UI দেখায়। এটি বাম দিকে মূল চিত্র নথি এবং ডানদিকে নিম্নলিখিত ব্যর্থ শর্তগুলি দেখায়:

• DLN সংখ্যা 16 অক্ষর দীর্ঘ হওয়া উচিত। প্রকৃত DLN-এ 15টি অক্ষর রয়েছে।
• Employer_id-এর কনফিডেন্স স্কোর ৯৯%-এর চেয়ে কম। প্রকৃত আত্মবিশ্বাসের স্কোর প্রায় 99%।

পর্যালোচকরা ম্যানুয়ালি এই ফলাফল যাচাই করতে পারেন এবং মন্তব্য যোগ করতে পারেন কারণ পরিবর্তন করুন টেক্সট বক্স

যেকোন কাস্টম এমএল ওয়ার্কফ্লোতে Amazon A2I সংহত করার বিষয়ে আরও তথ্যের জন্য, 60-এর উপরে পড়ুন পূর্ব-নির্মিত কর্মী টেমপ্লেট GitHub রেপো এবং কাস্টম টাস্ক টাইপ সহ Amazon Augmented AI ব্যবহার করুন.

Amazon A2I আউটপুট প্রক্রিয়া করুন

পর্যালোচক Amazon A2I কাস্টমাইজড UI ব্যবহার করার পর ফলাফল যাচাই করে এবং বেছে নেয় জমা দিন, Amazon A2I S3 বাকেট ফোল্ডারে একটি JSON ফাইল সঞ্চয় করে। JSON ফাইলে রুট স্তরে নিম্নলিখিত তথ্য রয়েছে:

• Amazon A2I ফ্লো সংজ্ঞা ARN এবং মানব লুপের নাম
• মানুষের উত্তর (পর্যালোচকের ইনপুট কাস্টমাইজড অ্যামাজন A2I UI দ্বারা সংগৃহীত)
• ইনপুট সামগ্রী (মানব লুপ টাস্ক শুরু করার সময় Amazon A2I তে পাঠানো আসল ডেটা)

নিম্নলিখিতটি Amazon A2I দ্বারা জেনারেট করা একটি নমুনা JSON:

{
  "flowDefinitionArn": "arn:aws:sagemaker:us-east-1:711334203977:flow-definition/a2i-custom-ui-demo-workflow",
  "humanAnswers": [
    {
      "acceptanceTime": "2022-08-23T15:23:53.488Z",
      "answerContent": {
        "Change Reason 1": "Missing X at the end.",
        "True Value 1": "93493319020929X",
        "True Value 2": "04-3018996"
      },
      "submissionTime": "2022-08-23T15:24:47.991Z",
      "timeSpentInSeconds": 54.503,
      "workerId": "94de99f1bc6324b8",
      "workerMetadata": {
        "identityData": {
          "identityProviderType": "Cognito",
          "issuer": "https://cognito-idp.us-east-1.amazonaws.com/us-east-1_URd6f6sie",
          "sub": "cef8d484-c640-44ea-8369-570cdc132d2d"
        }
      }
    }
  ],
  "humanLoopName": "custom-loop-9b4e67ff-2c9f-40f9-aae5-0e26316c905c",
  "inputContent": {...} # the original input send to A2I when starting the human review task
}

আপনি Amazon A2I আউটপুট JSON থেকে তথ্য পার্স করার জন্য এক্সট্রাক্ট, ট্রান্সফর্ম এবং লোড (ETL) যুক্তি প্রয়োগ করতে পারেন এবং এটি একটি ফাইল বা ডাটাবেসে সংরক্ষণ করতে পারেন। নমুনা সমাধান একটি সঙ্গে আসে CSV ফাইল প্রক্রিয়াকৃত ডেটা সহ। আপনি পরবর্তী বিভাগে নির্দেশাবলী অনুসরণ করে একটি BI ড্যাশবোর্ড তৈরি করতে এটি ব্যবহার করতে পারেন।

Amazon QuickSight-এ একটি ড্যাশবোর্ড তৈরি করুন

নমুনা সমাধানটিতে Amazon QuickSight দ্বারা পরিবেশিত একটি ভিজ্যুয়ালাইজেশন ড্যাশবোর্ড সহ একটি রিপোর্টিং পর্যায় অন্তর্ভুক্ত রয়েছে। BI ড্যাশবোর্ড মূল মেট্রিক্স দেখায় যেমন স্বয়ংক্রিয়ভাবে বা ম্যানুয়ালি প্রক্রিয়াকৃত নথির সংখ্যা, সবচেয়ে জনপ্রিয় ক্ষেত্র যা মানুষের পর্যালোচনার প্রয়োজন হয় এবং অন্যান্য অন্তর্দৃষ্টি। এই ড্যাশবোর্ডটি আপনাকে ডকুমেন্ট প্রসেসিং পাইপলাইনের একটি তত্ত্বাবধান পেতে এবং মানুষের পর্যালোচনার কারণে সাধারণ কারণগুলি বিশ্লেষণ করতে সহায়তা করতে পারে। আপনি মানুষের ইনপুট আরও কমিয়ে ওয়ার্কফ্লো অপ্টিমাইজ করতে পারেন।

নমুনা ড্যাশবোর্ডে মৌলিক মেট্রিক্স রয়েছে। আপনি ডেটাতে আরও অন্তর্দৃষ্টি দেখাতে Amazon QuickSight ব্যবহার করে সমাধানটি প্রসারিত করতে পারেন।

আরও নথি এবং ব্যবসার নিয়ম সমর্থন করার জন্য সমাধানটি প্রসারিত করুন

সংশ্লিষ্ট ব্যবসায়িক নিয়মগুলির সাথে আরও নথির পৃষ্ঠাগুলিকে সমর্থন করার জন্য সমাধানটি প্রসারিত করতে, আপনাকে নিম্নলিখিত পরিবর্তনগুলি করতে হবে:

• JSON কাঠামোতে নতুন পৃষ্ঠার জন্য একটি ডেটা মডেল তৈরি করুন যা আপনি পৃষ্ঠাগুলি থেকে যে সমস্ত মানগুলি বের করতে চান তা উপস্থাপন করে৷ পড়ুন ডেটা মডেল সংজ্ঞায়িত করুন একটি বিস্তারিত বিন্যাসের জন্য বিভাগ।
• ডকুমেন্ট থেকে টেক্সট বের করতে এবং ডেটা মডেলে মানগুলি পূরণ করতে Amazon Textract ব্যবহার করুন।
• JSON ফর্ম্যাটে পৃষ্ঠার সাথে সম্পর্কিত ব্যবসার নিয়মগুলি যোগ করুন। পড়ুন ব্যবসার নিয়ম কাস্টমাইজ করুন বিস্তারিত বিন্যাসের জন্য বিভাগ।

সমাধানে কাস্টম Amazon A2I UI সাধারণ, যার জন্য নতুন ব্যবসার নিয়ম সমর্থন করার জন্য কোনো পরিবর্তনের প্রয়োজন নেই।

উপসংহার

বুদ্ধিমান নথি প্রক্রিয়াকরণের উচ্চ চাহিদা রয়েছে এবং কোম্পানিগুলির তাদের অনন্য ব্যবসায়িক যুক্তি সমর্থন করার জন্য একটি কাস্টমাইজড পাইপলাইন প্রয়োজন৷ Amazon A2I আপনার মানবিক পর্যালোচনা ব্যবহারের ক্ষেত্রে প্রয়োগ করার জন্য Amazon Textract-এর সাথে একীভূত একটি অন্তর্নির্মিত টেমপ্লেটও অফার করে। এটি আপনাকে নমনীয় প্রয়োজনীয়তাগুলি পরিবেশন করার জন্য পর্যালোচক পৃষ্ঠাটি কাস্টমাইজ করার অনুমতি দেয়।

এই পোস্টটি আপনাকে নমনীয় ব্যবসায়িক নিয়ম সমর্থন করে এমন একটি IDP পাইপলাইন তৈরি করতে Amazon Textract এবং Amazon A2I ব্যবহার করে একটি রেফারেন্স সমাধানের মাধ্যমে গাইড করেছে। আপনি এটি ব্যবহার করে চেষ্টা করতে পারেন জুপিটার নোটবুক GitHub IDP ওয়ার্কশপ রেপোতে।

লেখক সম্পর্কে

লানা ঝাং বুদ্ধিমান ডকুমেন্ট প্রসেসিং এবং কন্টেন্ট মডারেশনের জন্য AI এবং ML-এ দক্ষতা সহ AWS WWSO AI সার্ভিসেস টিমের একজন সিনিয়র সলিউশন আর্কিটেক্ট। তিনি AWS AI পরিষেবার প্রচার এবং গ্রাহকদের তাদের ব্যবসায়িক সমাধানগুলি রূপান্তরিত করতে সহায়তা করার বিষয়ে উত্সাহী৷

সোনালী সাহু আমাজন ওয়েব সার্ভিসে ইন্টেলিজেন্ট ডকুমেন্ট প্রসেসিং এআই/এমএল সলিউশন আর্কিটেক্ট টিমের নেতৃত্ব দিচ্ছে। তিনি একজন উত্সাহী টেকনোফাইল এবং উদ্ভাবন ব্যবহার করে জটিল সমস্যা সমাধানের জন্য গ্রাহকদের সাথে কাজ করা উপভোগ করেন। তার ফোকাসের মূল ক্ষেত্র হল কৃত্রিম বুদ্ধিমত্তা এবং বুদ্ধিমান নথি প্রক্রিয়াকরণের জন্য মেশিন লার্নিং।