تخصيص قواعد العمل لمعالجة المستندات الذكية من خلال المراجعة البشرية وتصور ذكاء الأعمال

تتم معالجة كمية هائلة من مستندات العمل يوميًا عبر الصناعات. العديد من هذه المستندات ورقية ، وتم مسحها ضوئيًا في نظامك كصور ، أو بتنسيق غير منظم مثل PDF. يجوز لكل شركة تطبيق قواعد فريدة مرتبطة بخلفيتها التجارية أثناء معالجة هذه المستندات. تعد كيفية استخراج المعلومات بدقة ومعالجتها بمرونة تحديًا تواجهه العديد من الشركات.

تتيح لك Amazon Intelligent Document Processing (IDP) الاستفادة من تقنية التعلم الآلي (ML) الرائدة في الصناعة دون خبرة سابقة في تعلم الآلة. يقدم هذا المنشور حلاً متضمنًا في ورشة أمازون آي دي بي عرض كيفية معالجة المستندات لخدمة قواعد عمل مرنة باستخدام خدمات Amazon AI. يمكنك استخدام ما يلي خطوة بخطوة دفتر جوبيتر لإكمال المختبر.

أمازون تيكستراك يساعدك على استخراج النص بسهولة من مستندات مختلفة ، و أمازون المعزز بالذكاء الاصطناعي (Amazon A2I) يسمح لك بتنفيذ مراجعة بشرية لتوقعات تعلم الآلة. يسمح لك قالب Amazon A2I الافتراضي بإنشاء مسار للمراجعة البشرية استنادًا إلى القواعد ، مثل عندما تكون درجة ثقة الاستخراج أقل من عتبة محددة مسبقًا أو عندما تكون المفاتيح المطلوبة مفقودة. ولكن في بيئة الإنتاج ، تحتاج إلى مسار معالجة المستندات لدعم قواعد العمل المرنة ، مثل التحقق من صحة تنسيق السلسلة ، والتحقق من نوع البيانات والنطاق ، والتحقق من صحة الحقول عبر المستندات. يوضح هذا المنشور كيف يمكنك استخدام Amazon Textract و Amazon A2I لتخصيص خط أنابيب عام لمعالجة المستندات يدعم قواعد العمل المرنة.

حل نظرة عامة

بالنسبة إلى حل العينة الخاص بنا ، نستخدم ملف النموذج الضريبي 990، نموذج US IRS (خدمة الإيرادات الداخلية) الذي يزود الجمهور بالمعلومات المالية حول منظمة غير ربحية. في هذا المثال ، نغطي فقط منطق الاستخراج لبعض الحقول في الصفحة الأولى من النموذج. يمكنك العثور على المزيد من نماذج المستندات على موقع IRS.

يوضح الرسم البياني التالي خط أنابيب IDP الذي يدعم قواعد العمل المخصصة مع المراجعة البشرية.

تتكون العمارة من ثلاث مراحل منطقية:

• استخلاص - استخراج البيانات من نموذج 990 الضريبي (نستخدم الصفحة 1 كمثال).
  • استرجع عينة صورة مخزنة في ملف خدمة تخزين أمازون البسيطة دلو (أمازون S3).
  • اتصل بواجهة برمجة تطبيقات Amazon Textract analysis_document باستخدام ملف الاستعلامات ميزة لاستخراج النص من الصفحة.
• التحقق - تطبيق قواعد عمل مرنة مع مراجعة بشرية في الحلقة.
  • تحقق من صحة البيانات المستخرجة مقابل قواعد العمل ، مثل التحقق من طول حقل المعرف.
  • أرسل المستند إلى Amazon A2I ليقوم الإنسان بمراجعته في حالة فشل أي من قواعد العمل.
  • يستخدم المراجعون Amazon A2I UI (موقع ويب قابل للتخصيص) للتحقق من نتيجة الاستخراج.
• تصور BI - نحن نستخدم أمازون QuickSight لإنشاء لوحة معلومات لذكاء الأعمال (BI) تعرض رؤى العملية.

تخصيص قواعد العمل

يمكنك تحديد قاعدة عمل عامة بتنسيق JSON التالي. في نموذج الكود ، نحدد ثلاث قواعد:

• القاعدة الأولى هي حقل معرف صاحب العمل. تفشل القاعدة إذا كانت درجة ثقة Amazon Textract أقل من 99٪. بالنسبة لهذا المنشور ، حددنا درجة الثقة العالية ، والتي ستنقسم حسب التصميم. يمكنك تعديل العتبة إلى قيمة أكثر منطقية لتقليل الجهد البشري غير الضروري في بيئة العالم الحقيقي ، مثل 90٪.
• القاعدة الثانية خاصة بحقل DLN (المعرف الفريد للنموذج الضريبي) ، وهو مطلوب لمنطق المعالجة النهائية. تفشل هذه القاعدة إذا كان حقل DLN مفقودًا أو يحتوي على قيمة فارغة.
• القاعدة الثالثة هي أيضًا لحقل DLN ولكن بنوع شرط مختلف: LengthCheck. يتم كسر القاعدة إذا كان طول DLN ليس 16 حرفًا.

يوضح الكود التالي قواعد العمل لدينا بتنسيق JSON:

rules = [
    {
        "description": "Employee Id confidence score should greater than 99",
        "field_name": "d.employer_id",
        "field_name_regex": None, # support Regex: "_confidence$",
        "condition_category": "Confidence",
        "condition_type": "ConfidenceThreshold",
        "condition_setting": "99",
    },
    {
        "description": "dln is required",
        "field_name": "dln",
        "condition_category": "Required",
        "condition_type": "Required",
        "condition_setting": None,
    },
    {
        "description": "dln length should be 16",
        "field_name": "dln",
        "condition_category": "LengthCheck",
        "condition_type": "ValueRegex",
        "condition_setting": "^[0-9a-zA-Z]{16}$",
    }
]

يمكنك توسيع الحل عن طريق إضافة المزيد من قواعد العمل باتباع نفس الهيكل.

استخراج النص باستخدام استعلام Amazon Textract

في نموذج الحل ، نطلق على Amazon Textract analysis_document API سؤال ميزة لاستخراج الحقول عن طريق طرح أسئلة محددة. لا تحتاج إلى معرفة بنية البيانات في المستند (جدول ، نموذج ، حقل ضمني ، بيانات متداخلة) أو القلق بشأن الاختلافات عبر إصدارات وتنسيقات المستند. تستخدم الاستعلامات مجموعة من الإشارات المرئية والمكانية واللغوية لاستخراج المعلومات التي تبحث عنها بدقة عالية.

لاستخراج قيمة لحقل DLN ، يمكنك إرسال طلب يتضمن أسئلة بلغات طبيعية ، مثل "ما المقصود بـ DLN؟" تقوم Amazon Textract بإرجاع النص والثقة والبيانات الوصفية الأخرى إذا عثرت على معلومات مقابلة في الصورة أو المستند. فيما يلي مثال على طلب استعلام Amazon Textract:

textract.analyze_document(
        Document={'S3Object': {'Bucket': data_bucket, 'Name': s3_key}},
        FeatureTypes=["QUERIES"],
        QueriesConfig={
                'Queries': [
                    {
                        'Text': 'What is the DLN?',
                       'Alias': 'The DLN number - unique identifier of the form'
                    }
               ]
        }
)

تحديد نموذج البيانات

يبني نموذج الحل البيانات بتنسيق منظم لخدمة تقييم قاعدة العمل العامة. للاحتفاظ بالقيم المستخرجة ، يمكنك تحديد نموذج بيانات لكل صفحة وثيقة. توضح الصورة التالية كيفية تعيين النص الموجود في الصفحة 1 لحقول JSON.

يمثل كل حقل نص المستند أو خانة الاختيار أو خلية الجدول / النموذج على الصفحة. يبدو كائن JSON مثل الكود التالي:

{
    "dln": {
        "value": "93493319020929",
        "confidence": 0.9765, 
        "block": {} 
    },
    "omb_no": {
        "value": "1545-0047",
        "confidence": 0.9435,
        "block": {}
    },
    ...
}

يمكنك العثور على تعريف بنية JSON التفصيلي في ملف جيثب ريبو.

تقييم البيانات مقابل قواعد العمل

يأتي حل العينة مع فئة شرط - محرك قواعد عامة يأخذ البيانات المستخرجة (كما هو محدد في نموذج البيانات) والقواعد (كما هو محدد في قواعد العمل المخصصة). تقوم بإرجاع قائمتين بشروط فاشلة ومرضية. يمكننا استخدام النتيجة لتحديد ما إذا كان ينبغي لنا إرسال المستند إلى Amazon A2I للمراجعة البشرية.

كود مصدر فئة الشرط موجود في العينة جيثب ريبو. وهو يدعم منطق التحقق الأساسي ، مثل التحقق من طول السلسلة ونطاق القيمة وعتبة درجة الثقة. يمكنك تعديل التعليمات البرمجية لدعم المزيد من أنواع الشروط ومنطق التحقق المعقد.

قم بإنشاء واجهة مستخدم ويب Amazon A2I مخصصة

يتيح لك Amazon A2I تخصيص واجهة مستخدم الويب الخاصة بالمراجع من خلال تحديد ملف قالب مهمة عامل. القالب عبارة عن صفحة ويب ثابتة بتنسيق HTML وجافا سكريبت. يمكنك تمرير البيانات إلى صفحة المراجع المخصصة باستخدام امتداد سائل بناء الجملة.

في حل العينة ، فإن ملف قالب Amazon A2I UI المخصص يعرض الصفحة على اليسار وشروط الفشل على اليمين. يمكن للمراجعين استخدامه لتصحيح قيمة الاستخراج وإضافة تعليقاتهم.

تُظهر لقطة الشاشة التالية واجهة مستخدم Amazon A2I المخصصة الخاصة بنا. يعرض مستند الصورة الأصلي على اليسار والحالات الفاشلة التالية على اليمين:

• يجب أن تتكون أرقام DLN من 16 حرفًا. يحتوي DLN الفعلي على 15 حرفًا.
• درجة ثقة صاحب العمل أقل من 99٪. تبلغ درجة الثقة الفعلية حوالي 98٪.

يمكن للمراجعين التحقق من هذه النتائج يدويًا وإضافة التعليقات بتنسيق سبب التغيير مربعات النص.

لمزيد من المعلومات حول دمج Amazon A2I في أي سير عمل ML مخصص ، راجع أكثر من 60 قوالب عامل مسبقة الصنع على GitHub repo و استخدم AI المعزز من Amazon مع أنواع المهام المخصصة.

معالجة إخراج Amazon A2I

بعد أن يقوم المراجع باستخدام واجهة المستخدم المخصصة Amazon A2I بالتحقق من النتيجة والاختيار تقدم، يقوم Amazon A2I بتخزين ملف JSON في مجلد حاوية S3. يتضمن ملف JSON المعلومات التالية على مستوى الجذر:

• تعريف تدفق Amazon A2I ARN واسم الحلقة البشرية
• الإجابات البشرية (تم جمع مدخلات المراجع بواسطة واجهة مستخدم Amazon A2I المخصصة)
• محتوى الإدخال (البيانات الأصلية المرسلة إلى Amazon A2I عند بدء مهمة الحلقة البشرية)

فيما يلي نموذج JSON تم إنشاؤه بواسطة Amazon A2I:

{
  "flowDefinitionArn": "arn:aws:sagemaker:us-east-1:711334203977:flow-definition/a2i-custom-ui-demo-workflow",
  "humanAnswers": [
    {
      "acceptanceTime": "2022-08-23T15:23:53.488Z",
      "answerContent": {
        "Change Reason 1": "Missing X at the end.",
        "True Value 1": "93493319020929X",
        "True Value 2": "04-3018996"
      },
      "submissionTime": "2022-08-23T15:24:47.991Z",
      "timeSpentInSeconds": 54.503,
      "workerId": "94de99f1bc6324b8",
      "workerMetadata": {
        "identityData": {
          "identityProviderType": "Cognito",
          "issuer": "https://cognito-idp.us-east-1.amazonaws.com/us-east-1_URd6f6sie",
          "sub": "cef8d484-c640-44ea-8369-570cdc132d2d"
        }
      }
    }
  ],
  "humanLoopName": "custom-loop-9b4e67ff-2c9f-40f9-aae5-0e26316c905c",
  "inputContent": {...} # the original input send to A2I when starting the human review task
}

يمكنك تنفيذ منطق الاستخراج والتحويل والتحميل (ETL) لتحليل المعلومات من ناتج Amazon A2I JSON وتخزينها في ملف أو قاعدة بيانات. حل العينة يأتي مع ملف ملف CSV مع البيانات المعالجة. يمكنك استخدامه لإنشاء لوحة معلومات BI باتباع الإرشادات الواردة في القسم التالي.

قم بإنشاء لوحة معلومات في Amazon QuickSight

يتضمن نموذج الحل مرحلة إعداد التقارير مع لوحة معلومات التصور التي تقدمها Amazon QuickSight. تعرض لوحة معلومات BI المقاييس الأساسية مثل عدد المستندات التي تتم معالجتها تلقائيًا أو يدويًا ، والحقول الأكثر شيوعًا التي تتطلب مراجعة بشرية ، ورؤى أخرى. يمكن أن تساعدك لوحة المعلومات هذه في الإشراف على خط أنابيب معالجة المستندات وتحليل الأسباب الشائعة التي تسبب المراجعة البشرية. يمكنك تحسين سير العمل عن طريق تقليل المدخلات البشرية.

تتضمن لوحة المعلومات النموذجية مقاييس أساسية. يمكنك توسيع الحل باستخدام Amazon QuickSight لإظهار المزيد من الأفكار حول البيانات.

قم بتوسيع الحل لدعم المزيد من المستندات وقواعد العمل

لتوسيع الحل لدعم المزيد من صفحات المستند مع قواعد العمل المقابلة ، تحتاج إلى إجراء التغييرات التالية:

• قم بإنشاء نموذج بيانات للصفحة الجديدة في بنية JSON تمثل جميع القيم التي تريد استخراجها من الصفحات. الرجوع إلى تحديد نموذج البيانات قسم لتنسيق مفصل.
• استخدم Amazon Textract لاستخراج النص من المستند وملء القيم في نموذج البيانات.
• أضف قواعد العمل المقابلة للصفحة بتنسيق JSON. الرجوع إلى تخصيص قواعد العمل قسم للتنسيق التفصيلي.

واجهة مستخدم Amazon A2I المخصصة في الحل عامة ، ولا تتطلب تغييرًا لدعم قواعد العمل الجديدة.

وفي الختام

هناك طلب كبير على معالجة المستندات الذكية ، وتحتاج الشركات إلى خط أنابيب مخصص لدعم منطق أعمالها الفريد. تقدم Amazon A2I أيضًا نموذجًا مضمنًا مدمجًا مع Amazon Textract لتنفيذ حالات استخدام المراجعة البشرية. كما يسمح لك بتخصيص صفحة المراجع لخدمة المتطلبات المرنة.

أرشدك هذا المنشور خلال حل مرجعي باستخدام Amazon Textract و Amazon A2I لبناء خط أنابيب IDP يدعم قواعد العمل المرنة. يمكنك تجربتها باستخدام ملف دفتر جوبيتر في مستودع ورشة عمل GitHub IDP.

عن المؤلفين

لانا تشانغ هو مهندس حلول كبير في فريق خدمات AWS WWSO AI ولديه خبرة في الذكاء الاصطناعي والتعلم الآلي لمعالجة المستندات الذكية وتعديل المحتوى. إنها متحمسة للترويج لخدمات AWS AI ومساعدة العملاء على تحويل حلول أعمالهم.

سونالي ساهو يقود فريق مهندس حلول الذكاء الاصطناعي / ML في معالجة المستندات الذكية في Amazon Web Services. إنها شغوفة بالتكنولوجيا وتستمتع بالعمل مع العملاء لحل المشكلات المعقدة باستخدام الابتكار. مجال تركيزها الأساسي هو الذكاء الاصطناعي والتعلم الآلي لمعالجة المستندات بذكاء.