قوانین تجاری را برای پردازش هوشمند اسناد با بررسی انسانی و تجسم BI سفارشی کنید

حجم عظیمی از اسناد تجاری روزانه در سراسر صنایع پردازش می شود. بسیاری از این اسناد مبتنی بر کاغذ هستند، به عنوان تصویر در سیستم شما اسکن می شوند، یا در قالب های بدون ساختار مانند PDF. هر شرکت ممکن است قوانین منحصر به فردی مرتبط با سابقه تجاری خود را در هنگام پردازش این اسناد اعمال کند. نحوه استخراج دقیق اطلاعات و پردازش آنها به صورت انعطاف پذیر چالشی است که بسیاری از شرکت ها با آن روبرو هستند.

پردازش اسناد هوشمند آمازون (IDP) به شما امکان می دهد بدون تجربه قبلی ML از فناوری یادگیری ماشینی (ML) پیشرو در صنعت استفاده کنید. این پست راه حلی را معرفی می کند که در کارگاه آمازون IDP نمایش نحوه پردازش اسناد برای ارائه قوانین تجاری انعطاف پذیر با استفاده از خدمات هوش مصنوعی آمازون. می توانید مرحله به مرحله زیر را استفاده کنید دفترچه ژوپیتر برای تکمیل آزمایشگاه

متن آمازون به شما کمک می کند تا به راحتی متن را از اسناد مختلف استخراج کنید و هوش مصنوعی آمازون افزوده شده است (Amazon A2I) به شما امکان می دهد یک بررسی انسانی از پیش بینی های ML را اجرا کنید. الگوی پیش‌فرض Amazon A2I به شما امکان می‌دهد تا یک خط لوله بررسی انسانی بر اساس قوانین ایجاد کنید، مانند زمانی که امتیاز اطمینان استخراج کمتر از یک آستانه از پیش تعریف‌شده است یا کلیدهای مورد نیاز وجود ندارد. اما در یک محیط تولید، شما به خط لوله پردازش اسناد برای پشتیبانی از قوانین تجاری انعطاف‌پذیر، مانند تأیید قالب رشته، تأیید نوع و محدوده داده، و تأیید فیلدها در اسناد نیاز دارید. این پست نشان می دهد که چگونه می توانید از Amazon Textract و Amazon A2I برای سفارشی کردن خط لوله پردازش اسناد عمومی که از قوانین تجاری انعطاف پذیر پشتیبانی می کند استفاده کنید.

بررسی اجمالی راه حل

برای محلول نمونه خود، از فرم مالیاتی 990، یک فرم IRS (سرویس درآمد داخلی) ایالات متحده که اطلاعات مالی یک سازمان غیرانتفاعی را در اختیار عموم قرار می دهد. برای این مثال، ما فقط منطق استخراج را برای برخی از فیلدهای صفحه اول فرم پوشش می دهیم. شما می توانید نمونه اسناد بیشتری را در سایت بیابید وب سایت IRS.

نمودار زیر خط لوله IDP را نشان می دهد که از قوانین تجاری سفارشی شده با بررسی انسانی پشتیبانی می کند.

معماری از سه مرحله منطقی تشکیل شده است:

• استخراج - داده ها را از فرم مالیات 990 استخراج کنید (به عنوان مثال از صفحه 1 استفاده می کنیم).
  • یک تصویر نمونه ذخیره شده در یک را بازیابی کنید سرویس ذخیره سازی ساده آمازون سطل (Amazon S3).
  • با استفاده از API تجزیه و تحلیل_document Amazon Texttract تماس بگیرید پرس و جو قابلیت استخراج متن از صفحه
• اعتبار - قوانین تجاری انعطاف پذیر را با بررسی انسان در حلقه اعمال کنید.
  • داده‌های استخراج‌شده را بر اساس قوانین تجاری، مانند اعتبارسنجی طول یک فیلد شناسه، اعتبارسنجی کنید.
  • سند را به Amazon A2I بفرستید تا در صورت شکست قوانین تجاری، انسان بررسی کند.
  • داوران از رابط کاربری Amazon A2I (یک وب سایت قابل تنظیم) برای تأیید نتیجه استخراج استفاده می کنند.
• تجسم BI - ما استفاده می کنیم آمازون QuickSight برای ساخت داشبورد هوش تجاری (BI) که بینش فرآیند را نشان می دهد.

قوانین کسب و کار را سفارشی کنید

می توانید یک قانون تجاری عمومی را در قالب JSON زیر تعریف کنید. در کد نمونه سه قانون تعریف می کنیم:

• اولین قانون مربوط به قسمت شناسه کارفرما است. اگر امتیاز اطمینان آمازون تکستکت کمتر از ۹۹ درصد باشد، این قانون شکست می‌خورد. برای این پست، آستانه امتیاز اطمینان را بالا تعیین کرده ایم که با طراحی شکسته می شود. شما می توانید آستانه را به مقدار معقول تری تنظیم کنید تا تلاش غیرضروری انسان در یک محیط واقعی مانند 99٪ کاهش یابد.
• قانون دوم مربوط به فیلد DLN (شناسه منحصر به فرد فرم مالیات) است که برای منطق پردازش پایین دستی مورد نیاز است. اگر فیلد DLN مفقود باشد یا مقدار آن خالی باشد، این قانون با شکست مواجه می شود.
• قانون سوم نیز برای فیلد DLN است اما با یک نوع شرط متفاوت: LengthCheck. اگر طول DLN 16 کاراکتر نباشد، این قانون شکسته می شود.

کد زیر قوانین کسب و کار ما را در قالب JSON نشان می دهد:

rules = [
    {
        "description": "Employee Id confidence score should greater than 99",
        "field_name": "d.employer_id",
        "field_name_regex": None, # support Regex: "_confidence$",
        "condition_category": "Confidence",
        "condition_type": "ConfidenceThreshold",
        "condition_setting": "99",
    },
    {
        "description": "dln is required",
        "field_name": "dln",
        "condition_category": "Required",
        "condition_type": "Required",
        "condition_setting": None,
    },
    {
        "description": "dln length should be 16",
        "field_name": "dln",
        "condition_category": "LengthCheck",
        "condition_type": "ValueRegex",
        "condition_setting": "^[0-9a-zA-Z]{16}$",
    }
]

شما می توانید راه حل را با اضافه کردن قوانین تجاری بیشتر با پیروی از همان ساختار گسترش دهید.

متن را با استفاده از پرس و جوی آمازون متن استخراج کنید

در راه حل نمونه، ما API متنی Amazon Analysis_document را می نامیم پرس و جو قابلیت استخراج فیلدها با پرسیدن سؤالات خاص. شما نیازی به دانستن ساختار داده ها در سند (جدول، فرم، فیلد ضمنی، داده های تودرتو) ندارید یا نگران تغییرات در نسخه ها و قالب های سند نیستید. کوئری ها از ترکیبی از نشانه های بصری، مکانی و زبانی برای استخراج اطلاعات مورد نظر شما با دقت بالا استفاده می کنند.

برای استخراج مقدار فیلد DLN، می‌توانید درخواستی با سؤالاتی به زبان‌های طبیعی ارسال کنید، مانند «DLN چیست؟» متن آمازون اگر اطلاعات مربوطه را روی تصویر یا سند بیابد، متن، اطمینان و سایر ابرداده ها را برمی گرداند. نمونه زیر نمونه ای از درخواست پرس و جو متن آمازون است:

textract.analyze_document(
        Document={'S3Object': {'Bucket': data_bucket, 'Name': s3_key}},
        FeatureTypes=["QUERIES"],
        QueriesConfig={
                'Queries': [
                    {
                        'Text': 'What is the DLN?',
                       'Alias': 'The DLN number - unique identifier of the form'
                    }
               ]
        }
)

مدل داده را تعریف کنید

راه‌حل نمونه داده‌ها را در قالبی ساختاریافته می‌سازد تا به ارزیابی قوانین تجاری عمومی ارائه شود. برای حفظ مقادیر استخراج شده، می توانید یک مدل داده برای هر صفحه سند تعریف کنید. تصویر زیر نشان می دهد که چگونه متن صفحه 1 به فیلدهای JSON نگاشت می شود.

هر فیلد نمایانگر متن، چک باکس یا سلول جدول/فرم سند در صفحه است. شی JSON شبیه کد زیر است:

{
    "dln": {
        "value": "93493319020929",
        "confidence": 0.9765, 
        "block": {} 
    },
    "omb_no": {
        "value": "1545-0047",
        "confidence": 0.9435,
        "block": {}
    },
    ...
}

شما می توانید تعریف دقیق ساختار JSON را در قسمت پیدا کنید GitHub repo.

داده ها را بر اساس قوانین تجاری ارزیابی کنید

راه حل نمونه با یک کلاس Condition ارائه می شود - یک موتور قوانین عمومی که داده های استخراج شده (همانطور که در مدل داده تعریف شده است) و قوانین (همانطور که در قوانین تجاری سفارشی تعریف شده است) را می گیرد. دو لیست را با شرایط ناموفق و راضی باز می گرداند. ما می توانیم از نتیجه برای تصمیم گیری در مورد ارسال سند به Amazon A2I برای بررسی انسانی استفاده کنیم.

کد منبع کلاس Condition در نمونه موجود است GitHub repo. از منطق اعتبارسنجی پایه مانند اعتبارسنجی طول رشته، محدوده مقدار و آستانه امتیاز اطمینان پشتیبانی می کند. می‌توانید کد را برای پشتیبانی از انواع شرایط بیشتر و منطق اعتبارسنجی پیچیده تغییر دهید.

یک رابط وب سفارشی آمازون A2I ایجاد کنید

Amazon A2I به شما این امکان را می دهد که رابط کاربری وب بازبین را با تعریف a شخصی سازی کنید الگوی کار کارگر. این قالب یک صفحه وب ثابت در HTML و جاوا اسکریپت است. می‌توانید داده‌ها را با استفاده از مایع نحو.

در محلول نمونه، قالب سفارشی آمازون A2I UI صفحه را در سمت چپ و شرایط خرابی را در سمت راست نمایش می دهد. بازبینان می توانند از آن برای تصحیح مقدار استخراج و اضافه کردن نظرات خود استفاده کنند.

تصویر زیر رابط کاربری سفارشی Amazon A2I ما را نشان می دهد. سند تصویر اصلی را در سمت چپ و شرایط ناموفق زیر را در سمت راست نشان می دهد:

• اعداد DLN باید 16 کاراکتر باشد. DLN واقعی 15 کاراکتر دارد.
• امتیاز اطمینان employer_id کمتر از 99٪ است. امتیاز واقعی اطمینان حدود 98٪ است.

بازبین‌ها می‌توانند به‌طور دستی این نتایج را تأیید کنند و نظرات خود را در آن اضافه کنند تغییر دلیل جعبه های متن

برای اطلاعات بیشتر در مورد ادغام Amazon A2I در هر گردش کار سفارشی ML، به بیش از 60 مراجعه کنید قالب های کارگر از پیش ساخته شده در مخزن GitHub و از هوش مصنوعی آمازون با انواع وظایف سفارشی استفاده کنید.

خروجی آمازون A2I را پردازش کنید

پس از اینکه بازبینی کننده با استفاده از رابط کاربری سفارشی آمازون A2I نتیجه را تأیید کرده و انتخاب می کند ارسال، Amazon A2I یک فایل JSON را در پوشه سطل S3 ذخیره می کند. فایل JSON شامل اطلاعات زیر در سطح ریشه است:

• تعریف جریان آمازون A2I ARN و نام حلقه انسان
• پاسخ های انسانی (ورودی بازبین که توسط رابط کاربری سفارشی آمازون A2I جمع آوری شده است)
• محتوای ورودی (داده های اصلی ارسال شده به Amazon A2I هنگام شروع کار حلقه انسانی)

نمونه زیر یک JSON نمونه تولید شده توسط Amazon A2I است:

{
  "flowDefinitionArn": "arn:aws:sagemaker:us-east-1:711334203977:flow-definition/a2i-custom-ui-demo-workflow",
  "humanAnswers": [
    {
      "acceptanceTime": "2022-08-23T15:23:53.488Z",
      "answerContent": {
        "Change Reason 1": "Missing X at the end.",
        "True Value 1": "93493319020929X",
        "True Value 2": "04-3018996"
      },
      "submissionTime": "2022-08-23T15:24:47.991Z",
      "timeSpentInSeconds": 54.503,
      "workerId": "94de99f1bc6324b8",
      "workerMetadata": {
        "identityData": {
          "identityProviderType": "Cognito",
          "issuer": "https://cognito-idp.us-east-1.amazonaws.com/us-east-1_URd6f6sie",
          "sub": "cef8d484-c640-44ea-8369-570cdc132d2d"
        }
      }
    }
  ],
  "humanLoopName": "custom-loop-9b4e67ff-2c9f-40f9-aae5-0e26316c905c",
  "inputContent": {...} # the original input send to A2I when starting the human review task
}

شما می توانید منطق استخراج، تبدیل و بارگذاری (ETL) را برای تجزیه اطلاعات از خروجی JSON A2I آمازون و ذخیره آن در یک فایل یا پایگاه داده پیاده سازی کنید. محلول نمونه همراه با a پرونده CSV با داده های پردازش شده با دنبال کردن دستورالعمل‌های بخش بعدی، می‌توانید از آن برای ساخت داشبورد BI استفاده کنید.

یک داشبورد در آمازون QuickSight ایجاد کنید

راه حل نمونه شامل یک مرحله گزارش دهی با داشبورد تجسمی است که توسط Amazon QuickSight ارائه می شود. داشبورد BI معیارهای کلیدی مانند تعداد اسناد پردازش شده به صورت خودکار یا دستی، محبوب ترین فیلدهایی که نیاز به بررسی انسانی دارند و سایر اطلاعات را نشان می دهد. این داشبورد می تواند به شما کمک کند تا بر خط لوله پردازش اسناد نظارت داشته باشید و دلایل رایجی که باعث بررسی انسانی می شوند را تجزیه و تحلیل کنید. شما می توانید با کاهش بیشتر ورودی های انسانی، گردش کار را بهینه کنید.

داشبورد نمونه شامل معیارهای اساسی است. می توانید راه حل را با استفاده از Amazon QuickSight گسترش دهید تا بینش بیشتری در مورد داده ها نشان دهید.

راه حل را برای پشتیبانی از اسناد و قوانین تجاری بیشتر گسترش دهید

برای گسترش راه حل برای پشتیبانی از صفحات سند بیشتر با قوانین تجاری مربوطه، باید تغییرات زیر را اعمال کنید:

• یک مدل داده برای صفحه جدید در ساختار JSON ایجاد کنید که نشان دهنده تمام مقادیری است که می خواهید از صفحات استخراج کنید. رجوع به مدل داده را تعریف کنید بخش برای فرمت دقیق
• از متن آمازون برای استخراج متن از سند و پر کردن مقادیر در مدل داده استفاده کنید.
• قوانین کسب و کار مربوط به صفحه را در قالب JSON اضافه کنید. رجوع به قوانین کسب و کار را سفارشی کنید بخش برای فرمت دقیق

رابط کاربری سفارشی Amazon A2I در راه حل عمومی است، که برای پشتیبانی از قوانین تجاری جدید نیازی به تغییر ندارد.

نتیجه

پردازش اسناد هوشمند تقاضای زیادی دارد و شرکت ها برای پشتیبانی از منطق تجاری منحصر به فرد خود به یک خط لوله سفارشی نیاز دارند. Amazon A2I همچنین یک الگوی داخلی یکپارچه با Amazon Textract برای اجرای موارد استفاده از بررسی انسانی شما ارائه می دهد. همچنین به شما این امکان را می‌دهد که صفحه بازبین را سفارشی کنید تا نیازهای انعطاف‌پذیر را برآورده کند.

این پست شما را از طریق یک راه حل مرجع با استفاده از Amazon Textract و Amazon A2I برای ایجاد یک خط لوله IDP که از قوانین تجاری انعطاف پذیر پشتیبانی می کند، راهنمایی می کند. می توانید آن را با استفاده از دفترچه ژوپیتر در مخزن کارگاه GitHub IDP.

درباره نویسندگان

لانا ژانگ Sr. Solutions Architect در تیم خدمات هوش مصنوعی AWS WWSO با تخصص در AI و ML برای پردازش هوشمند اسناد و تعدیل محتوا است. او علاقه زیادی به ترویج خدمات هوش مصنوعی AWS و کمک به مشتریان برای تغییر راه حل های تجاری خود دارد.

سونالی سهو تیم معمار راه حل های AI/ML پردازش اسناد هوشمند در خدمات وب آمازون پیشرو است. او یک فن دوست پرشور است و از کار با مشتریان برای حل مشکلات پیچیده با استفاده از نوآوری لذت می برد. حوزه اصلی تمرکز او هوش مصنوعی و یادگیری ماشین برای پردازش هوشمند اسناد است.