Amazon Textract اور Amazon Comprehend کا استعمال کرتے ہوئے ذہین دستاویز پروسیسنگ کے ساتھ رہن کے دستاویزات پر کارروائی کریں

قرض دینے اور رہن کی صنعت میں تنظیمیں روزانہ کی بنیاد پر ہزاروں دستاویزات پر کارروائی کرتی ہیں۔ مارگیج کی نئی درخواست سے لے کر رہن کی ری فنانس تک، ان کاروباری عملوں میں فی درخواست سینکڑوں دستاویزات شامل ہوتی ہیں۔ تمام دستاویزات سے معلومات کو پروسیس کرنے اور نکالنے کے لیے آج محدود آٹومیشن دستیاب ہے، خاص طور پر مختلف فارمیٹس اور لے آؤٹس کی وجہ سے۔ ایپلی کیشنز کی زیادہ مقدار کی وجہ سے، اسٹریٹجک بصیرت کو حاصل کرنا اور مواد سے اہم معلومات حاصل کرنا ایک وقت طلب، انتہائی دستی، غلطی کا شکار اور مہنگا عمل ہے۔ لیگیسی آپٹیکل کریکٹر ریکگنیشن (OCR) ٹولز لاگت سے ممنوع ہیں، غلطی کا شکار ہیں، بہت زیادہ ترتیب دینے میں شامل ہیں، اور ان کی پیمائش کرنا مشکل ہے۔ AWS مصنوعی ذہانت (AI) خدمات کے ساتھ ذہین دستاویز پراسیسنگ (IDP) تیزی سے اور معیاری فیصلوں کے اہداف کے ساتھ رہن کی درخواست کی پروسیسنگ کو خودکار اور تیز کرنے میں مدد کرتی ہے، جبکہ مجموعی اخراجات کو کم کرتی ہے۔

اس پوسٹ میں، ہم یہ ظاہر کرتے ہیں کہ آپ مشین لرننگ (ML) کی صلاحیتوں کو کس طرح استعمال کر سکتے ہیں۔ ایمیزون ٹیکسٹ، اور ایمیزون کی تعریف ML مہارتوں کی ضرورت کے بغیر، رہن کی نئی درخواست میں دستاویزات پر کارروائی کرنا۔ ہم IDP کے مختلف مراحل کو دریافت کرتے ہیں جیسا کہ مندرجہ ذیل تصویر میں دکھایا گیا ہے، اور وہ کس طرح رہن کی درخواست کے عمل میں شامل مراحل سے جڑتے ہیں، جیسے درخواست جمع کروانا، انڈر رائٹنگ، تصدیق، اور بند کرنا۔

اگرچہ ہر رہن کی درخواست منفرد ہو سکتی ہے، ہم نے کچھ سب سے عام دستاویزات کو مدنظر رکھا جو رہن کی درخواست میں شامل ہیں، جیسے یونیفائیڈ ریذیڈنشیل لون ایپلیکیشن (URLA-1003) فارم، 1099 فارمز، اور مارگیج نوٹ۔

حل جائزہ

Amazon Textract ایک ML سروس ہے جو پہلے سے تربیت یافتہ ML ماڈلز کا استعمال کرتے ہوئے اسکین شدہ دستاویزات سے ٹیکسٹ، ہینڈ رائٹنگ، اور ڈیٹا خود بخود نکالتی ہے۔ Amazon Comprehend ایک نیچرل لینگویج پروسیسنگ (NLP) سروس ہے جو متن میں قیمتی بصیرت اور کنکشن کو سامنے لانے کے لیے ML کا استعمال کرتی ہے اور دستاویز کی درجہ بندی، نام کی ہستی کی شناخت (NER)، موضوع کی ماڈلنگ، اور بہت کچھ انجام دے سکتی ہے۔

مندرجہ ذیل اعداد و شمار IDP کے مراحل کو ظاہر کرتا ہے کیونکہ یہ رہن کی درخواست کے عمل کے مراحل سے متعلق ہے۔

عمل کے آغاز پر، دستاویزات کو ایک پر اپ لوڈ کیا جاتا ہے۔ ایمیزون سادہ اسٹوریج سروس (ایمیزون S3) بالٹی۔ یہ دستاویزات کو معلوم زمروں میں درجہ بندی کرنے کے لیے دستاویز کی درجہ بندی کا عمل شروع کرتا ہے۔ دستاویزات کی درجہ بندی کرنے کے بعد، اگلا مرحلہ ان سے اہم معلومات نکالنا ہے۔ اس کے بعد ہم منتخب دستاویزات کے لیے افزودگی انجام دیتے ہیں، جو ذاتی طور پر قابل شناخت معلومات (PII) کی اصلاح، دستاویز کی ٹیگنگ، میٹا ڈیٹا اپ ڈیٹس، اور بہت کچھ ہو سکتی ہے۔ اگلے مرحلے میں رہن کی درخواست کی تکمیل کو یقینی بنانے کے لیے پچھلے مراحل میں نکالے گئے ڈیٹا کی توثیق کرنا شامل ہے۔ توثیق کاروباری توثیق کے قواعد اور کراس دستاویز کی توثیق کے قواعد کے ذریعے کی جا سکتی ہے۔ نکالی گئی معلومات کے اعتماد کے اسکور کا موازنہ ایک مقررہ حد سے بھی کیا جا سکتا ہے، اور خود بخود انسانی جائزہ لینے والے کے پاس بھیج دیا جا سکتا ہے۔ Amazon Augmented AI (Amazon A2I) اگر حد پوری نہیں ہوتی ہے۔ عمل کے آخری مرحلے میں، نکالے گئے اور تصدیق شدہ ڈیٹا کو مزید اسٹوریج، پروسیسنگ، یا ڈیٹا اینالیٹکس کے لیے نیچے دھارے کے نظاموں کو بھیجا جاتا ہے۔

مندرجہ ذیل حصوں میں، ہم IDP کے مراحل پر بات کرتے ہیں کیونکہ یہ تفصیل سے رہن کی درخواست کے مراحل سے متعلق ہے۔ ہم IDP کے مراحل سے گزرتے ہیں اور دستاویزات کی اقسام پر تبادلہ خیال کرتے ہیں۔ ہم معلومات کو کیسے ذخیرہ، درجہ بندی، اور نکالتے ہیں، اور مشین لرننگ کا استعمال کرتے ہوئے ہم دستاویزات کو کیسے بہتر بناتے ہیں۔

دستاویز کا ذخیرہ

Amazon S3 ایک آبجیکٹ سٹوریج سروس ہے جو صنعت کی معروف اسکیل ایبلٹی، ڈیٹا کی دستیابی، سیکورٹی اور کارکردگی پیش کرتی ہے۔ ہم رہن کی درخواست کے عمل کے دوران اور بعد میں رہن کے دستاویزات کو محفوظ طریقے سے ذخیرہ کرنے کے لیے Amazon S3 کا استعمال کرتے ہیں۔ اے رہن کی درخواست کا پیکٹ کئی قسم کے فارم اور دستاویزات پر مشتمل ہو سکتا ہے، جیسے URLA-1003, 1099-INT/DIV/RR/MISC, W2، paystubs، بینک اسٹیٹمنٹس، کریڈٹ کارڈ اسٹیٹمنٹس، اور مزید۔ یہ دستاویزات درخواست دہندہ کے ذریعہ رہن کی درخواست کے مرحلے میں جمع کرائی جاتی ہیں۔ ان کو دستی طور پر دیکھے بغیر، یہ فوری طور پر واضح نہیں ہوسکتا ہے کہ پیکٹ میں کون سی دستاویزات شامل ہیں۔ یہ دستی عمل وقت طلب اور مہنگا ہو سکتا ہے۔ اگلے مرحلے میں، ہم Amazon Comprehend کا استعمال کرتے ہوئے اس عمل کو خودکار بناتے ہیں تاکہ دستاویزات کو ان کے متعلقہ زمروں میں اعلیٰ درستگی کے ساتھ درجہ بندی کیا جا سکے۔

دستاویز کی درجہ بندی

دستاویز کی درجہ بندی ایک ایسا طریقہ ہے جس کے ذریعے نامعلوم دستاویزات کی ایک بڑی تعداد کو درجہ بندی اور لیبل لگایا جا سکتا ہے۔ ہم اس دستاویز کی درجہ بندی کو Amazon Comprehend کا استعمال کرتے ہوئے انجام دیتے ہیں۔ اپنی مرضی کے مطابق درجہ بندی. ایک حسب ضرورت درجہ بندی ایک ML ماڈل ہے جسے لیبل لگے ہوئے دستاویزات کے ایک سیٹ کے ساتھ تربیت دی جا سکتی ہے تاکہ ان کلاسوں کو پہچانا جا سکے جو آپ کے لیے دلچسپی رکھتے ہیں۔ ماڈل کو تربیت یافتہ اور میزبانی کے اختتامی نقطہ کے پیچھے تعینات کرنے کے بعد، ہم درجہ بندی کا استعمال کر سکتے ہیں تاکہ کسی مخصوص دستاویز کا تعلق کس زمرے (یا کلاس) سے ہو۔ اس صورت میں، ہم اپنی مرضی کے مطابق درجہ بندی کرنے والے کو تربیت دیتے ہیں۔ ملٹی کلاس موڈ، جو یا تو ایک CSV فائل کے ساتھ یا ایک Augmented manifest فائل کے ساتھ کیا جا سکتا ہے۔ اس مظاہرے کے مقاصد کے لیے، ہم درجہ بندی کرنے والے کو تربیت دینے کے لیے CSV فائل کا استعمال کرتے ہیں۔ ہماری طرف رجوع کریں۔ GitHub ذخیرہ مکمل کوڈ کے نمونے کے لیے۔ درج ذیل میں شامل اقدامات کا ایک اعلیٰ سطحی جائزہ ہے۔

1. Amazon Textract کا استعمال کرتے ہوئے تصویر یا PDF فائلوں سے UTF-8 انکوڈ شدہ سادہ متن کو نکالیں۔ DetectDocumentText API.
2. CSV فارمیٹ میں حسب ضرورت درجہ بندی کرنے والے کو تربیت دینے کے لیے تربیتی ڈیٹا تیار کریں۔
3. CSV فائل کا استعمال کرتے ہوئے ایک حسب ضرورت درجہ بندی کو تربیت دیں۔
4. ریئل ٹائم دستاویز کی درجہ بندی کے لیے ایک اختتامی نقطہ کے ساتھ تربیت یافتہ ماڈل تعینات کریں یا ملٹی کلاس موڈ کا استعمال کریں، جو ریئل ٹائم اور غیر مطابقت پذیر دونوں کارروائیوں کو سپورٹ کرتا ہے۔

مندرجہ ذیل خاکہ اس عمل کی وضاحت کرتا ہے۔

آپ دستاویزات کی شناخت اور درجہ بندی کرنے کے لیے تعینات اختتامی نقطہ کا استعمال کرتے ہوئے دستاویز کی درجہ بندی کو خودکار کر سکتے ہیں۔ یہ آٹومیشن اس بات کی تصدیق کرنے کے لیے مفید ہے کہ آیا تمام مطلوبہ دستاویزات رہن کے پیکٹ میں موجود ہیں۔ گمشدہ دستاویز کی فوری طور پر شناخت کی جا سکتی ہے، بغیر دستی مداخلت کے، اور درخواست گزار کو اس عمل سے بہت پہلے مطلع کیا جا سکتا ہے۔

دستاویز نکالنا

اس مرحلے میں، ہم Amazon Textract اور Amazon Comprehend کا استعمال کرتے ہوئے دستاویز سے ڈیٹا نکالتے ہیں۔ فارم اور ٹیبل پر مشتمل ساختی اور نیم ساختہ دستاویزات کے لیے، ہم Amazon Textract استعمال کرتے ہیں دستاویز کا تجزیہ کریں۔ API خصوصی دستاویزات جیسے ID دستاویزات کے لیے، Amazon Textract فراہم کرتا ہے۔ تجزیہ ID API کچھ دستاویزات میں گھنا متن بھی ہو سکتا ہے، اور آپ کو ان سے کاروباری مخصوص کلیدی اصطلاحات نکالنے کی ضرورت پڑ سکتی ہے، جنہیں اداروں. ہم استعمال کرتے ہیں اپنی مرضی کے مطابق ہستی کی شناخت Amazon Comprehend کی اپنی مرضی کے مطابق ہستی کو پہچاننے والے کو تربیت دینے کی صلاحیت، جو گھنے متن سے ایسی ہستیوں کی شناخت کر سکتا ہے۔

مندرجہ ذیل حصوں میں، ہم نمونہ دستاویزات کے ذریعے چلتے ہیں جو رہن کی درخواست کے پیکٹ میں موجود ہیں، اور ان سے معلومات نکالنے کے لیے استعمال کیے جانے والے طریقوں پر تبادلہ خیال کرتے ہیں۔ ان میں سے ہر ایک مثال کے لیے، ایک کوڈ کا ٹکڑا اور ایک مختصر نمونہ آؤٹ پٹ شامل ہے۔

یونیفائیڈ ریذیڈنشیل لون ایپلیکیشن URLA-1003 سے ڈیٹا نکالیں۔

یونیفائیڈ ریذیڈنشل لون ایپلیکیشن (URLA-1003) انڈسٹری کا معیاری رہن قرض کی درخواست فارم ہے۔ یہ کافی پیچیدہ دستاویز ہے جس میں رہن کے درخواست دہندہ کے بارے میں معلومات، خریدی جا رہی جائیداد کی قسم، مالی امداد کی جا رہی رقم، اور جائیداد کی خریداری کی نوعیت کے بارے میں دیگر تفصیلات شامل ہیں۔ ذیل میں ایک نمونہ URLA-1003 ہے، اور ہمارا ارادہ اس ساختی دستاویز سے معلومات نکالنا ہے۔ چونکہ یہ ایک فارم ہے، ہم AnalyzeDocument API کو فیچر کی قسم کے ساتھ استعمال کرتے ہیں۔ فارم.

فارم فیچر کی قسم دستاویز سے معلومات کو نکالتی ہے، جو پھر کلیدی قدر کے جوڑے کی شکل میں واپس کردی جاتی ہے۔ درج ذیل کوڈ کا ٹکڑا استعمال کرتا ہے۔ amazon-textract-textractor کوڈ کی صرف چند لائنوں کے ساتھ فارم کی معلومات نکالنے کے لیے ازگر کی لائبریری۔ سہولت کا طریقہ call_textract() فون کرتا ہے AnalyzeDocument API اندرونی طور پر، اور طریقہ کار کو پاس کیے گئے پیرامیٹرز کچھ کنفیگریشنز کا خلاصہ کرتے ہیں جن کی API کو نکالنے کے کام کو چلانے کے لیے ضرورت ہوتی ہے۔ Document API سے JSON جواب کو پارس کرنے میں مدد کے لیے استعمال ہونے والا ایک سہولت کا طریقہ ہے۔ یہ ایک اعلیٰ سطحی تجرید فراہم کرتا ہے اور API آؤٹ پٹ کو قابل تکرار اور معلومات حاصل کرنے میں آسان بناتا ہے۔ مزید معلومات کے لیے رجوع کریں۔ ٹیکسٹ ریسپانس پارسر اور ٹیکسٹریکٹر.

from textractcaller.t_call import call_textract, Textract_Features
from trp import Document

response_urla_1003 = call_textract(input_document='s3://<your-bucket>/URLA-1003.pdf', 
                                   features=[Textract_Features.FORMS])
doc_urla_1003 = Document(response_urla_1003)
for page in doc_urla_1003.pages:
    forms=[]
    for field in page.form.fields:
        obj={}
        obj[f'{field.key}']=f'{field.value}'
        forms.append(obj)
print(json.dumps(forms, indent=4))

نوٹ کریں کہ آؤٹ پٹ میں چیک باکسز یا ریڈیو بٹنوں کی قدریں ہوتی ہیں جو فارم میں موجود ہیں۔ مثال کے طور پر، نمونہ URLA-1003 دستاویز میں، خریدیں آپشن کا انتخاب کیا گیا۔ ریڈیو بٹن کے لیے متعلقہ آؤٹ پٹ اس طرح نکالا جاتا ہے "Purchase"(کلید) اور"SELECTED” (قدر)، یہ بتاتا ہے کہ ریڈیو بٹن منتخب کیا گیا تھا۔

[
    { "No. of Units": "1" },
    { "Amount": "$ 450,000.00" },
    { "Year Built": "2010" },
    { "Purchase": "SELECTED" },
    { "Title will be held in what Name(s)": "Alejandro Rosalez" },
    { "Fixed Rate": "SELECTED" },
    ...
]

1099 فارم سے ڈیٹا نکالیں۔

رہن کی درخواست کے پیکٹ میں متعدد IRS دستاویزات بھی شامل ہو سکتی ہیں، جیسے 1099-DIV، 1099-INT، 1099-MISC، اور 1099-R۔ یہ دستاویزات درخواست دہندگان کی آمدنی کو دلچسپیوں، منافعوں، اور دیگر متفرق آمدنی کے اجزاء کے ذریعے دکھاتے ہیں جو فیصلے کرنے کے لیے انڈر رائٹنگ کے دوران مفید ہوتے ہیں۔ مندرجہ ذیل تصویر ان دستاویزات کا مجموعہ دکھاتی ہے، جو ساخت میں ایک جیسے ہیں۔ تاہم، بعض صورتوں میں، دستاویزات میں فارم کی معلومات (سرخ اور سبز باؤنڈنگ باکسز کا استعمال کرتے ہوئے نشان زد) کے ساتھ ساتھ ٹیبلر معلومات (پیلے رنگ کے باؤنڈنگ بکسوں سے نشان زد) ہوتی ہیں۔

فارم کی معلومات کو نکالنے کے لیے، ہم اسی طرح کا کوڈ استعمال کرتے ہیں جیسا کہ پہلے بیان کیا گیا ہے۔ AnalyzeDocument API ہم کی ایک اضافی خصوصیت پاس کرتے ہیں۔ ٹیبل API کو اس بات کی نشاندہی کرنے کے لیے کہ ہمیں دستاویز سے نکالے گئے فارم اور ٹیبل ڈیٹا دونوں کی ضرورت ہے۔ درج ذیل کوڈ کا ٹکڑا استعمال کرتا ہے۔ AnalyzeDocument 1099-INT دستاویز پر FORMS اور TABLES خصوصیات کے ساتھ API:

from textractcaller.t_call import call_textract, Textract_Features
from trp import Document
response_1099_int = call_textract(input_document='s3://<your-bucket>/1099-INT-2018.pdf',
                                  features=[Textract_Features.TABLES, 
                                            Textract_Features.FORMS])
doc_1099_int = Document(response_1099_int)
num_tables=1
for page in doc_1099_int.pages:     
    for table in page.tables:
        num_tables=num_tables+1
        for r, row in enumerate(table.rows):
            for c, cell in enumerate(row.cells):
                print(f"Cell[{r}][{c}] = {cell.text}")
        print('n')

چونکہ دستاویز میں ایک جدول ہے، اس لیے کوڈ کا آؤٹ پٹ اس طرح ہے:

Table 1
-------------------
Cell[0][0] = 15 State 
Cell[0][1] = 16 State identification no. 
Cell[0][2] = 17 State tax withheld 
Cell[1][0] = 
Cell[1][1] = 34564 
Cell[1][2] = $ 2000 
Cell[2][0] = 
Cell[2][1] = 23543 
Cell[2][2] = $ 1000

ٹیبل کی معلومات میں سیل کی پوزیشن (قطار 0، کالم 0، اور اسی طرح) اور ہر سیل کے اندر متعلقہ متن شامل ہے۔ ہم ایک سہولت کا طریقہ استعمال کرتے ہیں جو اس ٹیبل ڈیٹا کو پڑھنے میں آسان گرڈ ویو میں تبدیل کر سکتا ہے:

from textractprettyprinter.t_pretty_print import Textract_Pretty_Print, get_string, Pretty_Print_Table_Format
print(get_string(textract_json=response_1099_int, 
                 table_format=Pretty_Print_Table_Format.grid, 
                 output_type=[Textract_Pretty_Print.TABLES]))

ہمیں درج ذیل آؤٹ پٹ ملتا ہے:

+----------+-----------------------------+-----------------------+
| 15 State | 16 State identification no. | 17 State tax withheld |
+----------+-----------------------------+-----------------------+
|          | 34564                       | $ 2000                |
+----------+-----------------------------+-----------------------+
|          | 23543                       | $ 1000                |
+----------+-----------------------------+-----------------------+

استعمال میں آسان CSV فارمیٹ میں آؤٹ پٹ حاصل کرنے کے لیے، فارمیٹ کی قسم Pretty_Print_Table_Format.csv میں منتقل کیا جا سکتا ہے table_format پیرامیٹر دیگر فارمیٹس جیسے TSV (ٹیب سے الگ شدہ اقدار)، HTML، اور لیٹیکس بھی معاون ہیں۔ مزید معلومات کے لیے رجوع کریں۔ Textract-PrettyPrinter.

رہن کے نوٹ سے ڈیٹا نکالیں۔

رہن کی درخواست کے پیکٹ میں گھنے متن کے ساتھ غیر ساختہ دستاویزات ہو سکتی ہیں۔ گھنے متنی دستاویزات کی کچھ مثالیں معاہدے اور معاہدے ہیں۔ رہن کا نوٹ ایک رہن کے درخواست دہندہ اور قرض دہندہ یا رہن رکھنے والی کمپنی کے درمیان ایک معاہدہ ہوتا ہے، اور اس میں گھنے متن کے پیراگراف میں معلومات ہوتی ہیں۔ ایسے معاملات میں، ساخت کی کمی اہم کاروباری معلومات کو تلاش کرنا مشکل بناتی ہے جو رہن کی درخواست کے عمل میں اہم ہے۔ اس مسئلے کو حل کرنے کے دو طریقے ہیں:

مندرجہ ذیل نمونہ مارگیج نوٹ میں، ہم خاص طور پر ماہانہ ادائیگی کی رقم اور اصل رقم معلوم کرنے میں دلچسپی رکھتے ہیں۔

پہلے نقطہ نظر کے لئے، ہم استعمال کرتے ہیں Query اور QueriesConfig ایمیزون ٹیکسٹریکٹ کو بھیجے گئے سوالات کے سیٹ کو ترتیب دینے کے سہولت کے طریقے AnalyzeDocument API کال۔ اگر دستاویز کثیر صفحہ (PDF یا TIFF) ہے، تو ہم صفحہ نمبر بھی بتا سکتے ہیں جہاں Amazon Textract کو سوال کے جوابات تلاش کرنے چاہئیں۔ درج ذیل کوڈ کا ٹکڑا ظاہر کرتا ہے کہ استفسار کی ترتیب کیسے بنائی جائے، ایک API کال کی جائے، اور اس کے بعد جواب سے جوابات حاصل کرنے کے لیے جواب کو پارس کیا جائے:

from textractcaller import QueriesConfig, Query
import trp.trp2 as t2

#Setup the queries
query2 = Query(text="What is the principal amount borrower has to pay?", alias="PRINCIPAL_AMOUNT", pages=["1"])
query4 = Query(text="What is the monthly payment amount?", alias="MONTHLY_AMOUNT", pages=["1"])

#Setup the query config with the above queries
queries_config = QueriesConfig(queries=[query1, query2, query3, query4])
#Call AnalyzeDocument with the queries_config
response_mortgage_note = call_textract(input_document='s3://<your-bucket>/Mortgage-Note.pdf',
                                       features=[Textract_Features.QUERIES],
                                       queries_config=queries_config)
doc_mortgage_note: t2.TDocumentSchema = t2.TDocumentSchema().load(response_mortgage_note) 

entities = {}
for page in doc_mortgage_note.pages:
    query_answers = doc_mortgage_note.get_query_answers(page=page)
    if query_answers:
        for answer in query_answers:
            entities[answer[1]] = answer[2]
print(entities)

ہمیں درج ذیل آؤٹ پٹ ملتا ہے:

{
    'PRINCIPAL_AMOUNT': '$ 555,000.00',
    'MONTHLY_AMOUNT': '$2,721.23',
}

دوسرے نقطہ نظر کے لیے، ہم Amazon Comprehend استعمال کرتے ہیں۔ پتہ لگانے والے اداروں مارگیج نوٹ کے ساتھ API، جو ان ہستیوں کو لوٹاتا ہے جس کا اسے متن میں a سے پتہ چلتا ہے۔ اداروں کا پہلے سے طے شدہ سیٹ. یہ وہ ہستی ہیں جن کے ساتھ Amazon Comprehend ہستی کی شناخت کنندہ پہلے سے تربیت یافتہ ہے۔ تاہم، چونکہ ہماری ضرورت مخصوص ہستیوں کا پتہ لگانا ہے، اس لیے ایک Amazon Comprehend کسٹم ہستی کی شناخت کنندہ کو نمونہ مارگیج نوٹ دستاویزات کے ایک سیٹ، اور اداروں کی فہرست کے ساتھ تربیت دی جاتی ہے۔ ہم ہستی کے ناموں کی وضاحت کرتے ہیں۔ PRINCIPAL_AMOUNT اور MONTHLY_AMOUNT. Amazon Comprehend ٹریننگ کے بعد تربیت کا ڈیٹا تیار کیا جاتا ہے۔ ڈیٹا کی تیاری کے رہنما خطوط اپنی مرضی کے مطابق ہستی کی شناخت کے لیے۔ ہستی کو پہچاننے والے کو تربیت دی جا سکتی ہے۔ دستاویز کی تشریحات یا کے ساتھ ہستی کی فہرستیں. اس مثال کے مقاصد کے لیے، ہم ماڈل کو تربیت دینے کے لیے ہستی کی فہرستیں استعمال کرتے ہیں۔ ماڈل کو تربیت دینے کے بعد، ہم اسے a کے ساتھ تعینات کر سکتے ہیں۔ ریئل ٹائم اینڈ پوائنٹ یا میں بیچ موڈ دستاویز کے مواد سے دو اداروں کا پتہ لگانے کے لیے۔ حسب ضرورت ہستی کی شناخت کرنے والے کو تربیت دینے اور اسے تعینات کرنے کے لیے درج ذیل اقدامات شامل ہیں۔ مکمل کوڈ واک تھرو کے لیے، ہمارے GitHub ریپوزٹری سے رجوع کریں۔

1. تربیتی ڈیٹا (ہستی کی فہرست اور دستاویزات (UTF-8 انکوڈ شدہ) سادہ ٹیکسٹ فارمیٹ کے ساتھ تیار کریں۔
2. کا استعمال کرتے ہوئے ہستی کو پہچاننے والے کی تربیت شروع کریں۔ CreateEntityRecognizer تربیتی ڈیٹا کا استعمال کرتے ہوئے API۔
3. کا استعمال کرتے ہوئے تربیت یافتہ ماڈل کو ریئل ٹائم اینڈ پوائنٹ کے ساتھ تعینات کریں۔ Endpoint تخلیق کریں۔ API.

امریکی پاسپورٹ سے ڈیٹا نکالیں۔

ایمیزون ٹیکسٹ شناختی دستاویزات کا تجزیہ کریں۔ اہلیت امریکہ میں قائم شناختی دستاویزات جیسے کہ ڈرائیور کا لائسنس اور پاسپورٹ سے معلومات کا پتہ لگا سکتی ہے اور نکال سکتی ہے۔ دی AnalyzeID API ID دستاویزات میں مضمر فیلڈز کا پتہ لگانے اور اس کی تشریح کرنے کے قابل ہے، جس سے دستاویز سے مخصوص معلومات نکالنا آسان ہو جاتا ہے۔ شناختی دستاویزات تقریباً ہمیشہ ہی رہن کی درخواست کے پیکٹ کا حصہ ہوتی ہیں، کیونکہ اس کا استعمال انڈر رائٹنگ کے عمل کے دوران قرض لینے والے کی شناخت کی توثیق کرنے اور قرض لینے والے کے سوانحی ڈیٹا کی درستگی کی تصدیق کے لیے کیا جاتا ہے۔

ہم نام کا ایک سہولت کا طریقہ استعمال کرتے ہیں۔ call_textract_analyzeid، جو کہتا ہے۔ AnalyzeID اندرونی طور پر API۔ اس کے بعد ہم ID دستاویز سے دریافت شدہ کلیدی قدر کے جوڑے حاصل کرنے کے لیے جواب پر اعادہ کرتے ہیں۔ درج ذیل کوڈ دیکھیں:

from textractcaller import call_textract_analyzeid
import trp.trp2_analyzeid as t2id

response_passport = call_textract_analyzeid(document_pages=['s3://<your-bucket>/Passport.pdf'])
doc_passport: t2id.TAnalyzeIdDocument = t2id.TAnalyzeIdDocumentSchema().load(response_passport)

for id_docs in response_passport['IdentityDocuments']:
    id_doc_kvs={}
    for field in id_docs['IdentityDocumentFields']:
        if field['ValueDetection']['Text']:
            id_doc_kvs[field['Type']['Text']] = field['ValueDetection']['Text']
print(id_doc_kvs)

AnalyzeID نامی ڈھانچے میں معلومات واپس کرتا ہے۔ IdentityDocumentFields، جس میں نارملائزڈ کیز اور ان کی متعلقہ قدر ہوتی ہے۔ مثال کے طور پر، درج ذیل آؤٹ پٹ میں، FIRST_NAME ایک عام کلید ہے اور قدر ہے۔ ALEJANDRO. مثال کے طور پر پاسپورٹ کی تصویر میں، پہلے نام کے لیے فیلڈ کو "دیئے گئے نام / Prénoms / Nombre" کا لیبل لگایا گیا ہے، تاہم AnalyzeID کلیدی نام میں اسے معمول پر لانے کے قابل تھا۔ FIRST_NAME. معاون نارملائزڈ فیلڈز کی فہرست کے لیے، رجوع کریں۔ شناختی دستاویزی جوابی اشیاء.

{
    'FIRST_NAME': 'ALEJANDRO',
    'LAST_NAME': 'ROSALEZ',
    'DOCUMENT_NUMBER': '918268822',
    'EXPIRATION_DATE': '31 JAN 2029',
    'DATE_OF_BIRTH': '15 APR 1990',
    'DATE_OF_ISSUE': '29 JAN 2009',
    'ID_TYPE': 'PASSPORT',
    'ENDORSEMENTS': 'SEE PAGE 27',
    'PLACE_OF_BIRTH': 'TEXAS U.S.A.'
}

رہن کے پیکٹ میں کئی دیگر دستاویزات شامل ہو سکتی ہیں، جیسے کہ پے سٹب، W2 فارم، بینک اسٹیٹمنٹ، کریڈٹ کارڈ اسٹیٹمنٹ، اور روزگار کی تصدیق کا خط۔ ہمارے پاس ان دستاویزات میں سے ہر ایک کے نمونے اور ان سے ڈیٹا نکالنے کے لیے درکار کوڈ موجود ہیں۔ مکمل کوڈ بیس کے لیے، ہماری میں نوٹ بک دیکھیں GitHub ذخیرہ.

دستاویز کی افزودگی

دستاویز کی افزودگی کی سب سے عام شکلوں میں سے ایک دستاویز پر حساس یا خفیہ معلومات کی تخفیف ہے، جو رازداری کے قوانین یا ضوابط کی وجہ سے لازمی ہو سکتی ہے۔ مثال کے طور پر، رہن کے درخواست دہندہ کے پے اسٹب میں حساس PII ڈیٹا، جیسے نام، پتہ، اور SSN شامل ہوسکتا ہے، جس میں توسیع شدہ اسٹوریج کے لیے ترمیم کی ضرورت ہوسکتی ہے۔

پچھلے نمونے کے پے اسٹب دستاویز میں، ہم PII ڈیٹا جیسے SSN، نام، بینک اکاؤنٹ نمبر، اور تاریخوں کی تخفیف کرتے ہیں۔ کسی دستاویز میں PII ڈیٹا کی شناخت کے لیے، ہم Amazon Comprehend استعمال کرتے ہیں۔ PII کا پتہ لگانا کے ذریعے صلاحیت ڈیٹیکٹ پی آئی آئی اینٹیٹیز API یہ API PII معلومات کی موجودگی کی شناخت کے لیے دستاویز کے مواد کا معائنہ کرتا ہے۔ چونکہ اس API کو UTF-8 انکوڈ شدہ سادہ ٹیکسٹ فارمیٹ میں ان پٹ کی ضرورت ہوتی ہے، اس لیے ہم پہلے Amazon Textract کا استعمال کرتے ہوئے دستاویز سے متن نکالتے ہیں۔ DetectDocumentText API، جو دستاویز سے متن واپس کرتا ہے اور جیومیٹری کی معلومات بھی واپس کرتا ہے جیسے باؤنڈنگ باکس کے طول و عرض اور نقاط۔ اس کے بعد دونوں آؤٹ پٹس کے امتزاج کو افزودگی کے عمل کے حصے کے طور پر دستاویز پر ترمیم کرنے کے لیے استعمال کیا جاتا ہے۔

ڈیٹا کا جائزہ لیں، تصدیق کریں اور انٹیگریٹ کریں۔

دستاویز نکالنے کے مرحلے سے نکالے گئے ڈیٹا کو مخصوص کاروباری قواعد کے خلاف توثیق کی ضرورت ہو سکتی ہے۔ مخصوص معلومات کی توثیق کئی دستاویزات میں بھی کی جا سکتی ہے، جسے بھی کہا جاتا ہے۔ کراس دستاویز کی توثیق. کراس ڈاک کی توثیق کی ایک مثال شناختی دستاویز میں درخواست دہندہ کے نام کا رہن کی درخواست کی دستاویز میں موجود نام سے موازنہ کرنا ہو سکتی ہے۔ آپ اس مرحلے میں دیگر توثیق بھی کر سکتے ہیں جیسے کہ جائیداد کی قیمت کا تخمینہ اور مشروط انڈر رائٹنگ کے فیصلے۔

تیسری قسم کی توثیق کا تعلق دستاویز نکالنے کے مرحلے میں نکالے گئے ڈیٹا کے اعتماد سکور سے ہے۔ Amazon Textract اور Amazon Comprehend فارمز، ٹیبلز، ٹیکسٹ ڈیٹا، اور شناخت شدہ اداروں کے لیے اعتماد کا سکور واپس کرتے ہیں۔ آپ اعتماد سکور کی حد کو ترتیب دے سکتے ہیں تاکہ یہ یقینی بنایا جا سکے کہ صرف صحیح قدریں نیچے کی طرف بھیجی جا رہی ہیں۔ یہ Amazon A2I کے ذریعے حاصل کیا جاتا ہے، جو پہلے سے طے شدہ اعتماد کی حد کے ساتھ پتہ لگائے گئے ڈیٹا کے اعتماد کے اسکور کا موازنہ کرتا ہے۔ اگر حد پوری نہیں ہوتی ہے تو، دستاویز اور نکالا گیا آؤٹ پٹ ایک بدیہی UI کے ذریعے جائزہ لینے کے لیے انسان کو بھیج دیا جاتا ہے۔ جائزہ لینے والا ڈیٹا پر اصلاحی کارروائی کرتا ہے اور اسے مزید پروسیسنگ کے لیے محفوظ کرتا ہے۔ مزید معلومات کے لیے رجوع کریں۔ ایمیزون A2I کے بنیادی تصورات.

نتیجہ

اس پوسٹ میں، ہم نے ذہین دستاویز کی پروسیسنگ کے مراحل پر تبادلہ خیال کیا کیونکہ یہ رہن کی درخواست کے مراحل سے متعلق ہے۔ ہم نے دستاویزات کی چند عام مثالیں دیکھیں جو رہن کی درخواست کے پیکٹ میں مل سکتی ہیں۔ ہم نے ان دستاویزات سے ساختی، نیم ساختہ، اور غیر ساختہ مواد کو نکالنے اور پروسیسنگ کے طریقوں پر بھی تبادلہ خیال کیا۔ IDP آخر سے آخر تک رہن کی دستاویزات کی پروسیسنگ کو خودکار کرنے کا ایک طریقہ فراہم کرتا ہے جسے لاکھوں دستاویزات تک بڑھایا جا سکتا ہے، درخواست کے فیصلوں کے معیار کو بڑھانا، لاگت کو کم کرنا، اور صارفین کو تیزی سے خدمت کرنا۔

اگلے قدم کے طور پر، آپ ہمارے میں کوڈ کے نمونے اور نوٹ بک آزما سکتے ہیں۔ GitHub ذخیرہ. اس بارے میں مزید جاننے کے لیے کہ IDP کس طرح آپ کے دستاویز پر کارروائی کے کام کے بوجھ میں مدد کر سکتا ہے، ملاحظہ کریں۔ دستاویزات سے ڈیٹا پروسیسنگ کو خودکار بنائیں.

مصنفین کے بارے میں

انجان بسواس اے آئی/ایم ایل اور ڈیٹا اینالیٹکس پر توجہ کے ساتھ ایک سینئر AI سروسز سلوشنز آرکیٹیکٹ ہے۔ انجان دنیا بھر میں AI خدمات کی ٹیم کا حصہ ہے اور صارفین کے ساتھ کام کرتا ہے تاکہ وہ AI اور ML کے ساتھ کاروباری مسائل کو سمجھنے، اور ان کا حل تیار کریں۔ انجان کے پاس عالمی سپلائی چین، مینوفیکچرنگ، اور ریٹیل تنظیموں کے ساتھ کام کرنے کا 14 سال سے زیادہ کا تجربہ ہے اور وہ صارفین کو AWS AI خدمات شروع کرنے اور اسکیل کرنے میں فعال طور پر مدد کر رہا ہے۔

دویتی پاٹھک سین ڈیاگو سے تعلق رکھنے والا ایک سینئر ٹیکنیکل اکاؤنٹ مینیجر ہے۔ وہ سیمی کنڈکٹر انڈسٹری کو AWS میں مشغول کرنے میں مدد کرنے پر مرکوز ہے۔ اپنے فارغ وقت میں، وہ نئی ٹیکنالوجیز کے بارے میں پڑھنا اور بورڈ گیمز کھیلنا پسند کرتی ہے۔

بالاجی پلی۔ Bay Area, CA میں مقیم ایک سلوشنز آرکیٹیکٹ ہے۔ فی الحال نارتھ ویسٹ یو ایس ہیلتھ کیئر لائف سائنسز کے منتخب صارفین کو اپنے AWS کلاؤڈ اپنانے کو تیز کرنے میں مدد کر رہا ہے۔ بالاجی سفر سے لطف اندوز ہوتے ہیں اور مختلف کھانوں کو تلاش کرنا پسند کرتے ہیں۔