حدد المعلومات واستخرجها من المستندات باستخدام ميزة الاستعلامات الجديدة في Amazon Textract

أمازون تيكستراك هي خدمة للتعلم الآلي (ML) تقوم تلقائيًا باستخراج النص والكتابة اليدوية والبيانات من أي مستند أو صورة. توفر Amazon Textract الآن المرونة اللازمة لتحديد البيانات التي تحتاج إلى استخراجها من المستندات باستخدام ميزة الاستعلامات الجديدة ضمن Analyze Document API. لا تحتاج إلى معرفة بنية البيانات الموجودة في المستند (جدول، نموذج، حقل ضمني، بيانات متداخلة) أو القلق بشأن الاختلافات عبر إصدارات المستند وتنسيقاته.

في هذا المنشور نناقش المواضيع التالية:

• قصص نجاح من عملاء AWS وفوائد ميزة الاستعلامات الجديدة
• كيف تساعد واجهة برمجة التطبيقات Analyze Document Queries API في استخراج المعلومات من المستندات
• جولة تفصيلية لوحدة تحكم Amazon Texttract
• أمثلة التعليمات البرمجية لاستخدام واجهة برمجة تطبيقات Analyze Document Queries API
• كيفية معالجة الاستجابة باستخدام مكتبة المحلل اللغوي Amazon Textract

مميزات ميزة الاستعلامات الجديدة

تكافح حلول التعرف الضوئي على الحروف التقليدية لاستخراج البيانات بدقة من معظم المستندات شبه المنظمة وغير المنظمة بسبب الاختلافات الكبيرة في كيفية وضع البيانات عبر إصدارات وتنسيقات متعددة من هذه المستندات. تحتاج إلى تنفيذ تعليمات برمجية مخصصة للمعالجة اللاحقة أو مراجعة المعلومات المستخرجة من هذه المستندات يدويًا. باستخدام ميزة الاستعلامات، يمكنك تحديد المعلومات التي تحتاجها في شكل أسئلة باللغة الطبيعية (على سبيل المثال، "ما هو اسم العميل") وتلقي المعلومات الدقيقة ("John Doe") كجزء من استجابة واجهة برمجة التطبيقات (API). تستخدم الميزة مجموعة من النماذج المرئية والمكانية واللغوية لاستخراج المعلومات التي تبحث عنها بدقة عالية. تم تدريب ميزة الاستعلامات مسبقًا على مجموعة كبيرة ومتنوعة من المستندات شبه المنظمة وغير المنظمة. تتضمن بعض الأمثلة قسائم الدفع، وكشوفات الحساب البنكية، ونماذج W-2، ونماذج طلبات القروض، ومذكرات الرهن العقاري، وبطاقات اللقاح والتأمين.

"تمكننا Amazon Textract من أتمتة احتياجات معالجة المستندات لعملائنا. مع ميزة الاستعلامات، سنكون قادرين على استخراج البيانات من مجموعة متنوعة من المستندات بمرونة ودقة أكبر،" قال روبرت يانسن، الرئيس التنفيذي لشركة TekStream Solutions. "نحن نعتبر هذا بمثابة فوز كبير في الإنتاجية لعملائنا من الشركات، الذين سيتمكنون من استخدام إمكانية الاستعلامات كجزء من حل IDP الخاص بنا للحصول على المعلومات الأساسية بسرعة من مستنداتهم."

"يتيح لنا Amazon Textract استخراج النص بالإضافة إلى العناصر المنظمة مثل النماذج والجداول من الصور بدقة عالية. لقد ساعدتنا Amazon Textract Queries على تحسين جودة استخراج المعلومات بشكل كبير من العديد من المستندات المهمة للأعمال مثل أوراق بيانات السلامة أو مواصفات المواد" قال ثورستن وارنكي، المدير | رئيس قسم تحليلات الكمبيوتر الشخصي، شركة كاميلوت للاستشارات الإدارية. "يوفر نظام الاستعلام باللغة الطبيعية قدرًا كبيرًا من المرونة والدقة مما أدى إلى تقليل عبء المعالجة اللاحقة لدينا ومكننا من إضافة مستندات جديدة إلى أدوات استخراج البيانات لدينا بشكل أسرع."

كيف تساعد واجهة برمجة التطبيقات Analyze Document Queries API في استخراج المعلومات من المستندات

وزادت الشركات من اعتمادها على المنصات الرقمية، خاصة في ظل جائحة كوفيد-19. تقدم معظم المؤسسات الآن طريقة رقمية للحصول على خدماتها ومنتجاتها باستخدام الهواتف الذكية والأجهزة المحمولة الأخرى، مما يوفر المرونة للمستخدمين ولكنه يضيف أيضًا إلى النطاق الذي تحتاج فيه المستندات الرقمية إلى المراجعة والمعالجة والتحليل. في بعض أعباء العمل حيث، على سبيل المثال، يجب تحليل مستندات الرهن العقاري وبطاقات التطعيم وقسائم الدفع وبطاقات التأمين وغيرها من المستندات رقميًا، يمكن أن يتفاقم تعقيد استخراج البيانات بشكل كبير لأن هذه المستندات تفتقر إلى تنسيق قياسي أو تحتوي على اختلافات كبيرة في تنسيق البيانات عبر إصدارات مختلفة من الوثيقة.

حتى حلول التعرف الضوئي على الحروف (OCR) القوية تواجه صعوبة في استخراج البيانات بدقة من هذه المستندات، وقد تضطر إلى تنفيذ معالجة لاحقة مخصصة لهذه المستندات. يتضمن ذلك تعيين الاختلافات المحتملة لمفاتيح النموذج لأسماء الحقول الأصلية للعميل أو تضمين التعلم الآلي المخصص لتحديد معلومات محددة في مستند غير منظم.

يمكن لواجهة برمجة تطبيقات Analyze Document Queries API الجديدة في Amazon Textract أن تستقبل أسئلة مكتوبة باللغة الطبيعية مثل "ما هو سعر الفائدة؟" وإجراء تحليل قوي للذكاء الاصطناعي والتعلم الآلي على المستند لمعرفة المعلومات المطلوبة واستخراجها من المستند دون أي معالجة لاحقة. لا تتطلب ميزة الاستعلامات أي تدريب على نموذج مخصص أو إعداد قوالب أو تكوينات. يمكنك البدء بسرعة عن طريق تحميل مستنداتك وتحديد الأسئلة المتعلقة بهذه المستندات عبر وحدة تحكم Amazon Textract واجهة سطر الأوامر AWS (AWS CLI)، أو AWS SDK.

في الأقسام اللاحقة من هذا المنشور، سنتناول أمثلة تفصيلية حول كيفية استخدام هذه الوظيفة الجديدة في حالات استخدام عبء العمل الشائعة وكيفية استخدام واجهة برمجة تطبيقات Analyze Document Queries API لإضافة المرونة إلى عملية رقمنة عبء العمل الخاص بك.

استخدم ميزة الاستعلامات في وحدة تحكم Amazon Texttract

قبل أن نبدأ باستخدام واجهة برمجة التطبيقات (API) ونماذج التعليمات البرمجية، فلنراجع وحدة تحكم Amazon Textract. الصورة التالية توضح مثال لبطاقة التطعيم على الاستعلامات علامة التبويب الخاصة بـ Analyze Document API في وحدة تحكم Amazon Texttract. بعد تحميل المستند إلى وحدة تحكم Amazon Texttract، اختر الاستعلامات في ال تكوين المستند قسم. يمكنك بعد ذلك إضافة استعلامات في شكل أسئلة باللغة الطبيعية. بعد إضافة جميع استفساراتك، اختر تطبيق التكوين. إجابات الأسئلة موجودة على الاستعلامات علامة التبويب.

أمثلة التعليمات البرمجية

في هذا القسم، نشرح كيفية استدعاء Analyze Document API باستخدام معلمة الاستعلامات للحصول على إجابات لأسئلة اللغة الطبيعية المتعلقة بالمستند. يكون مستند الإدخال إما بتنسيق صفيف بايت أو موجود في ملف خدمة تخزين أمازون البسيطة دلو (أمازون S3). يمكنك تمرير وحدات بايت الصورة إلى عملية Amazon Textract API باستخدام خاصية البايتات. على سبيل المثال، يمكنك استخدام Bytes خاصية تمرير مستند تم تحميله من نظام الملفات المحلي. بايتات الصورة التي تم تمريرها باستخدام Bytes يجب أن تكون الخاصية مشفرة بـ base64. قد لا يحتاج الكود الخاص بك إلى تشفير بايتات ملف المستند إذا كنت تستخدم AWS SDK للاتصال بعمليات Amazon Textract API. وبدلاً من ذلك، يمكنك تمرير الصور المخزنة في حاوية S3 إلى عملية Amazon Textract API باستخدام S3Object ملكية. لا تحتاج المستندات المخزنة في حاوية S3 إلى ترميز base64.

يمكنك استخدام ميزة الاستعلامات للحصول على إجابات من أنواع مختلفة من المستندات مثل قسائم الدفع وبطاقات التطعيم ومستندات الرهن العقاري وكشوفات الحساب البنكية ونماذج W-2 ونماذج 1099 وغيرها. وفي الأقسام التالية، سنراجع بعضًا من هذه المستندات ونوضح كيفية عمل ميزة الاستعلامات.

عقب وصل التسديد

في هذا المثال، نستعرض خطوات تحليل إيصال الدفع باستخدام ميزة الاستعلامات، كما هو موضح في صورة المثال التالية.

نستخدم نموذج كود Python التالي:

import boto3
import json #create a Textract Client
textract = boto3.client('textract') image_filename = "paystub.jpg" response = None
with open(image_filename, 'rb') as document: imageBytes = bytearray(document.read()) # Call Textract AnalyzeDocument by passing a document from local disk
response = textract.analyze_document( Document={'Bytes': imageBytes}, FeatureTypes=["QUERIES"], QueriesConfig={ "Queries": [{ "Text": "What is the year to date gross pay", "Alias": "PAYSTUB_YTD_GROSS" }, { "Text": "What is the current gross pay?", "Alias": "PAYSTUB_CURRENT_GROSS" }] })

التعليمة البرمجية التالية هي نموذج لأمر AWS CLI:

aws textract analyze-document —document '{"S3Object":{"Bucket":"your-s3-bucket","Name":"paystub.jpg"}}' —feature-types '["QUERIES"]' —queries-config '{"Queries":[{"Text":"What is the year to date gross pay", "Alias": "PAYSTUB_YTD_GROSS"}]}' 

دعونا نحلل الاستجابة التي حصلنا عليها للاستعلامين اللذين مررناهما إلى Analyze Document API في المثال السابق. تم قطع الرد التالي لإظهار الأجزاء ذات الصلة فقط:

{ "BlockType":"QUERY", "Id":"cbbba2fa-45be-452b-895b-adda98053153", #id of first QUERY "Relationships":[ { "Type":"ANSWER", "Ids":[ "f2db310c-eaa6-481d-8d18-db0785c33d38" #id of first QUERY_RESULT ] } ], "Query":{ "Text":"What is the year to date gross pay", #First Query "Alias":"PAYSTUB_YTD_GROSS" } }, { "BlockType":"QUERY_RESULT", "Confidence":87.0, "Text":"23,526.80", #Answer to the first Query "Geometry":{...}, "Id":"f2db310c-eaa6-481d-8d18-db0785c33d38" #id of first QUERY_RESULT }, { "BlockType":"QUERY", "Id":"4e2a17f0-154f-4847-954c-7c2bf2670c52", #id of second QUERY "Relationships":[ { "Type":"ANSWER", "Ids":[ "350ab92c-4128-4aab-a78a-f1c6f6718959"#id of second QUERY_RESULT ] } ], "Query":{ "Text":"What is the current gross pay?", #Second Query "Alias":"PAYSTUB_CURRENT_GROSS" } }, { "BlockType":"QUERY_RESULT", "Confidence":95.0, "Text":"$ 452.43", #Answer to the Second Query "Geometry":{...}, "Id":"350ab92c-4128-4aab-a78a-f1c6f6718959" #id of second QUERY_RESULT }

الرد لديه BlockType of QUERY الذي يوضح السؤال الذي تم طرحه و Relationships القسم الذي يحتوي على معرف الكتلة التي تحتوي على الإجابة. الجواب في BlockType of QUERY_RESULT. يتم إرجاع الاسم المستعار الذي تم تمريره كمدخل إلى Analyze Document API كجزء من الاستجابة ويمكن استخدامه لتسمية الإجابة.

نستخدم محلل استجابة Amazon Textract لاستخراج الأسئلة والاسم المستعار والإجابات المقابلة لهذه الأسئلة فقط:

import trp.trp2 as t2 d = t2.TDocumentSchema().load(response)
page = d.pages[0] # get_query_answers returns a list of [query, alias, answer]
query_answers = d.get_query_answers(page=page)
for x in query_answers: print(f"{image_filename},{x[1]},{x[2]}") from tabulate import tabulate
print(tabulate(query_answers, tablefmt="github"))

يُرجع الكود السابق النتائج التالية:

|------------------------------------|-----------------------|-----------|
| What is the current gross pay? | PAYSTUB_CURRENT_GROSS | $ 452.43 |
| What is the year to date gross pay | PAYSTUB_YTD_GROSS | 23,526.80 |

يمكن العثور على المزيد من الأسئلة والكود الكامل في دفتر الملاحظات على الموقع جيثب ريبو.

مذكرة الرهن العقاري

تعمل واجهة برمجة تطبيقات Analyze Document Queries API أيضًا بشكل جيد مع ملاحظات الرهن العقاري مثل ما يلي.

عملية استدعاء واجهة برمجة التطبيقات ومعالجة النتائج هي نفس المثال السابق. يمكنك العثور على مثال التعليمات البرمجية الكامل على جيثب ريبو.

يعرض التعليمة البرمجية التالية أمثلة الاستجابات التي تم الحصول عليها باستخدام واجهة برمجة التطبيقات:

|------------------------------------------------------------|----------------------------------|---------------|
| When is this document dated? | MORTGAGE_NOTE_DOCUMENT_DATE | March 4, 2022 |
| What is the note date? | MORTGAGE_NOTE_DATE | March 4, 2022 |
| When is the Maturity date the borrower has to pay in full? | MORTGAGE_NOTE_MATURITY_DATE | April, 2032 |
| What is the note city and state? | MORTGAGE_NOTE_CITY_STATE | Anytown, ZZ |
| what is the yearly interest rate? | MORTGAGE_NOTE_YEARLY_INTEREST | 4.150% |
| Who is the lender? | MORTGAGE_NOTE_LENDER | AnyCompany |
| When does payments begin? | MORTGAGE_NOTE_BEGIN_PAYMENTS | April, 2022 |
| What is the beginning date of payment? | MORTGAGE_NOTE_BEGIN_DATE_PAYMENT | April, 2022 |
| What is the initial monthly payments? | MORTGAGE_NOTE_MONTHLY_PAYMENTS | $ 2500 |
| What is the interest rate? | MORTGAGE_NOTE_INTEREST_RATE | 4.150% |
| What is the principal amount borrower has to pay? | MORTGAGE_NOTE_PRINCIPAL_PAYMENT | $ 500,000 |

بطاقة التطعيم

كما تعمل ميزة Amazon Textract Queries بشكل جيد جدًا على استخراج المعلومات من بطاقات التطعيم أو البطاقات التي تشبهها، كما في المثال التالي.

إن عملية استدعاء واجهة برمجة التطبيقات (API) وتحليل النتائج هي نفسها المستخدمة في إيصال الدفع. بعد أن نقوم بمعالجة الرد، نحصل على المعلومات التالية:

|------------------------------------------------------------|--------------------------------------|--------------|
| What is the patients first name | PATIENT_FIRST_NAME | Major |
| What is the patients last name | PATIENT_LAST_NAME | Mary |
| Which clinic site was the 1st dose COVID-19 administrated? | VACCINATION_FIRST_DOSE_CLINIC_SITE | XYZ |
| Who is the manufacturer for 1st dose of COVID-19? | VACCINATION_FIRST_DOSE_MANUFACTURER | Pfizer |
| What is the date for the 2nd dose covid-19? | VACCINATION_SECOND_DOSE_DATE | 2/8/2021 |
| What is the patient number | PATIENT_NUMBER | 012345abcd67 |
| Who is the manufacturer for 2nd dose of COVID-19? | VACCINATION_SECOND_DOSE_MANUFACTURER | Pfizer |
| Which clinic site was the 2nd dose covid-19 administrated? | VACCINATION_SECOND_DOSE_CLINIC_SITE | CVS |
| What is the lot number for 2nd dose covid-19? | VACCINATION_SECOND_DOSE_LOT_NUMBER | BB5678 |
| What is the date for the 1st dose covid-19? | VACCINATION_FIRST_DOSE_DATE | 1/18/21 |
| What is the lot number for 1st dose covid-19? | VACCINATION_FIRST_DOSE_LOT_NUMBER | AA1234 |
| What is the MI? | MIDDLE_INITIAL | M |

يمكن العثور على الكود الكامل في دفتر الملاحظات الموجود على جيثب ريبو.

بطاقة تأمين

تعمل ميزة الاستعلامات أيضًا بشكل جيد مع بطاقات التأمين مثل ما يلي.

عملية استدعاء واجهة برمجة التطبيقات (API) ومعالجة النتائج هي نفسها التي تم عرضها سابقًا. يتوفر مثال التعليمات البرمجية الكامل في دفتر الملاحظات على جيثب ريبو.

فيما يلي أمثلة الاستجابات التي تم الحصول عليها باستخدام واجهة برمجة التطبيقات:

|-------------------------------------|-----------------------------------|---------------|
| What is the insured name? | INSURANCE_CARD_NAME | Jacob Michael |
| What is the level of benefits? | INSURANCE_CARD_LEVEL_BENEFITS | SILVER |
| What is medical insurance provider? | INSURANCE_CARD_PROVIDER | Anthem |
| What is the OOP max? | INSURANCE_CARD_OOP_MAX | $6000/$12000 |
| What is the effective date? | INSURANCE_CARD_EFFECTIVE_DATE | 11/02/2021 |
| What is the office visit copay? | INSURANCE_CARD_OFFICE_VISIT_COPAY | $55/0% |
| What is the specialist visit copay? | INSURANCE_CARD_SPEC_VISIT_COPAY | $65/0% |
| What is the member id? | INSURANCE_CARD_MEMBER_ID | XZ 9147589652 |
| What is the plan type? | INSURANCE_CARD_PLAN_TYPE | Pathway X-EPO |
| What is the coinsurance amount? | INSURANCE_CARD_COINSURANCE | 30% |

أفضل الممارسات لصياغة الاستعلامات

عند صياغة استفساراتك، ضع في اعتبارك أفضل الممارسات التالية:

• بشكل عام، اطرح سؤالاً باللغة الطبيعية يبدأ بـ "ما هو" أو "أين يوجد" أو "من هو". الاستثناء هو عندما تحاول استخراج أزواج قيمة المفتاح القياسية، وفي هذه الحالة يمكنك تمرير اسم المفتاح كاستعلام.
• تجنب الأسئلة غير الصحيحة أو غير الصحيحة نحويًا، لأنها قد تؤدي إلى إجابات غير متوقعة. على سبيل المثال، الاستعلام الذي تم صياغته بشكل غير صحيح هو "متى؟" في حين أن الاستعلام الجيد هو "متى تم إعطاء جرعة اللقاح الأولى؟"
• حيثما أمكن، استخدم كلمات من المستند لإنشاء الاستعلام. على الرغم من أن ميزة الاستعلامات تحاول إجراء مطابقة الاختصارات والمرادفات لبعض مصطلحات الصناعة الشائعة مثل "SSN" و"معرف الضريبة" و"رقم الضمان الاجتماعي"، فإن استخدام اللغة مباشرة من المستند يؤدي إلى تحسين النتائج. على سبيل المثال، إذا كان المستند يشير إلى "التقدم في الوظيفة"، فحاول تجنب استخدام الاختلافات مثل "تقدم المشروع" أو "تقدم البرنامج" أو "حالة الوظيفة".
• قم بإنشاء استعلام يحتوي على كلمات من رأس الصف ورأس العمود. على سبيل المثال، في مثال بطاقة التطعيم السابقة، لمعرفة تاريخ التطعيم الثاني، يمكنك تأطير الاستعلام على النحو التالي: "ما تاريخ إعطاء الجرعة الثانية؟"
• تزيد الإجابات الطويلة من زمن استجابة الاستجابة ويمكن أن تؤدي إلى انتهاء المهلات. حاول طرح الأسئلة التي تكون إجاباتها أقل من 100 كلمة.
• تمرير اسم المفتاح فقط عندما يعمل السؤال عند محاولة استخراج أزواج قيمة المفتاح القياسية من النموذج. نوصي بصياغة الأسئلة الكاملة لجميع حالات استخدام الاستخراج الأخرى.
• أن تكون محددة قدر الإمكان. على سبيل المثال:
  • عندما يحتوي المستند على أقسام متعددة (مثل "المقترض" و"المقترض المشارك") ويحتوي كلا القسمين على حقل يسمى "SSN"، اسأل "ما هو رقم الضمان الاجتماعي للمقترض؟" و"ما هو رقم الضمان الاجتماعي للمقترض المشارك؟"
  • عندما يحتوي المستند على عدة حقول مرتبطة بالتاريخ، كن محددًا في لغة الاستعلام واسأل "ما هو تاريخ التوقيع على المستند؟" أو "ما هو تاريخ ميلاد التطبيق؟" تجنب طرح أسئلة غامضة مثل "ما هو التاريخ؟"
• إذا كنت تعرف تخطيط المستند مسبقًا، فقم بإعطاء تلميحات للموقع لتحسين دقة النتائج. على سبيل المثال، اسأل "ما هو التاريخ الموجود في الأعلى؟" أو "ما هو التاريخ الموجود على اليسار؟" أو "ما هو التاريخ الموجود بالأسفل؟"

لمزيد من المعلومات حول ميزة الاستعلامات، راجع النص توثيق.

وفي الختام

في هذا المنشور، قدمنا ​​نظرة عامة على ميزة الاستعلامات الجديدة في Amazon Textract لاسترداد المعلومات بسرعة وسهولة من المستندات مثل قسائم الدفع ومذكرات الرهن العقاري وبطاقات التأمين وبطاقات التطعيم بناءً على أسئلة اللغة الطبيعية. لقد وصفنا أيضًا كيف يمكنك تحليل استجابة JSON.

لمزيد من المعلومات، راجع تحليل الوثائق أو قم بالاطلاع على وحدة تحكم Amazon Texttract وجرب هذه الميزة.

حول المؤلف

عدي نارايانان هو مهندس الحلول الأول في AWS. إنه يستمتع بمساعدة العملاء على إيجاد حلول مبتكرة لتحديات الأعمال المعقدة. مجالات تركيزه الأساسية هي تحليلات البيانات، وأنظمة البيانات الضخمة، والتعلم الآلي. يستمتع في أوقات فراغه بممارسة الرياضة ومشاهدة البرامج التلفزيونية والسفر.

رافائيل كايكسيتا هو مهندس الحلول الأول في AWS ومقره في كاليفورنيا. يتمتع بخبرة تزيد عن 10 سنوات في تطوير بنيات السحابة. مجالاته الأساسية هي بدون خوادم، والحاويات، والتعلم الآلي. يستمتع في أوقات فراغه بقراءة الكتب الخيالية والسفر حول العالم.

نافيث ناير هو مدير منتج أول، تقني مع فريق Amazon Texttract. وهو يركز على بناء خدمات قائمة على التعلم الآلي لعملاء AWS.

مارتن شادي هو أحد كبار منتجات ML مع فريق Amazon Textract. يتمتع بخبرة تزيد عن 20 عامًا في التقنيات المتعلقة بالإنترنت والهندسة والحلول المعمارية. انضم إلى AWS في عام 2014 ، حيث قام أولاً بتوجيه بعض أكبر عملاء AWS حول الاستخدام الأكثر كفاءة وقابلية للتوسع لخدمات AWS ، ثم ركز لاحقًا على AI / ML مع التركيز على رؤية الكمبيوتر. حاليًا ، هو مهووس باستخراج المعلومات من المستندات.

• كوينسمارت. أفضل بورصة للبيتكوين والعملات المشفرة في أوروبا.
• بلاتوبلوكشين. Web3 Metaverse Intelligence. تضخيم المعرفة. دخول مجاني.
• كريبتوهوك. الرادار. تجربة مجانية.
• المصدر: https://aws.amazon.com/blogs/machine-learning/specify-and-extract-information-from-documents-using-the-new-queries-feature-in-amazon-texttract/