معالجة المستندات بذكاء باستخدام خدمات AWS AI والتحليلات في صناعة التأمين: الجزء 2

In جزء 1 في هذه السلسلة ، ناقشنا المعالجة الذكية للمستندات (IDP) ، وكيف يمكن لـ IDP تسريع حالات استخدام معالجة المطالبات في صناعة التأمين. ناقشنا كيف يمكننا استخدام خدمات AWS AI لتصنيف مستندات المطالبات بدقة إلى جانب المستندات الداعمة. ناقشنا أيضًا كيفية استخراج أنواع مختلفة من المستندات في حزمة مطالبات التأمين ، مثل النماذج أو الجداول أو المستندات المتخصصة مثل الفواتير أو الإيصالات أو مستندات الهوية. لقد بحثنا في التحديات في عمليات المستندات القديمة ، والتي تستغرق وقتًا طويلاً ، وعرضة للخطأ ، ومكلفة ، ويصعب معالجتها على نطاق واسع ، وكيف يمكنك استخدام خدمات AWS AI للمساعدة في تنفيذ خط أنابيب IDP الخاص بك.

في هذا المنشور ، نوجهك عبر ميزات IDP المتقدمة لاستخراج المستندات والاستعلام عنها وإثرائها. نحن ننظر أيضًا في كيفية استخدام المعلومات المنظمة المستخرجة من بيانات المطالبات للحصول على رؤى باستخدام AWS Analytics وخدمات التمثيل البصري. نسلط الضوء على كيف يمكن أن تساعد البيانات المنظمة المستخرجة من IDP ضد المطالبات الاحتيالية باستخدام خدمات AWS Analytics.

حل نظرة عامة

يوضح الرسم البياني التالي مراحل استخدام IDP لخدمات AWS AI. في الجزء الأول ، ناقشنا المراحل الثلاث الأولى من سير عمل IDP. في هذا المنشور ، نتوسع في خطوة الاستخراج والمراحل المتبقية ، والتي تشمل دمج IDP مع خدمات AWS Analytics.

نحن نستخدم خدمات التحليلات هذه لمزيد من الرؤى والتصورات ، واكتشاف الادعاءات الاحتيالية باستخدام بيانات منظمة ومعايرة من IDP. يوضح الرسم البياني التالي بنية الحل.

تستخدم المراحل التي نناقشها في هذا المنشور الخدمات الرئيسية التالية:

• الأمازون فهم الطبية هي خدمة معالجة اللغة الطبيعية (NLP) المؤهلة لـ HIPAA والتي تستخدم نماذج التعلم الآلي (ML) التي تم تدريبها مسبقًا لفهم واستخراج البيانات الصحية من النص الطبي ، مثل الوصفات الطبية أو الإجراءات أو التشخيص.
• غراء AWS هي جزء من مجموعة خدمات AWS Analytics ، وهي خدمة تكامل بيانات بدون خادم تسهل اكتشاف البيانات وإعدادها ودمجها لأغراض التحليلات والتعلم الآلي وتطوير التطبيقات.
• الأمازون الأحمر هي خدمة أخرى في حزمة التحليلات. Amazon Redshift عبارة عن خدمة مستودع بيانات مُدارة بالكامل على نطاق بيتابايت في السحابة.

المتطلبات الأساسية المسبقة

قبل أن تبدأ ، ارجع إلى جزء 1 للحصول على نظرة عامة عالية المستوى لحالة استخدام التأمين مع IDP وتفاصيل حول مراحل التقاط البيانات وتصنيفها.

لمزيد من المعلومات حول نماذج التعليمات البرمجية ، يرجى الرجوع إلى GitHub الريبو.

مرحلة الاستخراج

في الجزء الأول ، رأينا كيفية استخدام Amazon Textract APIs لاستخراج معلومات مثل النماذج والجداول من المستندات ، وكيفية تحليل الفواتير ووثائق الهوية. في هذا المنشور ، قمنا بتحسين مرحلة الاستخراج باستخدام Amazon Comprehend لاستخراج الكيانات الافتراضية والمخصصة المحددة لحالات الاستخدام المخصصة.

غالبًا ما تصادف شركات التأمين نصًا كثيفًا في طلبات مطالبات التأمين ، مثل خطاب ملخص خروج المريض (انظر الصورة المثال التالية). قد يكون من الصعب استخراج المعلومات تلقائيًا من مثل هذه الأنواع من المستندات حيث لا يوجد هيكل محدد. لمعالجة هذا الأمر ، يمكننا استخدام الطرق التالية لاستخراج معلومات العمل الرئيسية من المستند:

استخرج الكيانات الافتراضية باستخدام واجهة برمجة تطبيقات Amazon Comprehend DetectEntities

نقوم بتشغيل الكود التالي في نموذج مستند النسخ الطبي:

comprehend = boto3.client('comprehend') 

response = comprehend.detect_entities( Text=text, LanguageCode='en')

#print enitities from the response JSON

for entity in response['Entities']:
    print(f'{entity["Type"]} : {entity["Text"]}')

تُظهر لقطة الشاشة التالية مجموعة من الكيانات المحددة في نص الإدخال. تم اختصار الإخراج لأغراض هذا المنشور. الرجوع إلى جيثب ريبو للحصول على قائمة مفصلة بالكيانات.

استخرج الكيانات المخصصة باستخدام التعرف على الكيانات المخصصة من Amazon Comprehend

رد من DetectEntities تتضمن API الكيانات الافتراضية. ومع ذلك ، فنحن مهتمون بمعرفة قيم كيانات معينة ، مثل اسم المريض (يُشار إليه بالكيان الافتراضي PERSON) ، أو معرّف المريض (يُشار إليه بالكيان الافتراضي OTHER). للتعرف على هذه الكيانات المخصصة ، نقوم بتدريب نموذج التعرف على الكيانات المخصص من Amazon Comprehend. نوصي باتباع الخطوات الشاملة حول كيفية تدريب ونشر نموذج التعرف على الكيانات المخصص في GitHub الريبو.

بعد نشر النموذج المخصص ، يمكننا استخدام وظيفة المساعد get_entities() لاسترداد الكيانات المخصصة مثل PATIENT_NAME و PATIENT_D من استجابة API:

def get_entities(text):
try:
    #detect entities
    entities_custom = comprehend.detect_entities(LanguageCode="en",
                      Text=text, EndpointArn=ER_ENDPOINT_ARN) 
    df_custom = pd.DataFrame(entities_custom["Entities"], columns = ['Text',  
                'Type', 'Score'])
    df_custom = df_custom.drop_duplicates(subset=['Text']).reset_index()
    return df_custom
except Exception as e:
    print(e)

# call the get_entities() function 
response = get_entities(text) 
#print the response from the get_entities() function
print(response)

تظهر لقطة الشاشة التالية نتائجنا.

مرحلة الإثراء

في مرحلة إثراء المستندات ، نقوم بوظائف الإثراء على المستندات المتعلقة بالرعاية الصحية لاستخلاص رؤى قيمة. ننظر إلى الأنواع التالية من الإثراء:

• استخراج لغة خاصة بالمجال - نستخدم Amazon Comprehend Medical لاستخراج الأنطولوجيا الطبية الخاصة مثل ICD-10-CM و RxNorm و SNOMED CT
• احذف المعلومات الحساسة - نستخدم Amazon Comprehend لتنقيح معلومات التعريف الشخصية (PII) وتنقيح Amazon Comprehend Medical للمعلومات الصحية المحمية (PHI)

استخراج المعلومات الطبية من نص طبي غير منظم

تتضمن المستندات مثل ملاحظات مقدمي الخدمات الطبية وتقارير التجارب السريرية نصًا طبيًا كثيفًا. تحتاج شركات مطالبات التأمين إلى تحديد العلاقات بين المعلومات الصحية المستخرجة من هذا النص الكثيف وربطها بالمعلومات الطبية مثل أكواد ICD-10-CM و RxNorm و SNOMED CT. يعد هذا أمرًا ذا قيمة كبيرة في أتمتة عمليات تسجيل المطالبات والتحقق من صحتها والموافقة عليها لشركات التأمين لتسريع معالجة المطالبات وتبسيطها. لنلقِ نظرة على كيفية استخدام Amazon Comprehend Medical InferICD10CM API للكشف عن الحالات الطبية المحتملة ككيانات وربطها برموزها:

cm_json_data = comprehend_med.infer_icd10_cm(Text=text)

print("nMedical codingn========")

for entity in cm_json_data["Entities"]:
      for icd in entity["ICD10CMConcepts"]:
           description = icd['Description']
           code = icd["Code"]
           print(f'{description}: {code}')

لنص الإدخال ، والذي يمكننا تمريره من Amazon Textract DetectDocumentText API ، و InferICD10CM تقوم API بإرجاع الإخراج التالي (تم اختصار الإخراج للإيجاز).

وبالمثل ، يمكننا استخدام Amazon Comprehend Medical InferRxNorm API لتحديد الأدوية و InferSNOMEDCT API للكشف عن الكيانات الطبية داخل وثائق التأمين المتعلقة بالرعاية الصحية.

إجراء تنقيح PII و PHI

تتطلب حزم مطالبات التأمين الكثير من الامتثال واللوائح المتعلقة بالخصوصية لأنها تحتوي على بيانات PII و PHI. يمكن لشركات التأمين تقليل مخاطر الامتثال عن طريق تنقيح المعلومات مثل أرقام البوليصة أو اسم المريض.

لنلقِ نظرة على مثال ملخص خروج المريض. نحن نستخدم Amazon Comprehend DetectPiiEntities API لاكتشاف كيانات PII داخل المستند وحماية خصوصية المريض عن طريق تنقيح هذه الكيانات:

resp = call_textract(input_document = f's3://{data_bucket}/idp/textract/dr-note-sample.png')
text = get_string(textract_json=resp, output_type=[Textract_Pretty_Print.LINES])

# call Amazon Comprehend Detect PII Entities API
entity_resp = comprehend.detect_pii_entities(Text=text, LanguageCode="en") 

pii = []
for entity in entity_resp['Entities']:
      pii_entity={}
      pii_entity['Type'] = entity['Type']
      pii_entity['Text'] = text[entity['BeginOffset']:entity['EndOffset']]
      pii.append(pii_entity)
print(pii)

نحصل على الكيانات التالية لمعلومات تحديد الهوية الشخصية في الرد من detect_pii_entities() API:

يمكننا بعد ذلك تنقيح كيانات معلومات تحديد الهوية الشخصية التي تم اكتشافها من المستندات من خلال استخدام هندسة المربع المحيط للكيانات من المستند. لذلك ، نستخدم أداة مساعدة تسمى amazon-textract-overlayer. لمزيد من المعلومات ، يرجى الرجوع إلى تراكب النص. تقارن لقطات الشاشة التالية مستندًا قبل التنقيح وبعده.

على غرار Amazon Comprehend DetectPiiEntities API ، يمكننا أيضًا استخدام ملف DetectPHI API للكشف عن بيانات PHI في النص السريري قيد الفحص. لمزيد من المعلومات ، يرجى الرجوع إلى كشف المعلومات الصحية المحمية.

مرحلة المراجعة والتحقق

في مرحلة مراجعة المستندات والتحقق من صحتها ، يمكننا الآن التحقق مما إذا كانت حزمة المطالبة تفي بمتطلبات العمل ، لأن لدينا جميع المعلومات التي تم جمعها من المستندات الموجودة في الحزمة من المراحل السابقة. يمكننا القيام بذلك عن طريق إدخال شخص في الحلقة يمكنه مراجعة والتحقق من صحة جميع الحقول أو مجرد عملية الموافقة التلقائية للمطالبات المنخفضة الدولار قبل إرسال الحزمة إلى التطبيقات النهائية. يمكننا ان نستخدم أمازون المعزز بالذكاء الاصطناعي (Amazon A2I) لأتمتة عملية المراجعة البشرية لمعالجة مطالبات التأمين.

الآن بعد أن أصبح لدينا جميع البيانات المطلوبة المستخرجة والمطابقة من معالجة المطالبات باستخدام خدمات الذكاء الاصطناعي لـ IDP ، يمكننا توسيع الحل للتكامل مع خدمات AWS Analytics مثل AWS Glue و Amazon Redshift لحل حالات الاستخدام الإضافية وتقديم المزيد من التحليلات والتصورات.

كشف مطالبات التأمين الاحتيالية

في هذا المنشور ، ننفذ بنية بدون خادم حيث يتم تخزين البيانات المستخرجة والمعالجة في بحيرة بيانات ويتم استخدامها للكشف عن مطالبات التأمين الاحتيالية باستخدام ML. نحن نستخدم خدمة تخزين أمازون البسيطة (Amazon S3) لتخزين البيانات المعالجة. يمكننا بعد ذلك استخدام ملفات غراء AWS or أمازون EMR لتطهير البيانات وإضافة حقول إضافية لجعلها قابلة للاستهلاك لإعداد التقارير وتعلم الآلة. بعد ذلك نستخدم أمازون Redshift ML لبناء نموذج ML للكشف عن الاحتيال. أخيرًا ، نقوم ببناء التقارير باستخدام أمازون QuickSight للحصول على رؤى حول البيانات.

قم بإعداد مخطط Amazon Redshift الخارجي

لغرض هذا المثال ، قمنا بإنشاء ملف عينة مجموعة البيانات يحاكي إخراج عملية ETL (استخراج وتحويل وتحميل) ، واستخدام AWS Glue Data Catalog ككتالوج بيانات التعريف. أولاً ، نقوم بإنشاء قاعدة بيانات باسم idp_demo في كتالوج البيانات والمخطط الخارجي في Amazon Redshift يسمى idp_insurance_demo (انظر الكود التالي). نحن نستخدم ملف إدارة الهوية والوصول AWS (IAM) لمنح الأذونات لمجموعة Amazon Redshift للوصول إلى Amazon S3 و الأمازون SageMaker. لمزيد من المعلومات حول كيفية إعداد دور IAM هذا بأقل امتياز ، ارجع إلى الكتلة وتكوين الإعداد لإدارة Amazon Redshift ML.

CREATE EXTERNAL SCHEMA idp_insurance_demo
FROM DATA CATALOG
DATABASE 'idp_demo' 
IAM_ROLE '<<>>'
CREATE EXTERNAL DATABASE IF NOT EXISTS;

أنشئ جدول Amazon Redshift الخارجي

تتمثل الخطوة التالية في إنشاء جدول خارجي في Amazon Redshift يشير إلى موقع S3 حيث يوجد الملف. في هذه الحالة ، ملفنا عبارة عن ملف نصي مفصول بفواصل. نريد أيضًا تخطي صف الرأس من الملف ، والذي يمكن تهيئته في قسم خصائص الجدول. انظر الكود التالي:

create external table idp_insurance_demo.claims(id INTEGER,
date_of_service date,
patients_address_city VARCHAR,
patients_address_state VARCHAR,
patients_address_zip VARCHAR,
patient_status VARCHAR,
insured_address_state VARCHAR,
insured_address_zip VARCHAR,
insured_date_of_birth date,
insurance_plan_name VARCHAR,
total_charges DECIMAL(14,4),
fraud VARCHAR,
duplicate varchar,
invalid_claim VARCHAR
)
row format delimited
fields terminated by ','
stored as textfile
location '<<>>'
table properties ( 'skip.header.line.count'='1');

إنشاء مجموعات بيانات التدريب والاختبار

بعد إنشاء الجدول الخارجي ، نقوم بإعداد مجموعة البيانات الخاصة بنا لـ ML من خلال تقسيمها إلى مجموعة تدريب ومجموعة اختبار. نقوم بإنشاء جدول خارجي جديد يسمى claim_train، والتي تتكون من جميع السجلات ذات المعرف <= 85000 من جدول المطالبات. هذه هي مجموعة التدريب التي ندرب عليها نموذج ML الخاص بنا.

CREATE EXTERNAL TABLE
idp_insurance_demo.claims_train
row format delimited
fields terminated by ','
stored as textfile
location '<<>>/train'
table properties ( 'skip.header.line.count'='1')
AS select * from idp_insurance_demo.claims where id <= 850000

نقوم بإنشاء جدول خارجي آخر يسمى claim_test التي تتكون من جميع السجلات ذات المعرف> 85000 لتكون مجموعة الاختبار التي نختبر نموذج ML عليها:

CREATE EXTERNAL TABLE
idp_insurance_demo.claims_test
row format delimited
fields terminated by ','
stored as textfile
location '<<>>/test'
table properties ( 'skip.header.line.count'='1')
AS select * from idp_insurance_demo.claims where id > 850000

قم بإنشاء نموذج ML باستخدام Amazon Redshift ML

الآن نقوم بإنشاء النموذج باستخدام إنشاء نموذج الأمر (انظر الكود التالي). نختار الأعمدة ذات الصلة من claims_train الجدول الذي يمكنه تحديد معاملة احتيالية. الهدف من هذا النموذج هو التنبؤ بقيمة fraud عمودي؛ وبالتالي، fraud تمت إضافته كهدف التنبؤ. بعد أن يتم تدريب النموذج ، فإنه يقوم بإنشاء وظيفة تسمى insurance_fraud_model. تُستخدم هذه الوظيفة للاستدلال أثناء تشغيل جمل SQL للتنبؤ بقيمة fraud عمود للسجلات الجديدة.

CREATE MODEL idp_insurance_demo.insurance_fraud_model
FROM (SELECT 
total_charges ,
fraud ,
duplicate,
invalid_claim
FROM idp_insurance_demo.claims_train
)
TARGET fraud
FUNCTION insurance_fraud_model
IAM_ROLE '<<>>'
SETTINGS (
S3_BUCKET '<<>>'
);

تقييم مقاييس نموذج ML

بعد إنشاء النموذج ، يمكننا تشغيل الاستعلامات للتحقق من دقة النموذج. نحن نستخدم ال insurance_fraud_model وظيفة للتنبؤ بقيمة fraud عمود للسجلات الجديدة. قم بتشغيل الاستعلام التالي على ملف claims_test جدول لإنشاء مصفوفة ارتباك:

SELECT 
fraud,
idp_insurance_demo.insurance_fraud_model (total_charges ,duplicate,invalid_claim ) as fraud_calculcated,
count(1)
FROM idp_insurance_demo.claims_test
GROUP BY fraud , fraud_calculcated;

كشف الاحتيال باستخدام نموذج ML

بعد إنشاء النموذج الجديد ، حيث يتم إدخال بيانات المطالبات الجديدة في مستودع البيانات أو بحيرة البيانات ، يمكننا استخدام insurance_fraud_model وظيفة لحساب المعاملات الاحتيالية. نقوم بذلك عن طريق تحميل البيانات الجديدة أولاً في جدول مؤقت. ثم نستخدم ملف insurance_fraud_model وظيفة لحساب fraud علم لكل معاملة جديدة وأدخل البيانات جنبًا إلى جنب مع العلم في الجدول النهائي ، وهو في هذه الحالة claims الجدول.

تصور بيانات المطالبات

عندما تكون البيانات متاحة في Amazon Redshift ، يمكننا إنشاء تصورات باستخدام QuickSight. يمكننا بعد ذلك مشاركة لوحات معلومات QuickSight مع مستخدمي الأعمال والمحللين. لإنشاء لوحة معلومات QuickSight ، تحتاج أولاً إلى إنشاء مجموعة بيانات Amazon Redshift في QuickSight. للحصول على تعليمات ، راجع إنشاء مجموعة بيانات من قاعدة بيانات.

بعد إنشاء مجموعة البيانات ، يمكنك إنشاء تحليل جديد في QuickSight باستخدام مجموعة البيانات. فيما يلي بعض نماذج التقارير التي أنشأناها:

• إجمالي عدد المطالبات حسب الولاية مجمعة حسب fraud حقل - يوضح لنا هذا الرسم البياني نسبة المعاملات الاحتيالية مقارنة بإجمالي عدد المعاملات في دولة معينة.
• مجموع القيمة الإجمالية بالدولار للمطالبات ، مجمعة حسب fraud حقل - يوضح لنا هذا الرسم البياني نسبة المبلغ بالدولار للمعاملات الاحتيالية مقارنة بالمبلغ الإجمالي بالدولار للمعاملات في دولة معينة.
• إجمالي عدد المعاملات لكل شركة تأمين مجمعة حسب fraud حقل - يوضح لنا هذا الرسم البياني عدد المطالبات المقدمة لكل شركة تأمين وعدد المطالبات الاحتيالية منها.

• يتم عرض إجمالي المعاملات الاحتيالية حسب الولاية على خريطة الولايات المتحدة - يعرض هذا المخطط فقط المعاملات الاحتيالية ويعرض إجمالي الرسوم لتلك المعاملات حسب الولاية على الخريطة. يشير الظل الداكن للأزرق إلى ارتفاع إجمالي الشحنات. يمكننا تحليل هذا حسب المدينة داخل تلك الولاية والرموز البريدية مع المدينة لفهم الاتجاهات بشكل أفضل.

تنظيف

لمنع تكبد رسوم مستقبلية لحساب AWS الخاص بك ، احذف الموارد التي قدمتها في الإعداد باتباع الإرشادات الواردة في قسم التنظيف في الريبو الخاص بنا.

وفي الختام

في هذه السلسلة المكونة من جزأين ، رأينا كيفية بناء خط أنابيب IDP شامل مع خبرة قليلة في تعلم الآلة أو بدون خبرة على الإطلاق. استكشفنا حالة استخدام معالجة المطالبات في صناعة التأمين وكيف يمكن لـ IDP المساعدة في أتمتة حالة الاستخدام هذه باستخدام خدمات مثل Amazon Textract و Amazon Comprehend و Amazon Comprehend Medical و Amazon A2I. في الجزء الأول ، أوضحنا كيفية استخدام خدمات AWS AI لاستخراج المستندات. في الجزء 1 ، قمنا بتمديد مرحلة الاستخراج وقمنا بإثراء البيانات. أخيرًا ، قمنا بتوسيع البيانات المنظمة المستخرجة من IDP لمزيد من التحليلات ، وقمنا بإنشاء تصورات لاكتشاف الادعاءات الاحتيالية باستخدام خدمات AWS Analytics.

نوصي بمراجعة أقسام الأمان الخاصة بـ أمازون تيكستراك, فهم الأمازونو أمازون A2I الوثائق واتباع الإرشادات المقدمة. لمعرفة المزيد حول تسعير الحل ، راجع تفاصيل التسعير الخاصة بـ أمازون تيكستراك, فهم الأمازونو أمازون A2I.

حول المؤلف

تشينماي راني هو مهندس حلول متخصص في AI / ML في Amazon Web Services. إنها شغوفة بالرياضيات التطبيقية والتعلم الآلي. تركز على تصميم حلول معالجة المستندات الذكية لعملاء AWS. خارج العمل ، تستمتع برقص السالسا والباشاتا.

عدي نارايانان هو مهندس حلول متخصص في التحليلات في AWS. إنه يستمتع بمساعدة العملاء في إيجاد حلول مبتكرة لتحديات الأعمال المعقدة. مجالات تركيزه الأساسية هي تحليلات البيانات وأنظمة البيانات الضخمة والتعلم الآلي. في أوقات فراغه ، يستمتع بممارسة الرياضة ومشاهدة البرامج التلفزيونية بنهم والسفر.

سونالي ساهو يقود فريق مهندس حلول الذكاء الاصطناعي / ML في معالجة المستندات الذكية في Amazon Web Services. إنها شغوفة بالتكنولوجيا وتستمتع بالعمل مع العملاء لحل المشكلات المعقدة باستخدام الابتكار. مجال تركيزها الأساسي هو الذكاء الاصطناعي والتعلم الآلي لمعالجة المستندات بذكاء.