تحسين معالجة المستندات الذكية لـ AWS باستخدام الذكاء الاصطناعي | خدمات أمازون ويب

يمكن أن يمثل تصنيف البيانات واستخراجها وتحليلها تحديًا للمؤسسات التي تتعامل مع أحجام المستندات. حلول معالجة المستندات التقليدية يدوية ومكلفة ومعرضة للخطأ ويصعب قياسها. AWS معالجة المستندات الذكية (IDP) ، مع خدمات الذكاء الاصطناعي مثل أمازون تيكستراك، يتيح لك الاستفادة من تقنية التعلم الآلي (ML) الرائدة في الصناعة لمعالجة البيانات بسرعة ودقة من أي مستند أو صورة ممسوحة ضوئيًا. يكمل الذكاء الاصطناعي التوليدي (AI التوليدي) Amazon Textract لزيادة أتمتة عمليات سير عمل معالجة المستندات. تدعم الميزات مثل تطبيع الحقول الرئيسية وتلخيص بيانات الإدخال دورات أسرع لإدارة سير عمل عملية المستند ، مع تقليل احتمالية حدوث أخطاء.

يتم تشغيل الذكاء الاصطناعي التوليدي بواسطة نماذج ML كبيرة تسمى نماذج الأساس (FMs). تعمل ملفات FM على تغيير الطريقة التي يمكنك بها حل أعباء عمل معالجة المستندات المعقدة تقليديًا. بالإضافة إلى القدرات الحالية ، تحتاج الشركات إلى تلخيص فئات معينة من المعلومات ، بما في ذلك بيانات الخصم والائتمان من المستندات مثل التقارير المالية وكشوف الحسابات المصرفية. تجعل FMs من السهل إنشاء مثل هذه الأفكار من البيانات المستخرجة. لتحسين الوقت الذي تقضيه في المراجعة البشرية ولتحسين إنتاجية الموظف ، يمكن وضع علامة على أخطاء مثل الأرقام المفقودة في أرقام الهواتف أو المستندات المفقودة أو العناوين بدون أرقام الشوارع بطريقة آلية. في السيناريو الحالي ، تحتاج إلى تخصيص الموارد لإنجاز مثل هذه المهام باستخدام المراجعة البشرية والنصوص المعقدة. هذا النهج ممل ومكلف. يمكن أن تساعد FMs في إكمال هذه المهام بشكل أسرع ، بموارد أقل ، وتحويل تنسيقات الإدخال المختلفة إلى نموذج قياسي يمكن معالجته بشكل أكبر. في AWS ، نقدم خدمات مثل أمازون بيدروك، أسهل طريقة لإنشاء وتوسيع تطبيقات الذكاء الاصطناعي باستخدام FM. Amazon Bedrock هي خدمة مُدارة بالكامل تجعل خدمات FM من الشركات الناشئة الرائدة في مجال الذكاء الاصطناعي وأمازون متاحة من خلال واجهة برمجة التطبيقات ، حتى تتمكن من العثور على النموذج الذي يناسب متطلباتك. كما نقدم أمازون سيج ميكر جومب ستارت، والذي يسمح لممارسي تعلم الآلة بالاختيار من بين مجموعة واسعة من FMs مفتوحة المصدر. يمكن لممارسي ML نشر FMs المخصصة الأمازون SageMaker مثيلات من بيئة شبكة معزولة وتخصيص النماذج باستخدام SageMaker للتدريب على النموذج ونشره.

RICOH تقدم حلول مكان العمل وخدمات التحول الرقمي المصممة لمساعدة العملاء على إدارة وتحسين تدفق المعلومات عبر أعمالهم. يقول Ashok Shenoy ، نائب الرئيس لتطوير حلول المحفظة ، "نحن نضيف الذكاء الاصطناعي التوليدي إلى حلول IDP الخاصة بنا لمساعدة عملائنا على إنجاز أعمالهم بشكل أسرع وأكثر دقة من خلال استخدام إمكانات جديدة مثل الأسئلة والأجوبة والتلخيص والمخرجات الموحدة. تتيح لنا AWS الاستفادة من الذكاء الاصطناعي التوليدي مع الاحتفاظ ببيانات كل من عملائنا منفصلة وآمنة ".

في هذا المنشور ، نشارك كيفية تحسين حل IDP الخاص بك على AWS باستخدام الذكاء الاصطناعي التوليدي.

تحسين خط أنابيب النازحين

في هذا القسم ، نراجع كيف يمكن زيادة خط أنابيب IDP التقليدي بواسطة FMs ونستعرض مثالاً لحالة الاستخدام باستخدام Amazon Textract مع FMs.

يتكون AWS IDP من ثلاث مراحل: التصنيف والاستخراج والإثراء. لمزيد من التفاصيل حول كل مرحلة ، يرجى الرجوع إلى معالجة المستندات بذكاء مع خدمات AWS AI: الجزء 1 و جزء 2. في مرحلة التصنيف ، يمكن لمزودي الخدمات المالية الآن تصنيف المستندات دون أي تدريب إضافي. هذا يعني أنه يمكن تصنيف المستندات حتى لو لم يشاهد النموذج أمثلة مماثلة من قبل. تعمل ملفات FM في مرحلة الاستخراج على تطبيع حقول التاريخ والتحقق من العناوين وأرقام الهواتف ، مع ضمان التنسيق المتسق. تسمح FMs في مرحلة الإثراء بالاستدلال والتفكير المنطقي والتلخيص. عند استخدام FMs في كل مرحلة من مراحل IDP ، سيكون سير عملك أكثر بساطة وسيتحسن الأداء. يوضح الرسم البياني التالي خط أنابيب IDP باستخدام الذكاء الاصطناعي التوليدي.

مرحلة الاستخراج من خط أنابيب النازحين

عندما يتعذر على ملفات FM معالجة المستندات بتنسيقاتها الأصلية (مثل ملفات PDF و img و jpeg و tiff) كمدخلات ، يلزم وجود آلية لتحويل المستندات إلى نص. لاستخراج النص من المستند قبل إرساله إلى FMs ، يمكنك استخدام Amazon Textract. باستخدام Amazon Textract ، يمكنك استخراج الأسطر والكلمات وتمريرها إلى FMs المصب. تستخدم البنية التالية Amazon Textract لاستخراج نص دقيق من أي نوع من المستندات قبل إرسالها إلى FMs لمزيد من المعالجة.

عادة ، تتكون الوثائق من معلومات منظمة وشبه منظمة. يمكن استخدام Amazon Textract لاستخراج النص الخام والبيانات من الجداول والنماذج. تلعب العلاقة بين البيانات في الجداول والنماذج دورًا حيويًا في أتمتة عمليات الأعمال. قد لا تتم معالجة أنواع معينة من المعلومات بواسطة FMs. نتيجة لذلك ، يمكننا أن نختار إما تخزين هذه المعلومات في مخزن مباشر أو إرسالها إلى FMs. الشكل التالي هو مثال على كيفية قيام Amazon Textract باستخراج معلومات منظمة وشبه منظمة من مستند ، بالإضافة إلى سطور النص التي تحتاج إلى معالجتها بواسطة FMs.

استخدام خدمات AWS بدون خادم للتلخيص باستخدام FMs

يمكن أتمتة خط أنابيب IDP الذي أوضحناه سابقًا بسلاسة باستخدام خدمات AWS بدون خادم. المستندات غير المهيكلة بشكل كبير شائعة في المؤسسات الكبيرة. يمكن أن تمتد هذه المستندات من مستندات هيئة الأوراق المالية والبورصات (SEC) في الصناعة المصرفية إلى مستندات التغطية في صناعة التأمين الصحي. مع تطور الذكاء الاصطناعي التوليدي في AWS ، يبحث الأشخاص في هذه الصناعات عن طرق للحصول على ملخص من تلك المستندات بطريقة آلية وفعالة من حيث التكلفة. تساعد الخدمات بدون خادم في توفير آلية لبناء حل لـ IDP بسرعة. خدمات مثل AWS لامدا, وظائف خطوة AWSو أمازون إيفينت بريدج يمكن أن تساعد في بناء مسار معالجة المستندات مع تكامل FMs ، كما هو موضح في الرسم التخطيطي التالي.

• تطبيق العينة المستخدمة في العمارة السابقة هي مدفوعة بالأحداث. و حدث يُعرَّف بأنه تغيير في الحالة حدث مؤخرًا. على سبيل المثال ، عندما يتم تحميل كائن إلى ملف خدمة تخزين أمازون البسيطة (Amazon S3) ، يرسل Amazon S3 حدث Object Created. يمكن أن يؤدي إشعار الحدث هذا من Amazon S3 إلى تشغيل وظيفة Lambda أو سير عمل Step Functions. يُطلق على هذا النوع من العمارة اسم العمارة التي يحركها الحدث. في هذا المنشور ، يستخدم نموذج التطبيق لدينا بنية تعتمد على الأحداث لمعالجة عينة من مستند التفريغ الطبي وتلخيص تفاصيل المستند. يعمل التدفق على النحو التالي:

1. عندما يتم تحميل مستند إلى حاوية S3 ، يقوم Amazon S3 بتشغيل حدث Object Created.
2. ينشر ناقل الحدث الافتراضي EventBridge الحدث إلى Step Functions استنادًا إلى قاعدة EventBridge.
3. يعالج سير عمل آلة الحالة المستند ، بدءًا من Amazon Textract.
4. تقوم دالة Lambda بتحويل البيانات التي تم تحليلها للخطوة التالية.
5. آلة الدولة يتضرع a نقطة نهاية SageMaker، التي تستضيف FM باستخدام تكامل AWS SDK المباشر.
6. تتلقى حاوية الوجهة S3 الملخصة الاستجابة الموجزة التي تم جمعها من FM.

استخدمنا نموذج التطبيق مع ملف نموذج وجه تعانق flan-t5 لتلخيص نموذج ملخص خروج المريض التالي باستخدام سير عمل وظائف الخطوة.

يستخدم سير عمل وظائف الخطوة تكامل AWS SDK لاستدعاء Amazon Textract تحليل وثيقة ووقت تشغيل SageMaker استدعاء Endpoint واجهات برمجة التطبيقات ، كما هو موضح في الشكل التالي.

ينتج عن سير العمل هذا كائن JSON ملخص يتم تخزينه في حاوية الوجهة. يبدو كائن JSON كما يلي:

{ "summary": [ "John Doe is a 35-year old male who has been experiencing stomach problems for two months. He has been taking antibiotics for the last two weeks, but has not been able to eat much. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has also noticed a change in his stool color, which is now darker. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of fatigue, and has been unable to work for the last two weeks. He has also been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help." ], "forms": [ { "key": "Ph: ", "value": "(888)-(999)-(0000) " }, { "key": "Fax: ", "value": "(888)-(999)-(1111) " }, { "key": "Patient Name: ", "value": "John Doe " }, { "key": "Patient ID: ", "value": "NARH-36640 " }, { "key": "Gender: ", "value": "Male " }, { "key": "Attending Physician: ", "value": "Mateo Jackson, PhD " }, { "key": "Admit Date: ", "value": "07-Sep-2020 " }, { "key": "Discharge Date: ", "value": "08-Sep-2020 " }, { "key": "Discharge Disposition: ", "value": "Home with Support Services " }, { "key": "Pre-existing / Developed Conditions Impacting Hospital Stay: ", "value": "35 yo M c/o stomach problems since 2 months. Patient reports epigastric abdominal pain non- radiating. Pain is described as gnawing and burning, intermittent lasting 1-2 hours, and gotten progressively worse. Antacids used to alleviate pain but not anymore; nothing exacerbates pain. Pain unrelated to daytime or to meals. Patient denies constipation or diarrhea. Patient denies blood in stool but have noticed them darker. Patient also reports nausea. Denies recent illness or fever. He also reports fatigue for 2 weeks and bloating after eating. ROS: Negative except for above findings Meds: Motrin once/week. Tums previously. PMHx: Back pain and muscle spasms. No Hx of surgery. NKDA. FHx: Uncle has a bleeding ulcer. Social Hx: Smokes since 15 yo, 1/2-1 PPD. No recent EtOH use. Denies illicit drug use. Works on high elevation construction. Fast food diet. Exercises 3-4 times/week but stopped 2 weeks ago. " }, { "key": "Summary: ", "value": "some activity restrictions suggested, full course of antibiotics, check back with physican in case of relapse, strict diet " } ] }

يساعد إنشاء هذه الملخصات باستخدام IDP مع التنفيذ بدون خادم على نطاق واسع المؤسسات في الحصول على بيانات هادفة وموجزة وقابلة للعرض بطريقة فعالة من حيث التكلفة. لا تقصر وظائف الخطوة طريقة معالجة المستندات على مستند واحد في كل مرة. إنه خريطة موزعة يمكن أن تلخص الميزة عددًا كبيرًا من المستندات وفقًا لجدول زمني.

• تطبيق العينة يستخدم نموذج وجه تعانق flan-t5؛ ومع ذلك ، يمكنك استخدام نقطة نهاية FM من اختيارك. تدريب وتشغيل النموذج خارج نطاق تطبيق العينة. اتبع التعليمات الموجودة في مستودع GitHub لنشر تطبيق نموذجي. الهيكل السابق عبارة عن إرشادات حول كيفية تنظيم سير عمل IDP باستخدام وظائف الخطوة. الرجوع إلى ورشة عمل آي دي بي للذكاء الاصطناعي للحصول على إرشادات مفصلة حول كيفية إنشاء تطبيق باستخدام خدمات AWS AI و FM.

جهز الحل

اتبع الخطوات الواردة في README ملف لتعيين بنية الحل (باستثناء نقاط نهاية SageMaker). بعد توفر نقطة نهاية SageMaker الخاصة بك ، يمكنك تمرير اسم نقطة النهاية كمعامل للقالب.

تنظيف

لتوفير التكاليف ، احذف الموارد التي قمت بنشرها كجزء من البرنامج التعليمي:

1. اتبع الخطوات الواردة في قسم التنظيف الخاص بـ README ملف.
2. احذف أي محتوى من حاوية S3 الخاصة بك ، ثم احذف الحاوية من خلال وحدة تحكم Amazon S3.
3. احذف أي نقاط نهاية SageMaker قد تكون أنشأتها من خلال وحدة تحكم SageMaker.

وفي الختام

يعمل الذكاء الاصطناعي التوليدي على تغيير كيفية معالجة المستندات باستخدام IDP لاستخلاص رؤى. يمكن أن تساعد خدمات AWS AI مثل Amazon Textract جنبًا إلى جنب مع AWS FMs في معالجة أي نوع من المستندات بدقة. لمزيد من المعلومات حول العمل مع الذكاء الاصطناعي التوليفي على AWS ، يرجى الرجوع إلى الإعلان عن أدوات جديدة للبناء باستخدام الذكاء الاصطناعي التوليدي على AWS.

---

حول المؤلف

سونالي ساهو تقود معالجة المستندات الذكية مع فريق خدمات AI / ML في AWS. هي مؤلفة وقائدة فكرية وتقنية شغوفة. مجال تركيزها الأساسي هو الذكاء الاصطناعي والتعلم الآلي ، وهي تتحدث كثيرًا في مؤتمرات واجتماعات الذكاء الاصطناعي والتعلم الآلي حول العالم. تتمتع بخبرة واسعة وعميقة في مجال التكنولوجيا وصناعة التكنولوجيا ، مع خبرة صناعية في الرعاية الصحية والقطاع المالي والتأمين.

اشيش لال هو مدير تسويق منتجات أول يقود تسويق المنتجات لخدمات الذكاء الاصطناعي في AWS. يتمتع بخبرة 9 سنوات في التسويق وقاد جهود تسويق المنتجات لمعالجة المستندات بطريقة ذكية. حصل على درجة الماجستير في إدارة الأعمال من جامعة واشنطن.

مرونال دفتري هو مهندس حلول كبير للمؤسسات في Amazon Web Services. يقيم في بوسطن ، ماساتشوستس. إنه متحمس للسحابة ومتحمس جدًا لإيجاد حلول للعملاء بسيطة وتعالج نتائج أعمالهم. إنه يحب العمل باستخدام التقنيات السحابية ، وتقديم حلول بسيطة وقابلة للتطوير تؤدي إلى نتائج أعمال إيجابية ، واستراتيجية تبني السحابة ، وتصميم حلول مبتكرة ودفع التميز التشغيلي.

ديراج ماهاباترو هو مهندس حلول متخصص رئيسي بدون خادم في AWS. إنه متخصص في مساعدة الخدمات المالية للمؤسسات على اعتماد بنى بدون خوادم وقائمة على الأحداث لتحديث تطبيقاتها وتسريع وتيرة الابتكار. في الآونة الأخيرة ، كان يعمل على جعل أعباء العمل في الحاويات والاستخدام العملي للذكاء الاصطناعي التوليدي أقرب إلى عدم وجود خادم و EDA لعملاء صناعة الخدمات المالية.

جاكوب هاوسكينز هو أخصائي ذكاء اصطناعي رئيسي يتمتع بخبرة تزيد عن 15 عامًا في تطوير الأعمال الاستراتيجية والشراكات. على مدار الأعوام السبعة الماضية ، قاد عملية إنشاء وتنفيذ استراتيجيات الدخول إلى السوق لخدمات B7B الجديدة المدعومة بالذكاء الاصطناعي. في الآونة الأخيرة ، كان يساعد موردي البرامج المستقلين (ISV) على زيادة إيراداتهم من خلال إضافة الذكاء الاصطناعي التوليدي إلى مهام سير عمل معالجة المستندات الذكية.

• محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
• PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
• أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
• أفلاطون السيارات / المركبات الكهربائية ، كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
• BlockOffsets. تحديث ملكية الأوفست البيئية. الوصول هنا.
• المصدر https://aws.amazon.com/blogs/machine-learning/enhancing-aws-intelligent-document-processing-with-generative-ai/