أنشئ حلول IDP جيدة التصميم باستخدام عدسة مخصصة - الجزء الرابع: كفاءة الأداء | خدمات الويب الأمازون

عندما يكون لدى العميل منتج جاهز للإنتاج معالجة المستندات بذكاء (IDP)، غالبًا ما نتلقى طلبات لإجراء مراجعة جيدة التصميم. لبناء حل مؤسسي، يجب الموازنة بين موارد المطورين والتكلفة والوقت وتجربة المستخدم لتحقيق نتائج الأعمال المرغوبة. ال إطار عمل AWS المصمم جيدًا يوفر طريقة منهجية للمؤسسات لتعلم أفضل الممارسات التشغيلية والمعمارية لتصميم وتشغيل أعباء عمل موثوقة وآمنة وفعالة وفعالة من حيث التكلفة ومستدامة في السحابة.

تتبع IDP Well-Architected Custom Lens إطار عمل AWS Well-Architected، حيث تقوم بمراجعة الحل بستة ركائز مع تفاصيل حالة استخدام محددة للذكاء الاصطناعي أو التعلم الآلي (ML)، وتوفر التوجيه لمعالجة التحديات المشتركة. عدسة IDP المخصصة جيدة التصميم في أداة جيدة التصميم يحتوي على أسئلة بخصوص كل ركن من أركان. من خلال الإجابة على هذه الأسئلة، يمكنك تحديد المخاطر المحتملة وحلها من خلال اتباع خطة التحسين الخاصة بك.

يركز هذا المنشور على ركيزة كفاءة الأداء من عبء العمل IDP. نحن نتعمق في تصميم الحل وتنفيذه لتحسين الإنتاجية ووقت الاستجابة والأداء العام. نبدأ بمناقشة بعض المؤشرات الشائعة التي تشير إلى ضرورة إجراء مراجعة جيدة التصميم، وتقديم الأساليب الأساسية مع مبادئ التصميم. ثم نستعرض كل مجال من مجالات التركيز من منظور تقني.

لمتابعة هذا المنشور، يجب أن تكون على دراية بالمشاركات السابقة في هذه السلسلة (جزء 1 و جزء 2) والمبادئ التوجيهية في إرشادات لمعالجة المستندات الذكية على AWS. تقدم هذه الموارد خدمات AWS المشتركة لأعباء عمل IDP ومسارات العمل المقترحة. بفضل هذه المعرفة، أنت الآن جاهز لمعرفة المزيد حول إنتاج عبء العمل الخاص بك.

المؤشرات المشتركة

فيما يلي المؤشرات الشائعة التي يجب عليك إجراء مراجعة إطارية جيدة التصميم لركيزة كفاءة الأداء:

• زمن انتقال مرتفع – عندما يستغرق زمن الوصول للتعرف البصري على الأحرف (OCR)، أو التعرف على الكيان، أو سير العمل الشامل وقتًا أطول من المعيار السابق، فقد يكون هذا مؤشرًا على أن تصميم البنية لا يغطي اختبار التحميل أو معالجة الأخطاء.
• الاختناق المتكرر - قد تواجه اختناقًا بواسطة خدمات AWS مثل أمازون تيكستراك بسبب حدود الطلب. وهذا يعني أن البنية تحتاج إلى التعديل من خلال مراجعة سير عمل البنية، والتنفيذ المتزامن وغير المتزامن، وحساب المعاملات في الثانية (TPS)، والمزيد.
• صعوبات التصحيح – عند حدوث فشل في معالجة المستند، قد لا يكون لديك طريقة فعالة لتحديد مكان الخطأ في سير العمل، والخدمة المرتبطة بها، وسبب حدوث الفشل. وهذا يعني أن النظام يفتقر إلى رؤية السجلات والفشل. فكر في إعادة النظر في تصميم التسجيل لبيانات القياس عن بعد وإضافة البنية الأساسية كرمز (IaC)، مثل مسارات معالجة المستندات، إلى الحل.

من مؤشرات	الوصف	الفجوة المعمارية
الكمون العالي	يتجاوز التعرف الضوئي على الحروف (OCR)، أو التعرف على الكيان، أو زمن استجابة سير العمل الشامل المعيار القياسي السابق	اختبار الحمل معالجة الأخطاء
الاختناق المتكرر	الاختناق بواسطة خدمات AWS مثل Amazon Textract بسبب حدود الطلب	المزامنة مقابل غير المتزامن حساب TPS
من الصعب التصحيح	لا توجد رؤية للموقع والسبب وسبب فشل معالجة المستندات	تصميم التسجيل خطوط أنابيب معالجة المستندات

مبادئ التصميم

في هذا المنشور، نناقش ثلاثة مبادئ للتصميم: تفويض مهام الذكاء الاصطناعي المعقدة، وبنيات IaC، والبنيات بدون خادم. عندما تواجه مفاضلة بين تطبيقين، يمكنك إعادة النظر في مبادئ التصميم مع أولويات العمل الخاصة بمؤسستك حتى تتمكن من اتخاذ القرارات بفعالية.

• تفويض مهام الذكاء الاصطناعي المعقدة – يمكنك تمكين اعتماد الذكاء الاصطناعي بشكل أسرع في مؤسستك عن طريق إلغاء تحميل دورة حياة تطوير نموذج ML إلى الخدمات المُدارة والاستفادة من تطوير النموذج والبنية التحتية التي توفرها AWS. بدلاً من مطالبة فرق علوم البيانات وتكنولوجيا المعلومات لديك ببناء نماذج الذكاء الاصطناعي وصيانتها، يمكنك استخدام خدمات الذكاء الاصطناعي المدربة مسبقًا والتي يمكنها أتمتة المهام نيابةً عنك. يتيح ذلك لفرقك التركيز على العمل ذي القيمة الأعلى الذي يميز أعمالك، بينما يتعامل موفر السحابة مع تعقيد التدريب ونشر وتوسيع نطاق نماذج الذكاء الاصطناعي.
• بنيات IAC - عند تشغيل حل IDP، يتضمن الحل خدمات الذكاء الاصطناعي المتعددة لتنفيذ سير العمل الشامل بتسلسل زمني. يمكنك تصميم الحل باستخدام خطوط أنابيب سير العمل باستخدام وظائف خطوة AWS لتعزيز التسامح مع الخطأ، والمعالجة المتوازية، والرؤية، وقابلية التوسع. يمكن أن تمكنك هذه المزايا من تحسين استخدام وتكلفة خدمات الذكاء الاصطناعي الأساسية.
• Serverless أبنية – غالبًا ما يكون IDP حلاً يعتمد على الأحداث، ويتم بدءه عن طريق تحميلات المستخدم أو المهام المجدولة. يمكن توسيع نطاق الحل أفقيًا من خلال زيادة أسعار المكالمات لخدمات الذكاء الاصطناعي، AWS لامدا، وغيرها من الخدمات المعنية. يوفر النهج بدون خادم إمكانية التوسع دون الإفراط في توفير الموارد، مما يمنع النفقات غير الضرورية. تساعد المراقبة وراء التصميم بدون خادم في اكتشاف مشكلات الأداء.

مع أخذ مبادئ التصميم الثلاثة هذه في الاعتبار، يمكن للمؤسسات إنشاء أساس فعال لاعتماد الذكاء الاصطناعي/التعلم الآلي على الأنظمة الأساسية السحابية. من خلال تفويض التعقيد، وتنفيذ بنية تحتية مرنة، والتصميم على نطاق واسع، يمكن للمؤسسات تحسين حلول الذكاء الاصطناعي/التعلم الآلي الخاصة بها.

في الأقسام التالية، نناقش كيفية معالجة التحديات المشتركة فيما يتعلق بمجالات التركيز التقنية.

مناطق التركيز

عند مراجعة كفاءة الأداء، نقوم بمراجعة الحل من خمسة مجالات تركيز: تصميم البنية، وإدارة البيانات، ومعالجة الأخطاء، ومراقبة النظام، ومراقبة النموذج. من خلال مجالات التركيز هذه، يمكنك إجراء مراجعة للبنية من جوانب مختلفة لتعزيز الفعالية وإمكانية الملاحظة وقابلية التوسع للمكونات الثلاثة لمشروع الذكاء الاصطناعي/تعلم الآلة أو البيانات أو النموذج أو هدف العمل.

التصميم المعماري

من خلال الاطلاع على الأسئلة الموجودة في مجال التركيز هذا، ستقوم بمراجعة سير العمل الحالي لمعرفة ما إذا كان يتبع أفضل الممارسات. يوفر سير العمل المقترح نمطًا شائعًا يمكن للمؤسسات اتباعه ويمنع تكاليف التجربة والخطأ.

واستنادا إلى العمارة المقترحةيتبع سير العمل المراحل الست لالتقاط البيانات وتصنيفها واستخراجها وإثرائها ومراجعتها والتحقق من صحتها واستهلاكها. في المؤشرات المشتركة التي ناقشناها سابقًا، يأتي اثنان من كل ثلاثة من مشاكل التصميم المعماري. وذلك لأنه عند بدء مشروع باستخدام نهج مرتجل، قد تواجه قيود المشروع عند محاولة مواءمة البنية التحتية الخاصة بك مع الحل الخاص بك. من خلال مراجعة التصميم المعماري، يمكن فصل التصميم المرتجل كمراحل، ويمكن إعادة تقييم كل منها وإعادة ترتيبها.

يمكنك توفير الوقت والمال والعمل من خلال التنفيذ التصنيفات في سير عملك، وتنتقل المستندات إلى التطبيقات وواجهات برمجة التطبيقات (API) بناءً على نوع المستند. يؤدي ذلك إلى تحسين إمكانية ملاحظة عملية المستند ويجعل الحل سهل الصيانة عند إضافة أنواع مستندات جديدة.

إدارة البيانات

يتضمن أداء حل IDP زمن الاستجابة والإنتاجية وتجربة المستخدم الشاملة. إن كيفية إدارة المستند ومعلوماته المستخرجة في الحل هي مفتاح اتساق البيانات وأمنها وخصوصيتها. بالإضافة إلى ذلك، يجب أن يتعامل الحل مع كميات كبيرة من البيانات مع زمن وصول منخفض وإنتاجية عالية.

عند الاطلاع على الأسئلة المتعلقة بمجال التركيز هذا، ستقوم بمراجعة سير عمل المستند. يتضمن ذلك استيعاب البيانات، والمعالجة المسبقة للبيانات، وتحويل المستندات إلى أنواع مستندات مقبولة بواسطة Amazon Textract، والتعامل مع تدفقات المستندات الواردة، وتوجيه المستندات حسب النوع، وتنفيذ سياسات التحكم في الوصول والاحتفاظ.

على سبيل المثال، من خلال تخزين مستند في مراحل المعالجة المختلفة، يمكنك عكس المعالجة إلى الخطوة السابقة إذا لزم الأمر. تضمن دورة حياة البيانات الموثوقية والامتثال لحجم العمل. باستخدام حاسبة حصص خدمة Amazon Texttract (انظر لقطة الشاشة التالية)، والميزات غير المتزامنة في Amazon Textract، وLambda، وStep Functions، خدمة Amazon Simple Queue Service (Amazon SQS) و خدمة إعلام أمازون البسيطة (Amazon SNS)، يمكن للمؤسسات أتمتة مهام معالجة المستندات وتوسيع نطاقها لتلبية احتياجات عبء العمل المحددة.

معالجة الخطأ

تعد المعالجة القوية للأخطاء أمرًا بالغ الأهمية لتتبع حالة معالجة المستندات، وتوفر لفريق التشغيل وقتًا للرد على أي سلوكيات غير طبيعية، مثل أحجام المستندات غير المتوقعة، أو أنواع المستندات الجديدة، أو المشكلات الأخرى غير المخطط لها من خدمات الجهات الخارجية. من وجهة نظر المؤسسة، يمكن أن تؤدي المعالجة الصحيحة للأخطاء إلى تحسين وقت تشغيل النظام وأدائه.

يمكنك تقسيم معالجة الأخطاء إلى جانبين رئيسيين:

• تكوين خدمة AWS - يمكنك تنفيذ منطق إعادة المحاولة مع التراجع الأسي للتعامل مع الأخطاء العابرة مثل التقييد. عند بدء المعالجة عن طريق استدعاء عملية Start* غير متزامنة، مثل StartDocumentTextDetection، يمكنك تحديد نشر حالة إكمال الطلب على موضوع SNS في ملف قناة الإخطار إعدادات. يساعدك هذا على تجنب القيود المفروضة على استدعاءات واجهة برمجة التطبيقات (API) بسبب استقصاء Get* APIs. يمكنك أيضًا تنفيذ الإنذارات في الأمازون CloudWatch ويطلق تنبيهًا عند حدوث طفرات غير عادية في الأخطاء.
• تعزيز تقرير الخطأ – يتضمن ذلك رسائل تفصيلية بمستوى مناسب من التفاصيل حسب نوع الخطأ وأوصاف استجابات معالجة الأخطاء. من خلال الإعداد المناسب لمعالجة الأخطاء، يمكن أن تكون الأنظمة أكثر مرونة من خلال تنفيذ الأنماط الشائعة مثل إعادة محاولة الأخطاء المتقطعة تلقائيًا، واستخدام قواطع الدائرة للتعامل مع حالات الفشل المتتالية، ومراقبة الخدمات للحصول على نظرة ثاقبة للأخطاء. يتيح ذلك للحل تحقيق التوازن بين حدود إعادة المحاولة ويمنع حلقات الدائرة التي لا تنتهي أبدًا.

مراقبة النموذج

تتم مراقبة أداء نماذج تعلم الآلة للتأكد من عدم تدهورها بمرور الوقت. مع تغير ظروف البيانات والنظام، يتم تتبع أداء النموذج ومقاييس الكفاءة لضمان إجراء إعادة التدريب عند الحاجة.

يمكن أن يكون نموذج ML في سير عمل IDP عبارة عن نموذج التعرف الضوئي على الحروف (OCR)، أو نموذج التعرف على الكيان، أو نموذج التصنيف. يمكن أن يأتي النموذج من خدمة AWS AI، وهو نموذج مفتوح المصدر قيد التشغيل الأمازون SageMaker, أمازون بيدروكأو خدمات الطرف الثالث الأخرى. يجب عليك فهم القيود وحالات الاستخدام لكل خدمة من أجل تحديد طرق تحسين النموذج من خلال التعليقات البشرية وتحسين أداء الخدمة بمرور الوقت.

أحد الأساليب الشائعة هو استخدام سجلات الخدمة لفهم مستويات الدقة المختلفة. يمكن أن تساعد هذه السجلات فريق علوم البيانات في تحديد وفهم أي حاجة لإعادة تدريب النموذج. يمكن لمؤسستك اختيار آلية إعادة التدريب - يمكن أن تكون ربع سنوية، أو شهرية، أو بناءً على مقاييس علمية، مثل عندما تنخفض الدقة عن حد معين.

الهدف من المراقبة ليس مجرد اكتشاف المشكلات، بل إغلاق الحلقة لتحسين النماذج بشكل مستمر والحفاظ على أداء حل IDP مع تطور البيئة الخارجية.

مراقبة النظام

بعد نشر حل IDP في الإنتاج، من المهم مراقبة المقاييس الرئيسية وأداء الأتمتة لتحديد مجالات التحسين. يجب أن تتضمن المقاييس مقاييس الأعمال والمقاييس الفنية. يتيح ذلك للشركة تقييم أداء النظام وتحديد المشكلات وإجراء تحسينات على النماذج والقواعد وسير العمل بمرور الوقت لزيادة معدل الأتمتة لفهم التأثير التشغيلي.

على الجانب التجاري، تعد المقاييس مثل دقة الاستخراج للحقول المهمة، ومعدل الأتمتة الإجمالي الذي يشير إلى النسبة المئوية للمستندات التي تتم معالجتها دون تدخل بشري، ومتوسط ​​وقت المعالجة لكل مستند أمرًا بالغ الأهمية. تساعد مقاييس الأعمال هذه في قياس تجربة المستخدم النهائي ومكاسب الكفاءة التشغيلية.

تعد المقاييس الفنية بما في ذلك معدلات الخطأ والاستثناءات التي تحدث خلال سير العمل ضرورية للتتبع من منظور هندسي. يمكن للمقاييس الفنية أيضًا المراقبة على كل مستوى من البداية إلى النهاية وتوفير رؤية شاملة لحجم العمل المعقد. يمكنك تقسيم المقاييس إلى مستويات مختلفة، مثل مستوى الحل، ومستوى سير العمل الشامل، ومستوى نوع المستند، ومستوى المستند، ومستوى التعرف على الكيان، ومستوى التعرف الضوئي على الحروف.

الآن بعد أن قمت بمراجعة جميع الأسئلة في هذه الركيزة، يمكنك تقييم الركائز الأخرى ووضع خطة تحسين لعبء عمل IDP الخاص بك.

وفي الختام

في هذا المنشور، ناقشنا المؤشرات الشائعة التي قد تحتاجها لإجراء مراجعة إطار عمل جيدة التصميم لركيزة كفاءة الأداء لأعباء عمل IDP لديك. ثم قمنا بعد ذلك بمراجعة مبادئ التصميم لتقديم نظرة عامة رفيعة المستوى ومناقشة هدف الحل. من خلال اتباع هذه الاقتراحات بالإشارة إلى IDP Well-Architected Custom Lens ومن خلال مراجعة الأسئلة حسب مجال التركيز، يجب أن يكون لديك الآن خطة لتحسين المشروع.

---

حول المؤلف

ميا تشانغ هو مهندس حلول متخصص في ML لخدمات الويب من Amazon. وهي تعمل مع العملاء في أوروبا والشرق الأوسط وأفريقيا وتشارك أفضل الممارسات لتشغيل أعباء عمل الذكاء الاصطناعي/تعلم الآلة على السحابة بفضل خلفيتها في الرياضيات التطبيقية وعلوم الكمبيوتر والذكاء الاصطناعي/تعلم الآلة. وهي تركز على أعباء العمل الخاصة بالبرمجة اللغوية العصبية، وتشارك تجربتها كمتحدثة في المؤتمر ومؤلفة كتاب. وفي أوقات فراغها، تستمتع بالمشي لمسافات طويلة وألعاب الطاولة وتحضير القهوة.

بريجيش باتي هو مهندس حلول المؤسسات في AWS. ينصب تركيزه الأساسي على مساعدة عملاء المؤسسات على اعتماد التقنيات السحابية لأعباء عملهم. لديه خلفية في تطوير التطبيقات وهندسة المؤسسات وعمل مع عملاء من مختلف الصناعات مثل الرياضة والتمويل والطاقة والخدمات المهنية. تشمل اهتماماته البنى التحتية بدون خادم والذكاء الاصطناعي/التعلم الآلي.

روي كاردوسو هو مهندس حلول شريك في Amazon Web Services (AWS). وهو يركز على الذكاء الاصطناعي/التعلم الآلي وإنترنت الأشياء. يعمل مع شركاء AWS ويدعمهم في تطوير الحلول في AWS. عندما لا يعمل، يستمتع بركوب الدراجات والمشي لمسافات طويلة وتعلم أشياء جديدة.

تيم كونديلو هو مهندس حلول متخصص في الذكاء الاصطناعي (AI) والتعلم الآلي (ML) في Amazon Web Services (AWS). ينصب تركيزه على معالجة اللغة الطبيعية ورؤية الكمبيوتر. يستمتع تيم بأخذ أفكار العملاء وتحويلها إلى حلول قابلة للتطوير.

شيري دينج هو مهندس حلول متخصص في الذكاء الاصطناعي (AI) والتعلم الآلي (ML) في Amazon Web Services (AWS). تتمتع بخبرة واسعة في التعلم الآلي وحصلت على درجة الدكتوراه في علوم الكمبيوتر. وهي تعمل بشكل أساسي مع عملاء القطاع العام على مختلف تحديات الأعمال المتعلقة بالذكاء الاصطناعي/التعلم الآلي، مما يساعدهم على تسريع رحلة التعلم الآلي الخاصة بهم على سحابة AWS. عندما لا تساعد العملاء، فإنها تستمتع بالأنشطة الخارجية.

سوين وانغ هو مهندس حلول متخصص في الذكاء الاصطناعي/تعلم الآلة في AWS. تتمتع بخلفية تعليمية متعددة التخصصات في التعلم الآلي وخدمة المعلومات المالية والاقتصاد، إلى جانب سنوات من الخبرة في بناء تطبيقات علوم البيانات والتعلم الآلي التي تحل مشاكل الأعمال في العالم الحقيقي. إنها تستمتع بمساعدة العملاء على تحديد أسئلة العمل المناسبة وبناء حلول الذكاء الاصطناعي/تعلم الآلة المناسبة. وفي أوقات فراغها تحب الغناء والطبخ.

• محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
• PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
• أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
• أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
• أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
• المصدر https://aws.amazon.com/blogs/machine-learning/build-well-architected-idp-solutions-with-a-custom-lens-part-4-performance-efficiency/