قم بحزم ونشر ML وLLMs الكلاسيكية بسهولة باستخدام Amazon SageMaker، الجزء 2: تجارب المستخدم التفاعلية في SageMaker Studio | خدمات ويب أمازون

الأمازون SageMaker هي خدمة مُدارة بالكامل تمكن المطورين وعلماء البيانات من إنشاء نماذج التعلم الآلي (ML) وتدريبها ونشرها على نطاق واسع بسرعة وسهولة. يعمل SageMaker على تسهيل نشر النماذج في الإنتاج مباشرةً من خلال استدعاءات واجهة برمجة التطبيقات (API) للخدمة. يتم تجميع النماذج في حاويات لإجراء عمليات نشر قوية وقابلة للتطوير.

يوفر SageMaker مجموعة متنوعة من الخيارات لنشر النماذج. تختلف هذه الخيارات في مقدار التحكم الذي لديك والعمل المطلوب من جانبك. ال أوس SDK يمنحك أقصى قدر من التحكم والمرونة. إنها واجهة برمجة تطبيقات منخفضة المستوى متاحة لـ Java وC++ وGo وJavaScript وNode.js وPHP وRuby وPython. ال SageMaker بيثون SDK هي واجهة برمجة تطبيقات Python عالية المستوى تلخص بعض الخطوات والتكوين، وتسهل نشر النماذج. واجهة سطر أوامر AWS (AWS CLI) هي أداة أخرى عالية المستوى يمكنك استخدامها للعمل بشكل تفاعلي مع SageMaker لنشر النماذج دون كتابة التعليمات البرمجية الخاصة بك.

نحن نطلق خيارين جديدين يعملان على تبسيط عملية تعبئة النماذج ونشرها باستخدام SageMaker. إحدى الطرق هي النشر البرمجي. ولهذا السبب، نقدم تحسينات في Python SDK. لمزيد من المعلومات، راجع قم بحزم ونشر ML وLLMs الكلاسيكية بسهولة باستخدام Amazon SageMaker، الجزء 1: تحسينات PySDK. الطريقة الثانية هي للنشر التفاعلي. ولهذا السبب، نطلق تجربة تفاعلية جديدة في أمازون ساجميكر ستوديو. سيساعدك ذلك على نشر النماذج المدربة أو التأسيسية (FMs) الخاصة بك بسرعة أمازون سيج ميكر جومب ستارت مع التكوين الأمثل، وتحقيق الأداء المتوقع بأقل تكلفة. تابع القراءة لمعرفة كيف تبدو التجربة التفاعلية الجديدة.

تجربة تفاعلية جديدة في SageMaker Studio

يفترض هذا المنشور أنك قمت بتدريب نموذج واحد أو أكثر من نماذج التعلم الآلي أو أنك تستخدم FMs من مركز نماذج SageMaker JumpStart وأنك جاهز لنشرها. لا يعد تدريب نموذج باستخدام SageMaker شرطًا أساسيًا لنشر النموذج باستخدام SageMaker. يُفترض أيضًا بعض الإلمام بـ SageMaker Studio.

نرشدك إلى كيفية القيام بما يلي:

• قم بإنشاء نموذج SageMaker
• نشر نموذج SageMaker
• نشر نموذج اللغة الكبير SageMaker JumpStart (LLM)
• نشر نماذج متعددة خلف نقطة نهاية واحدة
• استنتاج نموذج الاختبار
• استكشاف الأخطاء وإصلاحها

قم بإنشاء نموذج SageMaker

الخطوة الأولى في إعداد نقطة نهاية SageMaker للاستدلال هي إنشاء كائن نموذج SageMaker. يتكون كائن النموذج هذا من شيئين: حاوية للنموذج، والنموذج المدرب الذي سيتم استخدامه للاستدلال. تجعل تجربة واجهة المستخدم التفاعلية الجديدة عملية إنشاء نموذج SageMaker واضحة ومباشرة. إذا كنت جديدًا في SageMaker Studio، فارجع إلى دليل المطور للبدء.

1. في واجهة SageMaker Studio، اختر الموديلات في جزء التنقل.
2. على نماذج قابلة للنشر علامة التبويب، اختر إنشاء.

الآن كل ما عليك فعله هو تقديم تفاصيل حاوية النموذج وموقع بيانات النموذج وبيانات النموذج إدارة الهوية والوصول AWS دور (IAM) الذي سيتولىه SageMaker نيابةً عنك.

3. بالنسبة لحاوية النموذج، يمكنك استخدام إحدى صور Docker المعدة مسبقًا من SageMaker والتي توفرها لأطر العمل والمكتبات الشائعة. إذا اخترت استخدام هذا الخيار، فاختر إطار عمل الحاوية وإصدار إطار العمل المقابل ونوع الجهاز من قائمة الأنواع المدعومة.
   

وبدلاً من ذلك، يمكنك تحديد مسار إلى الحاوية الخاصة بك المخزنة فيها سجل الأمازون المرنة للحاويات (أمازون ECR).

4. بعد ذلك، قم بتحميل العناصر النموذجية الخاصة بك. يوفر SageMaker Studio طريقتين لتحميل العناصر النموذجية:
   • أولاً، يمكنك تحديد أ model.tar.gz سواء في خدمة تخزين أمازون البسيطة (Amazon S3) أو في المسار المحلي الخاص بك. هذا model.tar.gz يجب أن يتم تنظيمه بتنسيق متوافق مع الحاوية التي تستخدمها.
   • وبدلاً من ذلك، فهو يدعم تحميل العناصر الخام لنماذج PyTorch وXGBoost. بالنسبة لهذين الإطارين، قم بتوفير عناصر النموذج بالتنسيق الذي تتوقعه الحاوية. على سبيل المثال، بالنسبة لـ PyTorch، سيكون هذا بمثابة ملف model.pth. لاحظ أن عناصر النموذج الخاصة بك تشتمل أيضًا على برنامج نصي للاستدلال للمعالجة المسبقة والمعالجة اللاحقة. إذا لم تقم بتوفير برنامج نصي للاستدلال، فسيتم تنفيذ معالجات الاستدلال الافتراضية للحاوية التي اخترتها.
5. بعد تحديد الحاوية والعنصر، حدد دور IAM.
6. اختار إنشاء نموذج قابل للنشر لإنشاء نموذج SageMaker.
   

توضح الخطوات السابقة سير العمل أبسط. يمكنك أيضًا تخصيص عملية إنشاء النموذج. على سبيل المثال، يمكنك تحديد تفاصيل VPC وتمكين عزل الشبكة للتأكد من أن الحاوية لا يمكنها إجراء مكالمات صادرة على الإنترنت العام. يمكنك توسيع خيارات متقدمة القسم لرؤية المزيد من الخيارات.

يمكنك الحصول على إرشادات حول الأجهزة للحصول على أفضل نسبة سعر/أداء لنشر نقطة النهاية الخاصة بك عن طريق تشغيل مهمة قياس الأداء الخاصة بـ SageMaker Inference Recommender. لتخصيص نموذج SageMaker بشكل أكبر، يمكنك تمرير أي متغيرات بيئة قابلة للضبط على مستوى الحاوية. سيأخذ موصي الاستدلال أيضًا مجموعة من هذه المتغيرات للعثور على التكوين الأمثل لخدمة النموذج والحاوية الخاصة بك.

بعد إنشاء النموذج الخاص بك، يمكنك رؤيته على نماذج قابلة للنشر فاتورة غير مدفوعة. إذا كان هناك أي مشكلة في إنشاء النموذج، فسترى الحالة في حالة المراقبة عمود. اختر اسم الموديل لعرض التفاصيل.

نشر نموذج SageMaker

في السيناريو الأساسي، كل ما عليك فعله هو تحديد نموذج قابل للنشر من ملف الموديلات صفحة أو LLM من صفحة SageMaker JumpStart، وحدد نوع المثيل، وقم بتعيين عدد المثيلات الأولي، ونشر النموذج. دعونا نرى كيف تبدو هذه العملية في SageMaker Studio لنموذج SageMaker الخاص بك. سنناقش استخدام LLMs لاحقًا في هذا المنشور.

1. على الموديلات الصفحة ، اختر ملف نماذج قابلة للنشر علامة التبويب.
2. حدد النموذج المراد نشره واختياره نشر.
   
3. الخطوة التالية هي تحديد نوع المثيل الذي سيضعه SageMaker خلف نقطة نهاية الاستدلال.

تريد مثيلًا يقدم أفضل أداء بأقل تكلفة. يجعل SageMaker من السهل عليك اتخاذ هذا القرار من خلال عرض التوصيات. إذا قمت بقياس نموذجك باستخدام SageMaker Inference Recommender أثناء خطوة إنشاء نموذج SageMaker، فسترى التوصيات من هذا المعيار في القائمة المنسدلة.

بخلاف ذلك، سوف ترى قائمة بالحالات المحتملة في القائمة. يستخدم SageMaker أساليبه الاستدلالية لملء القائمة في هذه الحالة.

4. حدد عدد المثيلات الأولي، ثم اختر نشر.

سيقوم SageMaker بإنشاء تكوين لنقطة النهاية ونشر النموذج الخاص بك خلف نقطة النهاية تلك. بعد نشر النموذج، سترى نقطة النهاية وحالة النموذج كما يلي في الخدمة. لاحظ أن نقطة النهاية قد تكون جاهزة قبل النموذج.

وهذا أيضًا هو المكان في SageMaker Studio حيث ستدير نقطة النهاية. يمكنك الانتقال إلى صفحة تفاصيل نقطة النهاية عن طريق الاختيار النهاية مع نشر في جزء التنقل. استخدم ال إضافة نموذج و حذف أزرار لتغيير النماذج خلف نقطة النهاية دون الحاجة إلى إعادة إنشاء نقطة النهاية. ال اختبار الاستدلال تتيح لك علامة التبويب اختبار النموذج الخاص بك عن طريق إرسال طلبات الاختبار إلى أحد النماذج الموجودة في الخدمة مباشرةً من واجهة SageMaker Studio. يمكنك أيضًا تعديل سياسة القياس التلقائي على التحجيم التلقائي علامة التبويب في هذه الصفحة. يتم تناول المزيد من التفاصيل حول إضافة النماذج وإزالتها واختبارها في الأقسام التالية. يمكنك رؤية معلومات الشبكة والأمان والحوسبة لنقطة النهاية هذه على الإعدادات علامة التبويب.

تخصيص النشر

أظهر المثال السابق مدى سهولة نشر نموذج واحد مع الحد الأدنى من التكوين المطلوب من جانبك. يقوم SageMaker بملء معظم الحقول لك، ولكن يمكنك تخصيص التكوين. على سبيل المثال، يقوم تلقائيًا بإنشاء اسم لنقطة النهاية. ومع ذلك، يمكنك تسمية نقطة النهاية وفقًا لتفضيلاتك، أو استخدام نقطة نهاية موجودة على اسم نقطة النهاية القائمة المنسدلة. بالنسبة لنقاط النهاية الموجودة، سترى فقط نقاط النهاية الموجودة في الخدمة في ذلك الوقت. يمكنك استخدام ال خيارات متقدمة قسم لتحديد دور IAM وتفاصيل VPC والعلامات.

نشر SageMaker JumpStart LLM

لنشر SageMaker JumpStart LLM، أكمل الخطوات التالية:

1. انتقل إلى بداية القفز الصفحة في استوديو SageMaker.
2. اختر أحد أسماء الشركاء لتصفح قائمة الموديلات المتاحة من ذلك الشريك، أو استخدم خاصية البحث للوصول إلى صفحة الموديل إذا كنت تعرف اسم الموديل.
3. اختر النموذج الذي تريد نشره.
   
4. اختار نشر.
   

لاحظ أن استخدام LLMs يخضع لاتفاقية ترخيص المستخدم النهائي (EULA) وشروط وأحكام المزود.

5. قبول الترخيص والشروط.
6. حدد نوع المثيل.

تأتي العديد من النماذج من مركز نماذج JumpStart مزودة بنوع المثيل الافتراضي المحسن لأداء السعر للنشر. بالنسبة للنماذج التي لا تأتي مع هذا الإعداد الافتراضي، سيتم تزويدك بقائمة بأنواع المثيلات المدعومة على نوع الطلب القائمة المنسدلة. بالنسبة للنماذج التي تم قياس أدائها، إذا كنت تريد تحسين النشر خصيصًا إما للتكلفة أو الأداء لتلبية حالة الاستخدام المحددة الخاصة بك، فيمكنك الاختيار تكوينات بديلة لعرض المزيد من الخيارات التي تم قياسها باستخدام مجموعات مختلفة من إجمالي الرموز المميزة وطول الإدخال والحد الأقصى للتزامن. يمكنك أيضًا الاختيار من بين المثيلات المدعومة الأخرى لهذا النموذج.

7. إذا كنت تستخدم تكوينًا بديلاً، فحدد المثيل الخاص بك واختر أختار.
   
8. اختار نشر لنشر النموذج.

سترى نقطة النهاية وحالة النموذج تتغير إلى في الخدمة. لديك أيضًا خيارات لتخصيص النشر لتلبية متطلباتك في هذه الحالة.

نشر نماذج متعددة خلف نقطة نهاية واحدة

يمكّنك SageMaker من نشر نماذج متعددة خلف نقطة نهاية واحدة. وهذا يقلل من تكاليف الاستضافة من خلال تحسين استخدام نقاط النهاية مقارنة باستخدام نقاط النهاية مع نموذج واحد فقط خلفها. كما أنه يقلل من أعباء النشر لأن SageMaker يدير تحميل النماذج في الذاكرة وتوسيع نطاقها بناءً على أنماط حركة المرور إلى نقطة النهاية الخاصة بك. يجعل SageMaker Studio الآن من السهل القيام بذلك.

1. ابدأ بتحديد النماذج التي تريد نشرها، ثم اختر نشر.
   
2. بعد ذلك، يمكنك إنشاء نقطة نهاية باستخدام نماذج متعددة لها مقدار مخصص من الحوسبة تحدده أنت.

في هذه الحالة، نستخدم مثيل ml.p4d.24xlarge لنقطة النهاية ونخصص العدد اللازم من الموارد لنموذجينا المختلفين. لاحظ أن نقطة النهاية الخاصة بك مقيدة بأنواع المثيلات التي تدعمها هذه الميزة.

3. إذا بدأت التدفق من نماذج قابلة للنشر علامة التبويب وتريد إضافة SageMaker JumpStart LLM، أو العكس، يمكنك جعلها نقطة نهاية أمام نماذج متعددة عن طريق اختيار إضافة نموذج بعد بدء سير عمل النشر.
   
4. هنا، يمكنك اختيار FM آخر من مركز نموذج SageMaker JumpStart أو نموذج باستخدام نماذج قابلة للنشر الخيار، الذي يشير إلى النماذج التي قمت بحفظها ككائنات نموذج SageMaker.
5. اختر إعدادات النموذج الخاص بك:
   • إذا كان النموذج يستخدم مثيل وحدة المعالجة المركزية (CPU)، فاختر عدد وحدات المعالجة المركزية (CPU) والحد الأدنى لعدد النسخ للنموذج.
   • إذا كان النموذج يستخدم مثيل GPU، فاختر عدد المسرعات والحد الأدنى لعدد النسخ للنموذج.
6. اختار إضافة نموذج.
   
7. اختار نشر لنشر هذه النماذج إلى نقطة نهاية SageMaker.
   

عندما تكون نقطة النهاية جاهزة وجاهزة (في الخدمة الحالة)، سيكون لديك نموذجين منشورين خلف نقطة نهاية واحدة.

استنتاج نموذج الاختبار

يجعل SageMaker Studio الآن من السهل اختبار طلبات استنتاج النموذج. يمكنك إرسال بيانات الحمولة مباشرة باستخدام نوع المحتوى المدعوم، مثل التطبيق أو JSON أو النص أو CSV، أو استخدام نموذج كود Python SDK لتقديم طلب استدعاء من بيئة البرمجة الخاصة بك مثل دفتر ملاحظات أو بيئة تطوير متكاملة محلية (IDE).

لاحظ أن خيار رمز مثال Python SDK متاح فقط لنماذج SageMaker JumpStart، وهو مصمم خصيصًا لحالة استخدام النموذج المحدد مع تحويل بيانات الإدخال/الإخراج.

استكشاف الأخطاء وإصلاحها

للمساعدة في استكشاف الأخطاء وإصلاحها والنظر بشكل أعمق في نشر النموذج، توجد تلميحات أدوات على المورد الحالة تسمية لإظهار رسائل الخطأ والسبب المقابلة. هناك أيضا روابط ل الأمازون CloudWatch سجل المجموعات في صفحة تفاصيل نقطة النهاية. بالنسبة لنقاط النهاية ذات النموذج الواحد، يوجد الارتباط بسجلات حاوية CloudWatch بشكل ملائم في نبذة عامة قسم من تفاصيل نقطة النهاية. بالنسبة لنقاط النهاية ذات النماذج المتعددة، توجد الروابط لسجلات CloudWatch في كل صف من الموديلات عرض جدول. فيما يلي بعض سيناريوهات الأخطاء الشائعة لاستكشاف الأخطاء وإصلاحها:

• فشل التحقق من صحة النموذج ping – قد يفشل نشر النموذج لأن حاوية التقديم لم تجتاز فحص صحة اختبار ping للنموذج. لتصحيح المشكلة، راجع سجلات الحاويات التالية التي نشرتها مجموعات سجل CloudWatch:

  /aws/sagemaker/Endpoints/[EndpointName]
  /aws/sagemaker/InferenceComponents/[InferenceComponentName]

• تسبب التكوين غير المتسق للنموذج ونقطة النهاية في فشل النشر - إذا فشل النشر بسبب إحدى رسائل الخطأ التالية، فهذا يعني أن النموذج المحدد للنشر يستخدم دور IAM مختلفًا، أو تكوين VPC، أو تكوين عزل الشبكة. يتمثل العلاج في تحديث تفاصيل النموذج لاستخدام نفس دور IAM وتكوين VPC وتكوين عزل الشبكة أثناء تدفق النشر. إذا كنت تقوم بإضافة نموذج إلى نقطة نهاية موجودة، فيمكنك إعادة إنشاء كائن النموذج لمطابقة تكوينات نقطة النهاية المستهدفة.

  Model and endpoint config have different execution roles. Please ensure the execution roles are consistent.
  Model and endpoint config have different VPC configurations. Please ensure the VPC configurations are consistent.
  Model and endpoint config have different network isolation configurations. Please ensure the network isolation configurations are consistent.

• لا توجد قدرة كافية لنشر المزيد من النماذج على البنية التحتية الحالية لنقطة النهاية - إذا فشل النشر مع ظهور رسالة الخطأ التالية، فهذا يعني أن البنية الأساسية الحالية لنقطة النهاية لا تحتوي على موارد كافية لأجهزة الحوسبة أو الذاكرة لنشر النموذج. يتمثل العلاج في زيادة الحد الأقصى لعدد المثيلات على نقطة النهاية أو حذف أي نماذج موجودة تم نشرها على نقطة النهاية لإفساح المجال لنشر النموذج الجديد.

  There is not enough hardware resources on the instances for this endpoint to create a copy of the inference component. Please update resource requirements for this inference component, remove existing inference components, or increase the number of instances for this endpoint.

• نوع مثيل غير مدعوم لنشر نقطة نهاية متعددة النماذج - إذا فشل النشر مع ظهور رسالة الخطأ التالية، فهذا يعني أن نوع المثيل المحدد غير مدعوم حاليًا لنشر نقطة نهاية النماذج المتعددة. يتمثل العلاج في تغيير نوع المثيل إلى مثيل يدعم هذه الميزة وإعادة محاولة النشر.

  The instance type is not supported for multiple models endpoint. Please choose a different instance type.

بالنسبة لمشكلات نشر النموذج الأخرى، راجع الميزات المعتمدة.

تنظيف

التنظيف واضح ومباشر أيضًا. يمكنك إزالة نموذج واحد أو أكثر من نقطة نهاية SageMaker الموجودة لديك عن طريق تحديد النموذج المحدد على وحدة تحكم SageMaker. لحذف نقطة النهاية بأكملها، انتقل إلى النهاية الصفحة، حدد نقطة النهاية المطلوبة، اختر حذف، واقبل إخلاء المسؤولية لمتابعة الحذف.

وفي الختام

تتيح التجربة التفاعلية المحسنة في SageMaker Studio لعلماء البيانات التركيز على بناء النماذج وإحضار عناصرهم إلى SageMaker مع استخلاص تعقيدات النشر. بالنسبة لأولئك الذين يفضلون النهج القائم على التعليمات البرمجية، تحقق من ما يعادل الكود المنخفض مع فئة منشئ النماذج.

لمعرفة المزيد، قم بزيارة SageMaker ModelBuilder واجهة بايثون توثيق والمهتدين نشر سير العمل في استوديو SageMaker. لا توجد رسوم إضافية مقابل SageMaker SDK وSageMaker Studio. أنت تدفع فقط مقابل الموارد الأساسية المستخدمة. لمزيد من المعلومات حول كيفية نشر النماذج باستخدام SageMaker، راجع نشر نماذج للاستدلال.

شكر خاص لسيريشا أوبادهايالا، وميلاني لي، ودهاوال باتيل، وسام إدواردز، وكومارا سوامي بورا.

---

عن المؤلفين

راغو راميشا هو أحد كبار مهندسي حلول ML مع فريق خدمة Amazon SageMaker. وهو يركز على مساعدة العملاء في إنشاء أعباء عمل إنتاج تعلم الآلة ونشرها وترحيلها إلى SageMaker على نطاق واسع. وهو متخصص في مجالات التعلم الآلي والذكاء الاصطناعي ورؤية الكمبيوتر، ويحمل درجة الماجستير في علوم الكمبيوتر من جامعة تكساس في دالاس. وفي أوقات فراغه، يستمتع بالسفر والتصوير الفوتوغرافي.

ديباك جارج هو مهندس الحلول في AWS. إنه يحب التعمق في خدمات AWS ومشاركة معرفته مع العملاء. يتمتع ديباك بخلفية في شبكات توصيل المحتوى والاتصالات

رام فيجيراجو هو مهندس تعلم الآلة مع فريق خدمة Amazon SageMaker. وهو يركز على مساعدة العملاء في بناء حلول الذكاء الاصطناعي/تعلم الآلة وتحسينها على Amazon SageMaker. وفي أوقات فراغه يحب السفر والكتابة.

مارك كارب هو مهندس ML مع فريق Amazon SageMaker Service. يركز على مساعدة العملاء في تصميم ونشر وإدارة أعباء عمل ML على نطاق واسع. في أوقات فراغه ، يستمتع بالسفر واستكشاف أماكن جديدة.

شيفا راج كوتينى يعمل كمدير المنتج الرئيسي في مجموعة منتجات Amazon SageMaker Inference. وهو يركز على نشر النماذج وضبط الأداء والتحسين في SageMaker للاستدلال.

ألوين (كيون) تشاو مهندس تطوير برمجيات أول مع فريق Amazon SageMaker Inference Platform. وهو المطور الرئيسي لحواجز الحماية للنشر وعمليات نشر الظل ، ويركز على مساعدة العملاء في إدارة أعباء عمل التعلم الآلي وعمليات النشر على نطاق واسع مع توفر عالٍ. كما أنه يعمل على تطورات بنية النظام الأساسي لنشر وظائف ML بشكل سريع وآمن وتشغيل تجارب ML عبر الإنترنت بسهولة. في أوقات فراغه ، يستمتع بالقراءة والألعاب والسفر.

غوراف بهاندري هو مهندس الواجهة الأمامية مع فريق منصات الذكاء الاصطناعي في SageMaker. يعمل على تقديم حلول واجهة المستخدم التي تواجه العملاء داخل مؤسسة AWS. وفي أوقات فراغه، يستمتع بالمشي لمسافات طويلة واستكشاف المطاعم المحلية.

• محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
• PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
• أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
• أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
• أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
• المصدر https://aws.amazon.com/blogs/machine-learning/package-and-deploy-classical-ml-and-llms-easily-with-amazon-sagemaker-part-2-interactive-user-experiences-in-sagemaker-studio/