قلل من تأثير الإنتاج لتحديثات نموذج ML باستخدام اختبار الظل من Amazon SageMaker

الأمازون SageMaker يتيح لك الآن مقارنة أداء إصدار جديد من مكدس خدمة النموذج مع الإصدار المنشور حاليًا قبل طرح الإنتاج الكامل باستخدام ممارسة أمان النشر المعروفة باسم اختبار الظل. يمكن أن يساعدك اختبار الظل في تحديد أخطاء التكوين المحتملة ومشكلات الأداء قبل أن تؤثر على المستخدمين النهائيين. مع SageMaker ، لن تحتاج إلى الاستثمار في بناء البنية التحتية لاختبار الظل ، مما يسمح لك بالتركيز على تطوير النموذج. يعتني SageMaker بنشر الإصدار الجديد إلى جانب الإصدار الحالي الذي يخدم طلبات الإنتاج ، وتوجيه جزء من الطلبات إلى إصدار الظل. يمكنك بعد ذلك مقارنة أداء الإصدارين باستخدام مقاييس مثل وقت الاستجابة ومعدل الخطأ. يمنحك هذا ثقة أكبر في أن عمليات طرح الإنتاج لنقاط نهاية استدلال SageMaker لن تتسبب في تراجع الأداء ، ويساعدك على تجنب الانقطاعات بسبب أخطاء التكوين العرضية.

في هذا المنشور ، نوضح قدرة SageMaker الجديدة هذه. نموذج دفتر الملاحظات المقابل متاح في هذا GitHub مستودع.

نظرة عامة على الحل

تتكون البنية التحتية للنموذج الخاص بك من نموذج التعلم الآلي (ML) ، أو حاوية العرض ، أو مثيل الحوسبة. لنفكر في السيناريوهات التالية:

• أنت تفكر في الترويج لنموذج جديد تم التحقق من صحته في وضع عدم الاتصال للإنتاج ، ولكنك تريد تقييم مقاييس الأداء التشغيلي ، مثل زمن الوصول ومعدل الخطأ وما إلى ذلك ، قبل اتخاذ هذا القرار.
• أنت تفكر في إجراء تغييرات على حاوية البنية التحتية التي تخدمها ، مثل تصحيح الثغرات الأمنية أو الترقية إلى إصدارات أحدث ، وتريد تقييم تأثير هذه التغييرات قبل الترقية إلى الإنتاج.
• أنت تفكر في تغيير مثيل ML الخاص بك وتريد تقييم كيفية أداء المثيل الجديد مع طلبات الاستدلال المباشر.

يوضح الرسم البياني التالي بنية الحلول لدينا.

لكل من هذه السيناريوهات ، حدد متغيرًا للإنتاج تريد اختباره مقابل ذلك ، وسيقوم SageMaker تلقائيًا بنشر المتغير الجديد في وضع الظل وتوجيه نسخة من طلبات الاستدلال إليه في الوقت الفعلي ضمن نفس نقطة النهاية. يتم إرجاع استجابات متغير الإنتاج فقط إلى تطبيق الاستدعاء. يمكنك اختيار تجاهل أو تسجيل استجابات متغير الظل للمقارنة في وضع عدم الاتصال. اختياريًا ، يمكنك مراقبة المتغيرات من خلال لوحة معلومات مدمجة مع مقارنة مقاييس الأداء جنبًا إلى جنب. يمكنك استخدام هذه الإمكانية إما من خلال واجهات برمجة تطبيقات تحديث نقطة نهاية الاستدلال من SageMaker أو من خلال وحدة تحكم SageMaker.

تعتمد متغيرات الظل على قدرة متغير الإنتاج في نقاط نهاية استدلال SageMaker. لتكرار ، أ متغير الإنتاج يتكون من نموذج ML وحاوية التقديم ومثال ML. نظرًا لأن كل متغير مستقل عن الآخر ، يمكن أن يكون لديك نماذج أو حاويات أو أنواع مثيلات مختلفة عبر المتغيرات. يتيح لك SageMaker تحديد سياسات القياس التلقائي على أساس كل متغير حتى يتمكنوا من القياس بشكل مستقل بناءً على الحمل الوارد. يدعم SageMaker ما يصل إلى 10 متغيرات إنتاج لكل نقطة نهاية. يمكنك إما تكوين متغير لتلقي جزء من حركة المرور الواردة عن طريق تعيين أوزان متغيرة ، أو تحديد متغير الهدف في الطلب الوارد. يتم إعادة توجيه الاستجابة من متغير الإنتاج إلى المستدعي.

A متغير الظل (جديد) له نفس مكونات متغير الإنتاج. جزء من الطلبات يحدده المستخدم ، والمعروف باسم نسبة أخذ العينات المرورية، إلى متغير الظل. يمكنك اختيار تسجيل استجابة متغير الظل خدمة تخزين أمازون البسيطة (Amazon S3) أو تجاهلها.

لاحظ أن SageMaker يدعم متغير ظل واحد كحد أقصى لكل نقطة نهاية. بالنسبة إلى نقطة نهاية ذات متغير ظل ، يمكن أن يكون هناك متغير إنتاج واحد كحد أقصى.

بعد إعداد متغيرات الإنتاج والظل ، يمكنك مراقبة ملف مقاييس الاحتجاج لكل من متغيرات الإنتاج والظل في الأمازون CloudWatch تحت AWS/SageMaker مساحة الاسم. يتم تنظيم كافة التحديثات على نقطة نهاية SageMaker باستخدام عمليات النشر باللون الأزرق / الأخضر وتحدث دون أي خسارة في التوافر. ستستمر نقاط النهاية في الاستجابة لطلبات الإنتاج أثناء إضافة متغيرات الظل أو تعديلها أو إزالتها.

يمكنك استخدام هذه الإمكانية بإحدى طريقتين:

• تم إدارة اختبار الظل باستخدام SageMaker Console - يمكنك الاستفادة من وحدة التحكم للحصول على تجربة إرشادية لإدارة الرحلة الشاملة لاختبار الظل. يتيح لك ذلك إعداد اختبارات الظل لفترة زمنية محددة مسبقًا ، ومراقبة التقدم من خلال لوحة معلومات مباشرة ، والتنظيف عند الانتهاء ، والعمل على النتائج.
• اختبار الظل للخدمة الذاتية باستخدام واجهات برمجة تطبيقات SageMaker Inference - إذا كان سير عمل النشر الخاص بك يستخدم بالفعل إنشاء / تحديث / حذف واجهات برمجة تطبيقات لنقطة النهاية ، يمكنك الاستمرار في استخدامها لإدارة متغيرات الظل.

في الأقسام التالية ، نتصفح كل من هذه السيناريوهات.

السيناريو 1 - اختبار الظل المُدار باستخدام SageMaker Console

إذا كنت ترغب في اختيار SageMaker لإدارة سير العمل الشامل لإنشاء نتائج اختبارات الظل وإدارتها والعمل على أساسها ، ففكر في استخدام قدرة اختبارات الظل في قسم الاستدلال من SageMaker Console. كما ذكرنا سابقًا ، يمكّنك هذا من إعداد اختبارات الظل لفترة زمنية محددة مسبقًا ، ومراقبة التقدم من خلال لوحة معلومات مباشرة ، وتقديم خيارات التنظيف عند الانتهاء ، والعمل على النتائج. لمعرفة المزيد ، يرجى زيارة اختبارات الظل قسم من وثائقنا للحصول على إرشادات مفصلة خطوة بخطوة لهذه الإمكانية.

الشروط المسبقة

يجب إنشاء نماذج الإنتاج والظل على SageMaker. يرجى الرجوع إلى CreateModel API هنا.

الخطوة 1 - قم بإنشاء اختبار ظل

انتقل إلى الإستنباط قسم من لوحة التنقل اليسرى لوحدة تحكم SageMaker ثم اختر اختبارات الظل. سينقلك هذا إلى لوحة معلومات بها جميع اختبارات الظل المجدولة والجارية والمكتملة. انقر 'إنشاء اختبار الظل ". أدخل اسمًا للاختبار واختر التالي.

سينقلك هذا إلى صفحة إعدادات اختبار الظل. يمكنك اختيار دور IAM موجود أو إنشاء دور يحتوي على AmazonSageMakerFullAccess سياسة IAM المرفقة. بعد ذلك ، اختر "إنشاء نقطة نهاية جديدة وأدخل اسمًا (xgb-prod-shadow-1). يمكنك إضافة إنتاج واحد ومتغير ظل واحد مرتبط بنقطة النهاية هذه بالنقر فوق 'يضيف' في قسم المتغيرات. يمكنك تحديد النماذج التي قمت بإنشائها في "إضافة نموذج ' صندوق المحادثة. يؤدي هذا إلى إنشاء إنتاج أو متغير. اختياريًا ، يمكنك تغيير نوع المثيل والعدد المرتبط بكل متغير.

تذهب كل حركة المرور إلى متغير الإنتاج وتستجيب لطلبات الاستدعاء. يمكنك التحكم في جزء من الطلبات التي يتم توجيهها إلى متغير الظل عن طريق تغيير ملف Traffic Sampling Percentage.

يمكنك التحكم في مدة الاختبار من ساعة واحدة إلى 30 يومًا. إذا لم يتم تحديدها ، فإنها تكون افتراضية لمدة 7 أيام. بعد هذه الفترة ، يتم وضع علامة على الاختبار كمكتمل. إذا كنت تجري اختبارًا على نقطة نهاية موجودة ، فسيتم إعادتها إلى الحالة قبل بدء الاختبار عند الانتهاء.

يمكنك اختياريًا التقاط طلبات واستجابات متغير Shadow باستخدام امتداد التقاط البيانات والخيارات. إذا تُركت بدون تحديد ، يتم تجاهل استجابات متغير الظل.

الخطوة 2 - مراقبة اختبار الظل

يمكنك عرض قائمة اختبارات الظل بالانتقال إلى ملف Shadow Tests قسم تحت الاستدلال. انقر فوق اختبار الظل الذي تم إنشاؤه في الخطوة السابقة لعرض تفاصيل اختبار الظل ومراقبته أثناء تقدمه أو بعد اكتماله.

يوفر قسم المقاييس مقارنة بين المقاييس الأساسية ويوفر رسومًا بيانية متراكبة بين متغيرات الإنتاج والظل ، جنبًا إلى جنب مع الإحصائيات الوصفية. يمكنك مقارنة مقاييس الاستدعاء مثل ModelLatency و Invocation4xxErrors بالإضافة إلى مقاييس الحالة مثل CPUUtilization و DiskUtilization.

الخطوة 3 - قم بترقية متغير الظل إلى متغير الإنتاج الجديد

عند المقارنة ، يمكنك إما اختيار ترقية متغير الظل ليكون متغير الإنتاج الجديد أو إزالة متغير الظل. لكلا الخيارين ، حدد "وضع علامة كاملة في الجزء العلوي من الصفحة. يقدم لك هذا خيارًا إما لترقية متغير الظل أو إزالته.

إذا اخترت الترقية ، فسيتم نقلك إلى صفحة النشر ، حيث يمكنك تأكيد إعدادات المتغير قبل النشر. قبل النشر ، نوصي بتحديد حجم متغيرات الظل الخاصة بك لتتمكن من معالجة 100٪ من حركة مرور الاستدعاء. إذا كنت لا تستخدم اختبار الظل لتقييم أنواع أو أحجام مثيلات بديلة ، فيمكنك استخدام اختيار "الاحتفاظ بإعدادات متغيرات الإنتاج. خلاف ذلك ، يمكنك اختيار "الاحتفاظ بإعدادات متغيرات الظل. إذا اخترت هذا الخيار ، فيرجى التأكد من تعيين عينات حركة المرور على 100٪. بدلاً من ذلك ، يمكنك تحديد نوع المثيل والعدد إذا كنت ترغب في تجاوز هذه الإعدادات.

بمجرد تأكيد النشر ، سيبدأ SageMaker تحديثًا لنقطة النهاية الخاصة بك لترقية متغير الظل لمتغير الإنتاج الجديد. كما هو الحال مع جميع تحديثات SageMaker ، ستظل نقطة النهاية قيد التشغيل أثناء التحديث.

السيناريو 2: اختبار الظل باستخدام واجهات برمجة تطبيقات SageMaker للاستدلال

يتناول هذا القسم كيفية استخدام واجهات برمجة تطبيقات إنشاء / تحديث / حذف نقطة النهاية من SageMaker لنشر متغيرات الظل.

في هذا المثال ، لدينا نموذجان XGBoost يمثلان نسختين مختلفتين من النماذج التي تم تدريبها مسبقًا. model.tar.gz هو النموذج المنتشر حاليا في الإنتاج. model2 هو النموذج الأحدث ، ونريد اختبار أدائه من حيث المقاييس التشغيلية مثل وقت الاستجابة قبل اتخاذ قرار باستخدامه في الإنتاج. نحن ننشر model2 كمتغير الظل model.tar.gz. يتم تخزين كلا الطرازين المدربين مسبقًا في حاوية S3 العامة s3://sagemaker-sample-files. نقوم أولاً بتنزيل النموذج الخاص بك مثيل الحوسبة المحلية ثم تحميله إلى S3.

تُستخدم النماذج في هذا المثال للتنبؤ باحتمالية ترك عميل متنقل لمشغل الهاتف المحمول الحالي. مجموعة البيانات التي نستخدمها متاحة للجمهور وقد ورد ذكرها في الكتاب اكتشاف المعرفة في البيانات بواسطة دانيال تي لاروس. تم تدريب هذه النماذج باستخدام دفتر التنبؤ XGB Churn في SageMaker. يمكنك أيضًا استخدام النماذج المدربة مسبقًا الخاصة بك ، وفي هذه الحالة يمكنك تخطي التنزيل من s3://sagemaker-sample-files وانسخ النماذج الخاصة بك مباشرة إلى الطراز / المجلد.

!aws s3 cp s3://sagemaker-sample-files/models/xgb-churn/xgb-churn-prediction-model.tar.gz model/
!aws s3 cp s3://sagemaker-sample-files/models/xgb-churn/xgb-churn-prediction-model2.tar.gz model/

الخطوة 1 - إنشاء النماذج

نقوم بتحميل ملفات النموذج إلى حاوية S3 الخاصة بنا وإنشاء نموذجين من SageMaker. انظر الكود التالي:

model_url = S3Uploader.upload(
    local_path="model/xgb-churn-prediction-model.tar.gz",
    desired_s3_uri=f"s3://{bucket}/{prefix}",
)
model_url2 = S3Uploader.upload(
    local_path="model/xgb-churn-prediction-model2.tar.gz",
    desired_s3_uri=f"s3://{bucket}/{prefix}",
from sagemaker import image_uris
image_uri = image_uris.retrieve("xgboost", boto3.Session().region_name, "0.90-1")
image_uri2 = image_uris.retrieve("xgboost", boto3.Session().region_name, "0.90-2")

model_name = f"DEMO-xgb-churn-pred-{datetime.now():%Y-%m-%d-%H-%M-%S}"
model_name2 = f"DEMO-xgb-churn-pred2-{datetime.now():%Y-%m-%d-%H-%M-%S}"

resp = sm.create_model(
    ModelName=model_name,
    ExecutionRoleArn=role,
    Containers=[{"Image": image_uri, "ModelDataUrl": model_url}],
)

resp = sm.create_model(
    ModelName=model_name2,
    ExecutionRoleArn=role,
    Containers=[{"Image": image_uri2, "ModelDataUrl": model_url2}],
)

الخطوة 2 - انشر النموذجين كمتغيرات إنتاج وظل إلى نقطة نهاية للاستدلال في الوقت الفعلي

نقوم بإنشاء تهيئة نقطة النهاية باستخدام متغيرات الإنتاج والظل. ال ProductionVariants و ShadowProductionVariants ذات أهمية خاصة. يحتوي كلا المتغيرين على مثيلات ml.m5.xlarge مع 4 وحدات معالجة مركزية (vCPU) و 16 جيجا بايت من الذاكرة ، وتم تعيين عدد المثيلات الأولي على 1. انظر الكود التالي:

ep_config_name = f"Shadow-EpConfig-{datetime.now():%Y-%m-%d-%H-%M-%S}"
production_variant_name = "production"
shadow_variant_name = "shadow"
create_endpoint_config_response = sm.create_endpoint_config(
    EndpointConfigName=ep_config_name,
    ProductionVariants=[
    # Type: Array of ProductionVariant (https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ProductionVariant.html) objects
      { 
         "VariantName": shadow_variant_name,
        {
            "VariantName": production_variant_name,
            "ModelName": model_name,
            "InstanceType": "ml.m5.xlarge",
            "InitialInstanceCount": 2,
            "InitialVariantWeight": 1,
        }
    ],
     # Type: Array of ShadowProductionVariants 
    ShadowProductionVariants = [
         "ModelName": model_name2,
         "InitialInstanceCount": 1,
         "InitialVariantWeight": 0.5,
         "InstanceType": "ml.m5.xlarge" 
      }
   ]
)

أخيرًا ، نقوم بإنشاء متغير الإنتاج والظل:

endpoint_name = f"xgb-prod-shadow-{datetime.now():%Y-%m-%d-%H-%M-%S}"
create_endpoint_api_response = sm.create_endpoint(
                                    EndpointName=endpoint_name,
                                    EndpointConfigName=ep_config_name,
                                )

الخطوة 3 - استدعاء نقطة النهاية للاختبار

بعد إنشاء نقطة النهاية بنجاح ، يمكنك البدء في استدعائها. نرسل حوالي 3,000 طلب بطريقة تسلسلية:

def invoke_endpoint(endpoint_name, wait_interval_sec=0.01, should_raise_exp=False):
    with open("test_data/test-dataset-input-cols.csv", "r") as f:
        for row in f:
            payload = row.rstrip("n")
            try:
                for i in range(10): #send the same payload 10 times for testing purpose
                    response = sm_runtime.invoke_endpoint(
                        EndpointName=endpoint_name, ContentType="text/csv", Body=payload
                    )
            except Exception as e:
                print("E", end="", flush=True)
                if should_raise_exp:
                    raise e

invoke_endpoint(endpoint_name)

الخطوة 4 - قارن المقاييس

الآن بعد أن قمنا بنشر نموذجي الإنتاج والظل ، فلنقارن مقاييس الاستدعاء. للحصول على قائمة مقاييس الاستدعاء المتاحة للمقارنة ، يرجى الرجوع إلى راقب Amazon SageMaker باستخدام Amazon CloudWatch. لنبدأ بمقارنة الدعوات بين متغيرات الإنتاج والظل.

• InvocationsPerInstance يشير المقياس إلى عدد الاستدعاءات المرسلة إلى متغير الإنتاج. يتم إرسال جزء صغير من هذه الاستدعاءات ، المحددة في الوزن المتغير ، إلى متغير الظل. يتم حساب الاستدعاء لكل مثيل بقسمة إجمالي عدد الاستدعاءات على عدد المثيلات في المتغير. كما هو موضح في الرسوم البيانية التالية ، يمكننا أن نؤكد أن كلا من متغيرات الإنتاج والظل يتلقى طلبات استدعاء وفقًا للأوزان المحددة في تكوين نقطة النهاية.

بعد ذلك ، دعنا نقارن زمن انتقال النموذج (ModelLatency متري) بين متغيرات الإنتاج والظل. زمن انتقال النموذج هو الوقت الذي يستغرقه النموذج للاستجابة كما تم عرضه من SageMaker. يمكننا أن نلاحظ كيف يقارن زمن انتقال متغير الظل مع متغير الإنتاج دون تعريض المستخدمين النهائيين لمتغير الظل.

نتوقع وقت الاستجابة العلوية (OverheadLatency متري) لتكون قابلة للمقارنة عبر متغيرات الإنتاج والظل. الكمون الزائد هو الفاصل الزمني الذي يتم قياسه من الوقت الذي يتلقى فيه SageMaker الطلب حتى يقوم بإرجاع استجابة للعميل ، مطروحًا منه زمن انتقال النموذج.

الخطوة 5 - روّج لمتغير الظل الخاص بك

لترقية نموذج الظل إلى الإنتاج ، قم بإنشاء تكوين نقطة نهاية جديد بالتيار ShadowProductionVariant كما الجديد ProductionVariant وإزالة ShadowProductionVariant. سيؤدي هذا إلى إزالة التيار ProductionVariant والترويج لمتغير الظل ليصبح متغير الإنتاج الجديد. كما هو الحال دائمًا ، يتم تنسيق جميع تحديثات SageMaker على أنها عمليات نشر باللونين الأزرق / الأخضر تحت الغطاء ، ولا يوجد فقدان في الإتاحة أثناء إجراء التحديث.

اختياريا ، يمكنك الاستفادة نشر حواجز الحماية إذا كنت ترغب في استخدام تحويل حركة المرور في وقت واحد والتراجع التلقائي أثناء التحديث.

promote_ep_config_name = f"PromoteShadow-EpConfig-{datetime.now():%Y-%m-%d-%H-%M-%S}"

create_endpoint_config_response = sm.create_endpoint_config(
    EndpointConfigName=promote_ep_config_name,
    ProductionVariants=[
        {
            "VariantName": shadow_variant_name,
            "ModelName": model_name2,
            "InstanceType": "ml.m5.xlarge",
            "InitialInstanceCount": 2,
            "InitialVariantWeight": 1.0,
        }
    ],
)
print(f"Created EndpointConfig: {create_endpoint_config_response['EndpointConfigArn']}")

update_endpoint_api_response = sm.update_endpoint(
    EndpointName=endpoint_name,
    EndpointConfigName=promote_ep_config_name,
)

wait_for_endpoint_in_service(endpoint_name)

sm.describe_endpoint(EndpointName=endpoint_name)

الخطوة 6 - نظف

إذا كنت لا تخطط لاستخدام نقطة النهاية هذه بشكل أكبر ، فيجب عليك حذف نقطة النهاية لتجنب تكبد رسوم إضافية وتنظيف الموارد الأخرى التي تم إنشاؤها في هذه المدونة.

dsm.delete_endpoint(EndpointName=endpoint_name)
sm.delete_endpoint_config(EndpointConfigName=ep_config_name)
sm.delete_endpoint_config(EndpointConfigName=promote_ep_config_name)
sm.delete_model(ModelName=model_name)
sm.delete_model(ModelName=model_name2)

وفي الختام

في هذا المنشور ، قدمنا ​​قدرة جديدة لاستدلال SageMaker لمقارنة أداء الإصدار الجديد من نموذج خدمة المكدس بالإصدار المنشور حاليًا قبل طرح الإنتاج الكامل باستخدام ممارسة أمان النشر المعروفة باسم اختبار الظل. قمنا بإرشادك عبر مزايا استخدام متغيرات الظل وطرقه لتكوين المتغيرات بامتداد مثال شامل. لمعرفة المزيد حول متغيرات الظل ، راجع اختبارات الظل توثيق.

حول المؤلف

راغو راميشا هو مهندس حلول التعلم الآلي مع فريق Amazon SageMaker Service. إنه يركز على مساعدة العملاء في بناء ونشر وترحيل أعباء عمل إنتاج ML إلى SageMaker على نطاق واسع. وهو متخصص في مجالات التعلم الآلي والذكاء الاصطناعي ورؤية الكمبيوتر ، وهو حاصل على درجة الماجستير في علوم الكمبيوتر من جامعة UT Dallas. في أوقات فراغه ، يستمتع بالسفر والتصوير.

تشينغوي لي هو متخصص في التعلم الآلي في Amazon Web Services. حصل على الدكتوراه. في بحوث العمليات بعد أن كسر حساب منحة مستشاره البحثي وفشل في تسليم جائزة نوبل التي وعد بها. يقوم حاليًا بمساعدة العملاء في مجال الخدمات المالية وصناعة التأمين في بناء حلول التعلم الآلي على AWS. في أوقات فراغه يحب القراءة والتعليم.

تشيون تشاو مهندس تطوير برمجيات أول مع فريق Amazon SageMaker Inference Platform. وهو المطور الرئيسي لـ Deployment Guardrails و Shadow Deployments ، ويركز على مساعدة العملاء في إدارة أعباء عمل ML وعمليات النشر على نطاق واسع مع توفر عالٍ. كما أنه يعمل على تطورات بنية النظام الأساسي لنشر وظائف ML بشكل سريع وآمن وتشغيل تجارب ML عبر الإنترنت بسهولة. في أوقات فراغه ، يستمتع بالقراءة والألعاب والسفر.

تارون صيرام هو مدير أول للمنتجات في Amazon SageMaker Inference. إنه مهتم بالتعرف على أحدث الاتجاهات في التعلم الآلي ومساعدة العملاء على الاستفادة منها. في أوقات فراغه ، يستمتع بركوب الدراجات والتزلج ولعب التنس.