قم بتحسين إدارة نماذج التعلم الآلي الخاصة بك باستخدام Amazon SageMaker

نظرًا لأن الشركات تتبنى بشكل متزايد التعلم الآلي (ML) لتطبيقات المؤسسة السائدة ، فإن المزيد من قرارات أعمالها تتأثر بنماذج ML. نتيجة لذلك ، فإن التحكم في الوصول المبسط والشفافية المعززة عبر جميع نماذج ML الخاصة بك يجعل من السهل التحقق من أن النماذج تعمل بشكل جيد واتخاذ الإجراءات عندما لا تكون كذلك.

في هذا المنشور ، نستكشف كيف يمكن للشركات تحسين الرؤية في نماذجها من خلال لوحات المعلومات المركزية والوثائق التفصيلية لنماذجها باستخدام ميزتين جديدتين: SageMaker Model Cards و SageMaker Model Dashboard. تتوفر هاتان الميزتان بدون رسوم إضافية لعملاء SageMaker.

نظرة عامة على نموذج الحكم

نموذج الحوكمة هو إطار عمل يعطي رؤية منهجية لتطوير النموذج والتحقق من صحته واستخدامه. حوكمة النموذج قابلة للتطبيق عبر سير عمل ML الشامل ، بدءًا من تحديد حالة استخدام ML إلى المراقبة المستمرة للنموذج المنشور من خلال التنبيهات والتقارير ولوحات المعلومات. يجب أن يقلل إطار عمل حوكمة النموذج جيد التنفيذ من عدد الواجهات المطلوبة لعرض مهام دورة الحياة وتتبعها وإدارتها لتسهيل مراقبة دورة حياة تعلم الآلة على نطاق واسع.

اليوم ، تستثمر المؤسسات خبرة فنية كبيرة في بناء الأدوات لأتمتة أجزاء كبيرة من سير عمل الإدارة والقابلية للتدقيق. على سبيل المثال ، يحتاج بناة النموذج إلى تسجيل مواصفات النموذج بشكل استباقي ، مثل الاستخدام المقصود للنموذج ، وتقييم المخاطر ، ومعايير الأداء التي يجب قياس النموذج على أساسها. علاوة على ذلك ، يحتاجون أيضًا إلى تسجيل الملاحظات على سلوك النموذج ، وتوثيق سبب اتخاذهم لقرارات رئيسية معينة مثل الوظيفة الموضوعية التي قاموا بتحسين النموذج وفقًا لها.

من الشائع أن تستخدم الشركات أدوات مثل Excel أو البريد الإلكتروني للحصول على معلومات النموذج هذه ومشاركتها لاستخدامها في الموافقات لاستخدام الإنتاج. ولكن مع زيادة حجم تطوير تعلم الآلة ، يمكن بسهولة فقدان المعلومات أو وضعها في غير محلها ، ويصبح تتبع هذه التفاصيل غير عملي بسرعة. علاوة على ذلك ، بعد نشر هذه النماذج ، يمكنك تجميع البيانات من مصادر مختلفة معًا للحصول على رؤية شاملة لجميع النماذج ونقاط النهاية ومحفوظات المراقبة والنسب. بدون هذا العرض ، يمكنك بسهولة أن تفقد مسار نماذجك ، وقد لا تكون على دراية عندما تحتاج إلى اتخاذ إجراء بشأنها. يتم تكثيف هذه المشكلة في الصناعات شديدة التنظيم لأنك تخضع للوائح تتطلب منك الحفاظ على مثل هذه التدابير في مكانها.

مع بدء حجم النماذج في التوسع ، يمكن أن تصبح إدارة الأدوات المخصصة تحديًا ويمنح المؤسسات وقتًا أقل للتركيز على احتياجات العمل الأساسية. في الأقسام التالية ، نستكشف كيف يمكن أن تساعدك SageMaker Model Cards و SageMaker Model Dashboard في توسيع نطاق جهود الحوكمة الخاصة بك.

بطاقات نموذج SageMaker

تمكّنك بطاقات النماذج من توحيد كيفية توثيق النماذج ، وبالتالي تحقيق الرؤية في دورة حياة النموذج ، من التصميم والبناء والتدريب والتقييم. تهدف بطاقات النموذج إلى أن تكون مصدرًا وحيدًا للحقيقة للأعمال التجارية والبيانات الوصفية التقنية حول النموذج الذي يمكن استخدامه بشكل موثوق لأغراض التدقيق والتوثيق. أنها توفر ورقة حقائق للنموذج المهم للحوكمة النموذجية.

تسمح بطاقات الطراز للمستخدمين بتأليف القرارات وتخزينها ، مثل سبب اختيار وظيفة موضوعية للتحسين ، وتفاصيل مثل الاستخدام المقصود وتقييم المخاطر. يمكنك أيضًا إرفاق نتائج التقييم ومراجعتها ، وتدوين الملاحظات للرجوع إليها في المستقبل.

بالنسبة للنماذج المدربة على SageMaker ، يمكن لبطاقات النموذج اكتشاف التفاصيل وملؤها تلقائيًا مثل وظيفة التدريب ومجموعات بيانات التدريب والقطع الأثرية النموذجية وبيئة الاستدلال ، وبالتالي تسريع عملية إنشاء البطاقات. باستخدام SageMaker Python SDK ، يمكنك تحديث بطاقة النموذج بسلاسة بمقاييس التقييم.

توفر البطاقات النموذجية لمديري المخاطر النموذجيين وعلماء البيانات ومهندسي تعلم الآلة القدرة على أداء المهام التالية:

• وثيقة متطلبات نموذج مثل تصنيف المخاطر والاستخدام المقصود والقيود والأداء المتوقع
• الملء التلقائي لبطاقات النماذج لنماذج SageMaker المدربة
• أحضر معلوماتك الخاصة (BYOI) للطرز غير التابعة لـ SageMaker
• تحميل وتبادل نتائج تقييم النموذج والبيانات
• تحديد والتقاط المعلومات المخصصة
• حالة بطاقة نموذج الالتقاط (مسودة أو في انتظار المراجعة أو تمت الموافقة عليها للإنتاج)
• قم بالوصول إلى محور بطاقة الطراز من ملف وحدة تحكم إدارة AWS
• إنشاء بطاقات النماذج وتحريرها وعرضها وتصديرها واستنساخها وحذفها
• تشغيل سير العمل باستخدام أمازون إيفينت بريدج التكامل لأحداث تغيير حالة بطاقة النموذج

قم بإنشاء بطاقات طراز SageMaker باستخدام وحدة التحكم

يمكنك بسهولة إنشاء بطاقات نموذجية باستخدام وحدة تحكم SageMaker. هنا يمكنك رؤية جميع بطاقات الطراز الموجودة وإنشاء بطاقات جديدة حسب الحاجة.

عند إنشاء بطاقة نموذج ، يمكنك توثيق معلومات النموذج الهامة مثل من قام ببناء النموذج ، ولماذا تم تطويره ، وكيفية أدائه للتقييمات المستقلة ، وأي ملاحظات يجب أخذها في الاعتبار قبل استخدام النموذج لتطبيق الأعمال.

لإنشاء بطاقة نموذج على وحدة التحكم ، أكمل الخطوات التالية:

1. أدخل تفاصيل نظرة عامة على النموذج.
2. أدخل تفاصيل التدريب (يتم ملؤها تلقائيًا إذا تم تدريب النموذج على SageMaker).
3. تحميل نتائج التقييم.
4. أضف تفاصيل إضافية مثل التوصيات والاعتبارات الأخلاقية.

بعد إنشاء بطاقة النموذج ، يمكنك اختيار إصدار لعرضه.

توضح لقطة الشاشة التالية تفاصيل بطاقة الطراز الخاصة بنا.

يمكنك أيضًا تصدير بطاقة النموذج لمشاركتها كملف PDF.

قم بإنشاء واستكشاف بطاقات نموذج SageMaker من خلال SageMaker Python SDK

لا يقتصر التفاعل مع بطاقات الطراز على وحدة التحكم. يمكنك أيضًا استخدام SageMaker Python SDK لإنشاء بطاقات النماذج واستكشافها. يسمح SageMaker Python SDK لعلماء البيانات ومهندسي ML بالتفاعل بسهولة مع مكونات SageMaker. تعرض مقتطفات التعليمات البرمجية التالية عملية إنشاء بطاقة نموذج باستخدام وظيفة SageMaker Python SDK المضافة حديثًا.

تأكد من تثبيت أحدث إصدار من SageMaker Python SDK:

$ pip install --upgrade "sagemaker>=2"

بمجرد تدريب نموذج ونشره باستخدام SageMaker ، يمكنك استخدام المعلومات من نموذج SageMaker ووظيفة التدريب لتعبئة المعلومات تلقائيًا في بطاقة الطراز.

باستخدام SageMaker Python SDK وتمرير اسم نموذج SageMaker ، يمكننا تلقائيًا جمع معلومات النموذج الأساسية. معلومات مثل نموذج SageMaker ARN وبيئة التدريب ومخرجات النموذج خدمة تخزين أمازون البسيطة يتم ملء موقع (Amazon S3) تلقائيًا. يمكننا إضافة حقائق أخرى عن النموذج ، مثل الوصف ونوع المشكلة ونوع الخوارزمية ومنشئ النموذج والمالك. انظر الكود التالي:

model_overview = ModelOverview.from_name(
    model_name=model_name,
    sagemaker_session=sagemaker_session,
    model_description="This is a simple binary classification model used for Model Card demo",
    problem_type="Binary Classification",
    algorithm_type="Logistic Regression",
    model_creator="DEMO-ModelCard",
    model_owner="DEMO-ModelCard",
)
print(model_overview.model_id) # Provides us with the SageMaker Model ARN
print(model_overview.inference_environment.container_image) # Provides us with the SageMaker inference container URI
print(model_overview.model_artifact) # Provides us with the S3 location of the model artifacts

يمكننا أيضًا جمع معلومات التدريب الأساسية تلقائيًا مثل وظيفة التدريب ARN وبيئة التدريب ومقاييس التدريب. يمكن إضافة تفاصيل تدريب إضافية ، مثل وظيفة هدف التدريب والملاحظات. انظر الكود التالي:

objective_function = ObjectiveFunction(
    function=Function(
        function=ObjectiveFunctionEnum.MINIMIZE,
        facet=FacetEnum.LOSS,
    ),
    notes="This is a example objective function.",
)
training_details = TrainingDetails.from_model_overview(
    model_overview=model_overview,
    sagemaker_session=sagemaker_session,
    objective_function=objective_function,
    training_observations="Additional training observations could be put here."
)

print(training_details.training_job_details.training_arn) # Provides us with the SageMaker Model ARN
print(training_details.training_job_details.training_environment.container_image) # Provides us with the SageMaker training container URI
print([{"name": i.name, "value": i.value} for i in training_details.training_job_details.training_metrics]) # Provides us with the SageMaker Training Job metrics

إذا توفرت لدينا مقاييس للتقييم ، فيمكننا إضافة تلك المقاييس إلى بطاقة النموذج أيضًا:

my_metric_group = MetricGroup(
    name="binary classification metrics",
    metric_data=[Metric(name="accuracy", type=MetricTypeEnum.NUMBER, value=0.5)]
)
evaluation_details = [
    EvaluationJob(
        name="Example evaluation job",
        evaluation_observation="Evaluation observations.",
        datasets=["s3://path/to/evaluation/data"],
        metric_groups=[my_metric_group],
    )
]

يمكننا أيضًا إضافة معلومات إضافية حول النموذج يمكن أن تساعد في إدارة النموذج:

intended_uses = IntendedUses(
    purpose_of_model="Test Model Card.",
    intended_uses="Not used except this test.",
    factors_affecting_model_efficiency="No.",
    risk_rating=RiskRatingEnum.LOW,
    explanations_for_risk_rating="Just an example.",
)
additional_information = AdditionalInformation(
    ethical_considerations="You model ethical consideration.",
    caveats_and_recommendations="Your model's caveats and recommendations.",
    custom_details={"custom details1": "details value"},
)

بعد أن قدمنا ​​جميع التفاصيل التي نطلبها ، يمكننا إنشاء بطاقة النموذج باستخدام التكوين السابق:

model_card_name = "sample-notebook-model-card"
my_card = ModelCard(
    name=model_card_name,
    status=ModelCardStatusEnum.DRAFT,
    model_overview=model_overview,
    training_details=training_details,
    intended_uses=intended_uses,
    evaluation_details=evaluation_details,
    additional_information=additional_information,
    sagemaker_session=sagemaker_session,
)
my_card.create()

يوفر SageMaker SDK أيضًا القدرة على تحديث بطاقة الطراز وتحميلها وإدراجها وتصديرها وحذفها.

لمعرفة المزيد حول بطاقات الطراز ، ارجع إلى دليل المطور واتبع مثال دفتر ملاحظات للبدء.

نموذج لوحة القيادة SageMaker

لوحة معلومات النموذج هي مستودع مركزي لجميع النماذج التي تم إنشاؤها في الحساب. عادةً ما يتم إنشاء النماذج عن طريق التدريب على SageMaker ، أو يمكنك إحضار نماذجك المدربة في مكان آخر لاستضافتها على SageMaker.

توفر لوحة معلومات النموذج واجهة واحدة لمسؤولي تكنولوجيا المعلومات أو مديري المخاطر النموذجيين أو قادة الأعمال لعرض جميع النماذج المنشورة وكيفية أدائها. يمكنك عرض نقاط النهاية الخاصة بك ، وتحويل المهام دفعة واحدة ، ومهام المراقبة للحصول على رؤى حول أداء النموذج. يمكن للمؤسسات الغوص بعمق لتحديد النماذج التي تحتوي على شاشات مفقودة أو غير نشطة وإضافتها باستخدام واجهات برمجة تطبيقات SageMaker لضمان فحص جميع النماذج لانحراف البيانات وانحراف النموذج وانحراف التحيز وانحراف إحالة الميزات.

تُظهر لقطة الشاشة التالية مثالاً على نموذج لوحة القيادة.

توفر لوحة معلومات النموذج نظرة عامة على جميع النماذج الخاصة بك ، وما هو تصنيفها للمخاطر ، وكيفية أداء هذه النماذج في الإنتاج. يقوم بذلك عن طريق سحب المعلومات من جميع أنحاء SageMaker. يتم التقاط معلومات مراقبة الأداء من خلال الأمازون SageMaker نموذج مراقب، ويمكنك أيضًا الاطلاع على معلومات حول النماذج التي تم استدعاؤها لتنبؤات الدُفعات من خلال وظائف تحويل الدُفعات من SageMaker. يتم التقاط معلومات النسب مثل كيفية تدريب النموذج والبيانات المستخدمة والمزيد ، ويتم أيضًا سحب المعلومات من بطاقات الطراز.

يراقب نموذج مراقب جودة نماذج SageMaker المستخدمة في الإنتاج لاستدلال الدُفعات أو نقاط النهاية في الوقت الفعلي. يمكنك إعداد المراقبة المستمرة أو الشاشات المجدولة عبر واجهات برمجة تطبيقات SageMaker ، وتحرير إعدادات التنبيه من خلال لوحة معلومات النموذج. يمكنك ضبط التنبيهات التي تنبهك عند وجود انحرافات في جودة النموذج. يتيح لك الاكتشاف المبكر والاستباقي لهذه الانحرافات اتخاذ إجراءات تصحيحية ، مثل إعادة تدريب النماذج ، أو مراجعة الأنظمة الأولية ، أو إصلاح مشكلات الجودة دون الحاجة إلى مراقبة النماذج يدويًا أو إنشاء أدوات إضافية. تمنحك لوحة معلومات النموذج نظرة ثاقبة سريعة حول النماذج التي تتم مراقبتها وكيفية أدائها. لمزيد من المعلومات حول Model Monitor ، قم بزيارة نماذج المراقبة للبيانات وجودة النموذج ، والتحيز ، وقابلية الشرح.

عندما تختار نموذجًا في لوحة معلومات النموذج ، يمكنك الحصول على رؤى أعمق للنموذج ، مثل بطاقة الطراز (إن وجدت) ، وسلسلة النموذج ، وتفاصيل حول نقطة النهاية التي تم نشر النموذج عليها ، وجدول المراقبة الخاص بالنموذج. نموذج.

يتيح لك هذا العرض إنشاء بطاقة نموذجية إذا لزم الأمر. يمكن تنشيط جدول المراقبة أو إلغاء تنشيطه أو تحريره أيضًا من خلال لوحة معلومات الطراز.

بالنسبة للنماذج التي لا تحتوي على جدول مراقبة ، يمكنك إعداد ذلك عن طريق تمكين Model Monitor لنقطة النهاية التي تم نشر النموذج عليها. من خلال تفاصيل التنبيه وحالته ، سيتم إخطارك بالنماذج التي تعرض انحراف البيانات ، أو انحراف النموذج ، أو انحراف التحيز ، أو انحراف الميزة ، اعتمادًا على الشاشات التي تقوم بإعدادها.

لنلقِ نظرة على مثال لسير العمل حول كيفية إعداد مراقبة النموذج. الخطوات الرئيسية لهذه العملية هي:

1. التقاط البيانات المرسلة إلى نقطة النهاية (أو وظيفة تحويل الدُفعة).
2. إنشاء خط أساس (لكل نوع من أنواع المراقبة).
3. قم بإنشاء جدول "مراقب النموذج" لمقارنة التوقعات المباشرة مقابل خط الأساس للإبلاغ عن الانتهاكات وتشغيل التنبيهات.

بناءً على التنبيهات ، يمكنك اتخاذ إجراءات مثل إعادة نقطة النهاية إلى إصدار سابق أو إعادة تدريب النموذج ببيانات جديدة. أثناء القيام بذلك ، قد يكون من الضروري تتبع كيفية تدريب النموذج ، والذي يمكن القيام به من خلال تصور سلالة النموذج.

تقدم لوحة معلومات النموذج مجموعة غنية من المعلومات المتعلقة بالنموذج الإيكولوجي العام في الحساب ، بالإضافة إلى القدرة على التعمق في التفاصيل المحددة للنموذج. لمعرفة المزيد حول نموذج لوحة القيادة ، ارجع إلى دليل المطور.

وفي الختام

نموذج الحوكمة معقد وغالبًا ما يتضمن الكثير من الاحتياجات المخصصة الخاصة بمؤسسة أو صناعة ما. قد يعتمد ذلك على المتطلبات التنظيمية التي تحتاج مؤسستك للامتثال لها ، وأنواع الشخصيات الموجودة في المنظمة ، وأنواع النماذج المستخدمة. لا يوجد نهج واحد يناسب الجميع للحوكمة ، ومن المهم أن تتوفر الأدوات المناسبة حتى يمكن تنفيذ عملية حوكمة قوية.

باستخدام أدوات حوكمة ML المصممة لهذا الغرض في SageMaker ، يمكن للمؤسسات تنفيذ الآليات الصحيحة لتحسين التحكم والرؤية على مشاريع ML لحالات الاستخدام المحددة الخاصة بها. قم بتجربة بطاقات النموذج ولوحة التحكم الخاصة بالنموذج ، واترك تعليقاتك مع الأسئلة والتعليقات. لمعرفة المزيد حول بطاقات الطراز ولوحة معلومات الطراز ، ارجع إلى دليل المطور.

عن المؤلفين

كيريت ثاداكا هو مهندس حلول ML يعمل في فريق SageMaker Service SA. قبل انضمامه إلى AWS ، عمل Kirit في شركات ناشئة في مرحلة مبكرة من الذكاء الاصطناعي ، تلتها بعض الوقت في الاستشارات في أدوار مختلفة في أبحاث الذكاء الاصطناعي ، و MLOps ، والقيادة التقنية.

مارك كارب هو مهندس ML مع فريق خدمة SageMaker. يركز على مساعدة العملاء في تصميم ونشر وإدارة أعباء عمل ML على نطاق واسع. في أوقات فراغه ، يستمتع بالسفر واستكشاف أماكن جديدة.

راغو راميشا هو مهندس حلول ML مع فريق Amazon SageMaker Service. إنه يركز على مساعدة العملاء في بناء ونشر وترحيل أعباء عمل إنتاج ML إلى SageMaker على نطاق واسع. وهو متخصص في مجالات التعلم الآلي والذكاء الاصطناعي ورؤية الكمبيوتر ، وهو حاصل على درجة الماجستير في علوم الكمبيوتر من جامعة UT Dallas. في أوقات فراغه يستمتع بالسفر والتصوير.

رام فيتال هو مهندس حلول متخصص في ML في AWS. يتمتع بخبرة تزيد عن 20 عامًا في تصميم وبناء التطبيقات الموزعة والهجينة والسحابة. إنه متحمس لبناء حلول آمنة وقابلة للتطوير للذكاء الاصطناعي / التعلم الآلي والبيانات الضخمة لمساعدة عملاء المؤسسات في تبني السحابة ورحلة التحسين لتحسين نتائج أعمالهم. يستمتع في أوقات فراغه بالتنس والتصوير وأفلام الحركة.

سهل سايني هو مهندس حلول ISV في Amazon Web Services. إنه يعمل مع فرق المنتجات والهندسة لعملاء AWS الإستراتيجيين لمساعدتهم في الحلول التقنية باستخدام خدمات AWS للذكاء الاصطناعي / ML ، والحاويات ، و HPC ، وإنترنت الأشياء. لقد ساعد في إنشاء منصات AI / ML لعملاء المؤسسات.