قم بتشغيل أجهزة الكمبيوتر المحمولة Amazon SageMaker Studio كمهام مجدولة في دفتر الملاحظات

أمازون ساجميكر ستوديو يوفر حلاً مُدارًا بالكامل لعلماء البيانات لبناء نماذج التعلم الآلي (ML) وتدريبها ونشرها بشكل تفاعلي. بالإضافة إلى تجربة ML التفاعلية ، يبحث عمال البيانات أيضًا عن حلول لتشغيل أجهزة الكمبيوتر المحمولة كوظائف سريعة الزوال دون الحاجة إلى إعادة صياغة التعليمات البرمجية كوحدات Python النمطية أو تعلم أدوات DevOps وأفضل الممارسات لأتمتة البنية التحتية للنشر الخاصة بهم. تتضمن بعض حالات الاستخدام الشائعة للقيام بذلك ما يلي:

• تشغيل نموذج الاستدلال بانتظام لإنشاء التقارير
• توسيع نطاق خطوة هندسة الميزات بعد الاختبار في Studio مقابل مجموعة فرعية من البيانات في مثيل صغير
• إعادة تدريب ونشر النماذج على بعض الإيقاع
• تحليل فريقك الأمازون SageMaker الاستخدام بإيقاع منتظم

في السابق ، عندما أراد علماء البيانات أخذ الكود الذي قاموا ببنائه بشكل تفاعلي على أجهزة الكمبيوتر المحمولة وتشغيلها كوظائف مجمعة ، واجهوا منحنى تعليمي حاد باستخدام خطوط أنابيب Amazon SageMaker, AWS لامدا, أمازون إيفينت بريدجالطرق أو حلول أخرى يصعب إعدادها واستخدامها وإدارتها.

بدافع وظائف دفتر SageMaker، يمكنك الآن تشغيل دفاتر ملاحظاتك كما هي أو بطريقة معلمة ببضع نقرات بسيطة من SageMaker Studio أو معمل استوديو SageMaker واجهه المستخدم. يمكنك تشغيل دفاتر الملاحظات هذه وفقًا لجدول زمني أو على الفور. ليست هناك حاجة للمستخدم النهائي لتعديل كود الكمبيوتر الدفتري الحالي. عند اكتمال المهمة ، يمكنك عرض خلايا دفتر الملاحظات المأهولة ، بما في ذلك أي تصورات!

في هذا المنشور ، نشارك كيفية تشغيل دفاتر SageMaker Studio المحمولة الخاصة بك كوظائف دفتر ملاحظات مجدولة.

حل نظرة عامة

يوضح الرسم البياني التالي بنية الحلول لدينا. نحن نستخدم ملحق SageMaker المثبت مسبقًا لتشغيل أجهزة الكمبيوتر المحمولة كوظيفة على الفور أو وفقًا لجدول زمني.

في الأقسام التالية ، نتصفح خطوات إنشاء دفتر ملاحظات ، وتحديد معلمات للخلايا ، وتخصيص خيارات إضافية ، وجدولة وظيفتك. نقوم أيضًا بتضمين حالة استخدام نموذجية.

المتطلبات الأساسية المسبقة

لاستخدام وظائف دفتر SageMaker ، يجب تشغيل تطبيق JupyterLab 3 JupyterServer داخل Studio. لمزيد من المعلومات حول كيفية الترقية إلى JupyterLab 3 ، راجع عرض وتحديث إصدار JupyterLab لأحد التطبيقات من وحدة التحكم. تأكد من قم بإيقاف تشغيل برنامج SageMaker Studio وتحديثه من أجل الحصول على آخر التحديثات.

لتحديد تعريفات الوظائف التي تقوم بتشغيل دفاتر الملاحظات وفقًا لجدول زمني ، قد تحتاج إلى إضافة أذونات إضافية لدور تنفيذ SageMaker الخاص بك.

أولاً ، أضف علاقة ثقة إلى دور تنفيذ SageMaker الذي يسمح به events.amazonaws.com لتتولى دورك:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "sagemaker.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        },
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "events.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

بالإضافة إلى ذلك ، قد تحتاج إلى إنشاء وإرفاق سياسة مضمنة بدور التنفيذ الخاص بك. السياسة أدناه مكملة لسياسة متساهلة للغاية AmazonSageMakerFullAccess سياسات. للحصول على مجموعة كاملة والحد الأدنى من الأذونات انظر تثبيت السياسات والأذونات.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "events:TagResource",
                "events:DeleteRule",
                "events:PutTargets",
                "events:DescribeRule",
                "events:PutRule",
                "events:RemoveTargets",
                "events:DisableRule",
                "events:EnableRule"
            ],
            "Resource": "*",
            "Condition": {
              "StringEquals": {
                "aws:ResourceTag/sagemaker:is-scheduling-notebook-job": "true"
              }
            }
        },
        {
            "Sid": "VisualEditor1",
            "Effect": "Allow",
            "Action": "iam:PassRole",
            "Resource": "arn:aws:iam::*:role/*",
            "Condition": {
                "StringLike": {
                    "iam:PassedToService": "events.amazonaws.com"
                }
            }
        },
        {
            "Sid": "VisualEditor2",
            "Effect": "Allow",
            "Action": "sagemaker:ListTags",
            "Resource": "arn:aws:sagemaker:*:*:user-profile/*/*"
        }
    ]
}

قم بإنشاء وظيفة دفتر ملاحظات

لتشغيل الكمبيوتر الدفتري الخاص بك كمهمة دفتر ملاحظات SageMaker ، اختر ملف قم بإنشاء وظيفة دفتر ملاحظات الرمز.

بدلاً من ذلك ، يمكنك اختيار (النقر بزر الماوس الأيمن) دفتر الملاحظات الخاص بك على نظام الملفات والاختيار إنشاء وظيفة دفتر الملاحظات.

في مجلة خلق وظيفة في القسم ، ما عليك سوى اختيار نوع المثيل المناسب لوظيفتك المجدولة استنادًا إلى حجم العمل لديك: المثيلات القياسية ، أو المثيلات المحسّنة المحسّنة ، أو مثيلات الحوسبة السريعة التي تحتوي على وحدات معالجة الرسومات. يمكنك اختيار أي من المثيلات المتاحة لوظائف تدريب SageMaker. للحصول على قائمة كاملة بالمثيلات المتاحة ، راجع الأمازون SageMaker التسعير.

عند اكتمال المهمة ، يمكنك عرض ملف دفتر الملاحظات الناتج مع الخلايا المأهولة ، بالإضافة إلى السجلات الأساسية من تشغيل المهمة.

معلمة الخلايا

عند نقل كمبيوتر دفتري إلى سير عمل إنتاج ، من المهم أن تكون قادرًا على إعادة استخدام نفس الكمبيوتر الدفتري بمجموعات مختلفة من المعلمات للوحدات النمطية. على سبيل المثال ، قد ترغب في تحديد معلمات موقع مجموعة البيانات أو المعلمات الفائقة للنموذج الخاص بك بحيث يمكنك إعادة استخدام نفس دفتر الملاحظات للعديد من التدريبات على النماذج المميزة. تدعم وظائف دفتر ملاحظات SageMaker هذا من خلال علامات الخلية. ما عليك سوى اختيار رمز الترس المزدوج في الجزء الأيسر والاختيار إضافة علامة. ثم قم بتسمية العلامة كمعلمات.

بشكل افتراضي ، يستخدم تشغيل مهمة دفتر الملاحظات قيم المعلمات المحددة في دفتر الملاحظات ، ولكن بدلاً من ذلك ، يمكنك تعديلها كتكوين لمهمة دفتر الملاحظات الخاص بك.

تكوين خيارات إضافية

عند إنشاء مهمة دفتر ملاحظات ، يمكنك توسيع خيارات اضافية من أجل تخصيص تعريف وظيفتك. سيكتشف Studio تلقائيًا الصورة أو النواة التي تستخدمها في الكمبيوتر الدفتري الخاص بك ويحددها لك مسبقًا. تأكد من التحقق من صحة هذا الاختيار.

يمكنك أيضًا تحديد متغيرات البيئة أو البرامج النصية لبدء التشغيل لتخصيص بيئة تشغيل الكمبيوتر المحمول. للحصول على القائمة الكاملة للتكوينات ، انظر خيارات إضافية.

جدولة وظيفتك

لجدولة عملك ، اختر تشغيل وفقًا لجدول زمني وتعيين الفاصل الزمني والوقت المناسبين. ثم يمكنك اختيار ملف وظائف دفتر الملاحظات علامة التبويب التي تظهر بعد اختيار رمز الصفحة الرئيسية. بعد تحميل الكمبيوتر الدفتري ، اختر ملف تعريفات مهمة الكمبيوتر المحمول اضغط لإيقاف جدولك مؤقتًا أو إزالته.

مثال على حالة الاستخدام

على سبيل المثال ، نعرض سير عمل ML من طرف إلى طرف يقوم بإعداد البيانات من مصدر الحقيقة الأساسي ، وتدريب نموذج محدث من تلك الفترة الزمنية ، ثم تشغيل الاستدلال على أحدث البيانات لإنشاء رؤى قابلة للتنفيذ. في الممارسة العملية ، يمكنك تشغيل سير عمل كامل من طرف إلى طرف ، أو ببساطة تشغيل خطوة واحدة من سير عملك. يمكنك جدولة ملف غراء AWS جلسة تفاعلية للتحضير اليومي للبيانات ، أو تشغيل وظيفة الاستدلال الدفعي التي تولد نتائج رسومية مباشرة في دفتر الإخراج الخاص بك.

يمكن العثور على دفتر الملاحظات الكامل لهذا المثال في موقعنا أمثلة على SageMaker مستودع جيثب. تفترض حالة الاستخدام أننا شركة اتصالات تتطلع إلى جدولة دفتر ملاحظات يتنبأ بتضخم العميل المحتمل بناءً على نموذج تم تدريبه باستخدام أحدث البيانات المتوفرة لدينا.

للبدء ، نجمع أحدث بيانات العملاء المتاحة ونجري بعض المعالجة المسبقة عليها:

import pandas as pd
from synthetic_data import generate_data

previous_two_weeks_data = generate_data(5000, label_known=True)
todays_data = generate_data(300, label_known=False)

processed_prior_data = process_data(previous_two_weeks_data, label_known=True)
processed_todays_data = process_data(todays_data, label_known=False)

نقوم بتدريب نموذجنا المحدث على بيانات التدريب المحدثة هذه من أجل عمل تنبؤات دقيقة بشأنه todays_data:

import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import f1_score, confusion_matrix, ConfusionMatrixDisplay

y = np.ravel(processed_prior_data[["Churn"]])
x = processed_prior_data.drop(["Churn"], axis=1)

x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)

clf = RandomForestClassifier(n_estimators=int(number_rf_estimators), criterion="gini")
clf.fit(x_train, y_train)

نظرًا لأننا سنقوم بجدولة هذا الكمبيوتر الدفتري كتقرير يومي ، فنحن نريد تحديد مدى جودة أداء نموذجنا المحدث في مجموعة التحقق الخاصة بنا حتى نتمتع بالثقة في تنبؤاته المستقبلية. النتائج في لقطة الشاشة التالية مأخوذة من تقرير الاستدلال المجدول الخاص بنا.

أخيرًا ، تريد التقاط النتائج المتوقعة لبيانات اليوم في قاعدة بيانات بحيث يمكن اتخاذ الإجراءات بناءً على نتائج هذا النموذج.

بعد فهم دفتر الملاحظات ، لا تتردد في تشغيل هذا على أنه عمل سريع الزوال باستخدام اركض الآن تم وصفه مسبقًا أو اختبر وظيفة الجدولة.

تنظيف

إذا اتبعت مع مثالنا ، فتأكد من إيقاف جدول مهمة دفتر الملاحظات مؤقتًا أو حذفه لتجنب تكبد رسوم مستمرة.

وفي الختام

يؤدي استخدام أجهزة الكمبيوتر الدفتري إلى مرحلة الإنتاج باستخدام وظائف الكمبيوتر الدفتري SageMaker إلى تبسيط عمليات الرفع الثقيل غير المتمايزة التي يتطلبها عمال البيانات. سواء كنت تقوم بجدولة سير عمل ML من طرف إلى طرف أو قطعة من اللغز ، فإننا نشجعك على وضع بعض أجهزة الكمبيوتر المحمولة قيد الإنتاج باستخدام SageMaker Studio أو SageMaker Studio Lab! لمعرفة المزيد ، انظر سير العمل المستند إلى الكمبيوتر المحمول.

عن المؤلفين

شون مورغان هو كبير مهندسي حلول ML في AWS. لديه خبرة في مجالات البحث الأكاديمي وأشباه الموصلات ، ويستخدم خبرته لمساعدة العملاء على تحقيق أهدافهم على AWS. في وقت فراغه ، يعمل شون كمساهم / مشرف نشط مفتوح المصدر وقائد مجموعة الاهتمامات الخاصة لـ TensorFlow Addons.

سوميدا سوامي هو مدير المنتج الرئيسي في Amazon Web Services. يقود فريق SageMaker Studio لإدراجه في IDE المفضل لعلوم البيانات التفاعلية وهندسة البيانات. لقد أمضى الخمسة عشر عامًا الماضية في بناء منتجات للمستهلكين والشركات المهووسة بالعملاء باستخدام التعلم الآلي. في أوقات فراغه ، يحب تصوير الجيولوجيا المذهلة للجنوب الغربي الأمريكي.

إدوارد صن هو أحد كبار SDE يعمل في SageMaker Studio في Amazon Web Services. يركز على بناء حل ML تفاعلي وتبسيط تجربة العملاء لدمج SageMaker Studio مع التقنيات الشائعة في هندسة البيانات والنظام البيئي ML. في أوقات فراغه ، يعتبر إدوارد من أشد المعجبين بالتخييم والمشي لمسافات طويلة وصيد الأسماك ويستمتع بقضاء الوقت مع أسرته.