تجارب Amazon SageMaker من الجيل التالي - تنظيم وتتبع ومقارنة تدريبات التعلم الآلي على نطاق واسع

يسعدنا اليوم أن نعلن عن تحديثات لـ تجارب Amazon SageMaker قدرة الأمازون SageMaker يتيح لك تنظيم وتتبع ومقارنة وتقييم تجارب التعلم الآلي (ML) وإصدارات النماذج من أي بيئة تطوير متكاملة (IDE) باستخدام SageMaker Python SDK أو boto3 ، بما في ذلك أجهزة Jupyter Notebooks المحلية.

التعلم الآلي (ML) هو عملية تكرارية. عند حل حالة استخدام جديدة ، يقوم علماء البيانات ومهندسو ML بالتكرار من خلال العديد من المعلمات للعثور على أفضل تكوينات النماذج (المعروفة أيضًا باسم المعلمات الفائقة) التي يمكن استخدامها في الإنتاج لحل التحدي التجاري المحدد. بمرور الوقت ، بعد تجربة نماذج متعددة ومعلمات فائقة ، يصبح من الصعب على فرق ML إدارة عمليات تشغيل النموذج بكفاءة للعثور على النموذج الأمثل بدون أداة لتتبع التجارب المختلفة. تعمل أنظمة تتبع التجارب على تبسيط العمليات لمقارنة التكرارات المختلفة وتساعد على تبسيط التعاون والتواصل في الفريق ، وبالتالي زيادة الإنتاجية وتوفير الوقت. يتم تحقيق ذلك من خلال تنظيم وإدارة تجارب ML بطريقة سهلة لاستخلاص النتائج منها ، على سبيل المثال ، العثور على تشغيل التدريب بأفضل دقة.

لحل هذا التحدي ، يوفر SageMaker تجارب SageMaker ، وهي قدرة SageMaker متكاملة تمامًا. يوفر المرونة لتسجيل مقاييس النموذج ، والمعلمات ، والملفات ، والتحف ، ومخططات الرسم من المقاييس المختلفة ، والتقاط البيانات الوصفية المختلفة ، والبحث من خلالها ، ودعم استنساخ النموذج. يمكن لعلماء البيانات مقارنة الأداء والمعلمات الفائقة بسرعة لتقييم النموذج من خلال المخططات والجداول المرئية. يمكنهم أيضًا استخدام تجارب SageMaker لتنزيل المخططات التي تم إنشاؤها ومشاركة تقييم النموذج مع أصحاب المصلحة.

مع التحديثات الجديدة لتجارب SageMaker ، أصبحت الآن جزءًا من SageMaker SDK ، مما يبسط عمل عالم البيانات ويزيل الحاجة إلى تثبيت مكتبة إضافية لإدارة عمليات تنفيذ النماذج المتعددة. نقدم المفاهيم الأساسية الجديدة التالية:

• تجربة: مجموعة من الأشواط التي تم تجميعها معًا. تتضمن التجربة عمليات تشغيل لأنواع متعددة يمكن بدؤها من أي مكان باستخدام SageMaker Python SDK.
• يجري: كل ​​خطوة تنفيذية لعملية تدريب نموذجية. يتكون التشغيل من جميع المدخلات والمعلمات والتكوينات والنتائج لتكرار واحد لتدريب النموذج. يمكن تسجيل المعلمات والمقاييس المخصصة باستخدام ملف log_parameter, log_parametersو log_metric المهام. يمكن تسجيل الإدخال والإخراج المخصصين باستخدام ملف log_file وظيفة.

المفاهيم التي يتم تنفيذها كجزء من أ Run تتوفر فئة من أي IDE حيث تم تثبيت SageMaker Python SDK. لتدريب SageMaker والمعالجة و

Transform Jobs ، يتم تمرير تشغيل تجربة SageMaker تلقائيًا إلى الوظيفة إذا تم استدعاء الوظيفة ضمن سياق التشغيل. يمكنك استرداد كائن التشغيل باستخدام load_run() من وظيفتك. أخيرًا ، مع تكامل الوظائف الجديدة ، يمكن لعلماء البيانات أيضًا تسجيل مصفوفة الارتباك والدقة واستدعاء الرسوم البيانية تلقائيًا ومنحنى ROC لحالات استخدام التصنيف باستخدام run.log_confusion_matrix, run.log_precision_recallو run.log_roc_curve وظائف ، على التوالي.

في منشور المدونة هذا ، سنقدم أمثلة على كيفية استخدام وظائف SageMaker Experiments الجديدة في دفتر ملاحظات Jupyter عبر SageMaker SDK. سوف نظهر هذه القدرات باستخدام PyTorch مثال لتدريب مثال على تصنيف الأرقام المكتوبة بخط اليد MNIST. سيتم تنظيم التجربة على النحو التالي:

1. إنشاء عمليات تشغيل التجربة وتسجيل المعلمات: سننشئ أولاً تجربة جديدة ، ونبدأ تشغيلًا جديدًا لهذه التجربة ، وسنسجل المعلمات فيها.
2. مقاييس أداء نموذج التسجيل: سنقوم بتسجيل مقاييس أداء النموذج ورسومات بيانية مترية.
3. مقارنة عمليات تشغيل النموذج: سنقوم بمقارنة عمليات تشغيل النماذج المختلفة وفقًا للمعلمات الفائقة للنموذج. سنناقش كيفية مقارنة هذه العمليات وكيفية استخدام تجارب SageMaker لتحديد أفضل نموذج.
4. إجراء التجارب من وظائف SageMaker: سنقدم أيضًا مثالاً على كيفية مشاركة سياق تجربتك تلقائيًا مع وظيفة معالجة SageMaker أو التدريب أو التحويل الدفعي. يسمح لك هذا باستعادة سياق التشغيل تلقائيًا بامتداد load_run تعمل داخل عملك.
5. دمج تقارير SageMaker توضيح: سوف نوضح كيف يمكننا الآن التكامل توضيح SageMaker تقارير التحيز وقابلية التفسير لعرض واحد مع تقرير النموذج المدرب.

المتطلبات الأساسية المسبقة

لهذه المدونة ، سوف نستخدم أمازون ساجميكر ستوديو لعرض كيفية تسجيل المقاييس من دفتر ملاحظات Studio باستخدام وظائف SageMaker Experiments المحدثة. لتنفيذ الأوامر المقدمة في مثالنا ، تحتاج إلى المتطلبات الأساسية التالية:

• مجال استوديو SageMaker
• ملف تعريف مستخدم SageMaker Studio مع وصول كامل لبرنامج SageMaker
• دفتر ملاحظات SageMaker Studio به على الأقل امتداد ml.t3.medium نوع الطلب

إذا لم يكن لديك مجال SageMaker وملف تعريف مستخدم متاحين ، فيمكنك إنشاء واحد باستخدام هذا دليل الإعداد السريع.

معلمات التسجيل

في هذا التمرين ، سوف نستخدم الشعلة، وهي حزمة PyTorch التي توفر مجموعات بيانات شائعة وبنيات نموذجية وتحويلات صور شائعة لرؤية الكمبيوتر. يوفر SageMaker Studio مجموعة من ملفات صور عامل الميناء لحالات استخدام علم البيانات الشائعة التي يتم توفيرها في Amazon ECR. بالنسبة إلى PyTorch ، لديك خيار تحديد الصور المحسّنة لتدريب وحدة المعالجة المركزية أو وحدة معالجة الرسومات. في هذا المثال ، سنختار الصورة PyTorch 1.12 Python 3.8 CPU Optimized و Python 3 نواة. ستركز الأمثلة الموضحة أدناه على وظائف SageMaker Experiments وليست تعليمات برمجية كاملة.

لنقم بتنزيل البيانات بامتداد torchvision حزم وتتبع عدد عينات البيانات الخاصة بالقطار ومجموعات بيانات الاختبار كمعلمات باستخدام تجارب SageMaker. في هذا المثال ، دعنا نفترض train_set و test_set كما تم تنزيله بالفعل torchvision مجموعات البيانات.

from sagemaker.session import Session
from sagemaker.experiments.run import Run
import os

# create an experiment and start a new run
experiment_name = "local-experiment-example"
run_name = "experiment-run"

with Run(experiment_name=experiment_name, sagemaker_session=Session(), run_name=run_name) as run:
    run.log_parameters({
        "num_train_samples": len(train_set.data),
        "num_test_samples": len(test_set.data)
    })
    for f in os.listdir(train_set.raw_folder):
        print("Logging", train_set.raw_folder+"/"+f)
        run.log_file(train_set.raw_folder+"/"+f, name=f, is_output=False)

في هذا المثال ، نستخدم الامتداد run.log_parameters لتسجيل عدد عينات بيانات القطار والاختبار و run.log_file لتحميل مجموعات البيانات الأولية إلى Amazon S3 وتسجيلها كمدخلات في تجربتنا.

تدريب نموذج وقياسات نموذج التسجيل

الآن بعد أن قمنا بتنزيل مجموعة بيانات MNIST الخاصة بنا ، فلنقم بتدريب ملف نموذج سي إن إن للتعرف على الأرقام. أثناء تدريب النموذج ، نريد تحميل تشغيل التجربة الحالية لدينا ، وتسجيل معلمات جديدة فيه ، وتتبع أداء النموذج عن طريق تسجيل مقاييس النموذج.

يمكننا استخدام load_run وظيفة لتحميل تشغيلنا السابق واستخدامه لتسجيل تدريب نموذجنا

with load_run(experiment_name=experiment_name, run_name=run_name, sagemaker_session=Session()) as run:
    train_model(
        run=run,
        train_set=train_set,
        test_set=test_set,
        epochs=10,
        hidden_channels=5,
        optimizer="adam"
    )

يمكننا بعد ذلك استخدام ملفات run.log_parameter و run.log_parameters لتسجيل معلمات نموذج واحد أو عدة معلمات لتشغيلنا.

# log the parameters of your model
run.log_parameter("device", "cpu")
run.log_parameters({
    "data_dir": data_dir,
    "optimizer": optimizer,
    "epochs": epochs,
    "hidden_channels": hidden_channels
})

ويمكننا استخدامها run.log_metric لتسجيل مقاييس الأداء لتجربتنا.

run.log_metric(name=metric_type+":loss", value=loss, step=epoch)
run.log_metric(name=metric_type+":accuracy", value=accuracy, step=epoch)

بالنسبة لنماذج التصنيف ، يمكنك أيضًا استخدام run.log_confusion_matrix, run.log_precision_recallو run.log_roc_curve، لرسم مصفوفة الارتباك والرسم البياني للاستدعاء الدقيق ومنحنى ROC لنموذجك تلقائيًا. نظرًا لأن نموذجنا يحل مشكلة تصنيف متعددة الفئات ، فلنقم بتسجيل مصفوفة الارتباك الخاصة بها فقط.

# log confusion matrix
with torch.no_grad():
    for data, target in test_loader:
        data, target = data.to(device), target.to(device)
        output = model(data)
        pred = output.max(1, keepdim=True)[1] 
        run.log_confusion_matrix(target, pred, "Confusion-Matrix-Test-Data")

عند النظر إلى تفاصيل التشغيل ، يمكننا الآن رؤية المقاييس التي تم إنشاؤها كما هو موضح في لقطة الشاشة أدناه:

توفر صفحة تفاصيل التشغيل مزيدًا من المعلومات حول المقاييس.

ويتم تتبع معلمات النموذج الجديد في صفحة نظرة عامة على المعلمات.

يمكنك أيضًا تحليل أداء النموذج الخاص بك عن طريق الفئة باستخدام مصفوفة الارتباك المخططة تلقائيًا ، والتي يمكن أيضًا تنزيلها واستخدامها لتقارير مختلفة. ويمكنك رسم رسوم بيانية إضافية لتحليل أداء نموذجك بناءً على المقاييس المسجلة.

مقارنة معلمات نموذج متعددة

بصفتك عالم بيانات ، فأنت تريد العثور على أفضل نموذج ممكن. يتضمن ذلك تدريب نموذج عدة مرات باستخدام معلمات تشعبية مختلفة ومقارنة أداء النموذج مع تلك المعلمات الفائقة. للقيام بذلك ، تسمح لنا تجارب SageMaker بإنشاء عدة عمليات تشغيل في نفس التجربة. دعنا نستكشف هذا المفهوم من خلال تدريب نموذجنا بمختلف num_hidden_channels و optimizers.

# define the list of parameters to train the model with
num_hidden_channel_param = [5, 10, 20]
optimizer_param = ["adam", "sgd"]
run_id = 0
# train the model using SageMaker Experiments to track the model parameters, 
# metrics and performance
sm_session = Session()
for i, num_hidden_channel in enumerate(num_hidden_channel_param):
    for k, optimizer in enumerate(optimizer_param):
        run_id += 1
        run_name = "experiment-run-"+str(run_id)
        print(run_name)
        print(f"Training model with: {num_hidden_channel} hidden channels and {optimizer} as optimizer")
        # Defining an experiment run for each model training run
        with Run(experiment_name=experiment_name, run_name=run_name, sagemaker_session=sm_session) as run:
            train_model(
                run=run, 
                train_set=train_set,
                test_set=test_set,
                epochs=10, 
                hidden_channels=num_hidden_channel,
                optimizer=optimizer
            )

نحن الآن بصدد إنشاء ستة أشواط جديدة لتجربتنا. سيقوم كل واحد بتسجيل معلمات النموذج والمقاييس ومصفوفة الارتباك. يمكننا بعد ذلك مقارنة عمليات التشغيل لتحديد النموذج الأفضل أداءً للمشكلة. عند تحليل عمليات التشغيل ، يمكننا رسم الرسوم البيانية المترية للتشغيلات المختلفة كمخطط واحد ، ومقارنة أداء الدورات عبر خطوات التدريب المختلفة (أو الفترات).

استخدام تجارب SageMaker مع تدريب SageMaker ، وظائف المعالجة والتحويل الجماعي

في المثال أعلاه ، استخدمنا تجارب SageMaker لتسجيل أداء النموذج من دفتر ملاحظات SageMaker Studio حيث تم تدريب النموذج محليًا في الكمبيوتر المحمول. يمكننا أن نفعل الشيء نفسه لتسجيل أداء النموذج من وظائف معالجة وتدريب وتحويل الدُفعات من SageMaker. مع إمكانات تمرير السياق التلقائية الجديدة ، لا نحتاج إلى مشاركة تكوين التجربة على وجه التحديد مع وظيفة SageMaker ، حيث سيتم التقاطها تلقائيًا.

سيركز المثال أدناه على وظائف SageMaker Experiments وهو ليس رمزًا كاملاً.

from sagemaker.pytorch import PyTorch
from sagemaker.experiments.run import Run
from sagemaker.session import Session
from sagemaker import get_execution_role
role = get_execution_role()

# set new experiment configuration
exp_name = "training-job-experiment-example"
run_name = "experiment-run-example"

# Start training job with experiment setting
with Run(experiment_name=exp_name, run_name=run_name, sagemaker_session=Session()) as run:
    est = PyTorch(
        entry_point="",
        dependencies=[""],
        role=role,
        model_dir=False,
        framework_version="1.12",
        py_version="py38",
        instance_type='ml.c5.xlarge',
        instance_count=1,
            hyperparameters={
            "epochs": 10,
            "hidden_channels":5,
            "optimizer": "adam",
        },
        keep_alive_period_in_seconds=3600
    )
    
    est.fit()

في ملف البرنامج النصي النموذجي الخاص بنا ، يمكننا الحصول على سياق التشغيل باستخدام load_run(). في وظائف المعالجة والتدريب في SageMaker ، لا نحتاج إلى توفير تكوين التجربة لتحميل التكوين. بالنسبة لوظائف التحويل الدفعي ، نحتاج إلى توفيرها experiment_name و run_name لتحميل تكوين التجربة.

with load_run() as run:
    run.log_parameters({...})
    train_model(run, ...)

بالإضافة إلى المعلومات التي نحصل عليها عند تشغيل SageMaker Experiments من برنامج نصي لدفتر ملاحظات ، فإن التشغيل من وظيفة SageMaker سيعمل تلقائيًا على ملء معلمات ومخرجات الوظيفة.

يضمن SageMaker Experiments SDK الجديد أيضًا التوافق مع الإصدارات السابقة مع الإصدار السابق باستخدام مفاهيم التجارب والمكونات التجريبية. أي تجربة يتم تشغيلها باستخدام الإصدار السابق من SageMaker Experiments سيتم إتاحتها تلقائيًا في واجهة المستخدم الجديدة لتحليل التجارب.

تكامل SageMaker توضيح وتقديم نموذج لتقارير التدريب

يساعد SageMaker Clarify على تحسين نماذج ML الخاصة بنا من خلال الكشف التحيز المحتمل ومساعدة شرح كيف تقوم هذه النماذج بعمل تنبؤات. يوفر "توضيح" حاويات مُنشأة مسبقًا يتم تشغيلها كوظائف معالجة SageMaker بعد تدريب النموذج الخاص بك ، وذلك باستخدام معلومات حول بياناتك (تكوين البيانات) ، والنموذج (تكوين النموذج) ، وأعمدة البيانات الحساسة التي نريد تحليلها من أجل التحيز المحتمل (التحيز) ترتيب). حتى الآن ، عرضت تجارب SageMaker تدريبنا النموذجي ووضّح التقارير كمكونات تجريبية فردية تم توصيلها عبر تجربة.

من خلال تجارب SageMaker الجديدة ، يمكننا أيضًا دمج تقارير SageMaker Clarify مع تدريب النموذج لدينا مع وجود مصدر واحد للحقيقة يسمح لنا بفهم نموذجنا بشكل أكبر. للحصول على تقرير متكامل ، كل ما يتعين علينا القيام به هو الحصول على نفس اسم التشغيل لتدريبنا وتوضيح الوظائف. يوضح المثال التالي كيف يمكننا دمج التقارير باستخدام ملف نموذج XGBoost للتنبؤ بدخل البالغين في جميع أنحاء الولايات المتحدة. يستخدم النموذج ملف مجموعة بيانات UCI Adult. بالنسبة لهذا التمرين ، نفترض أن النموذج قد تم تدريبه بالفعل وأننا قمنا بالفعل بحساب تكوينات البيانات والنموذج والتحيز.

with Run(
    experiment_name='clarify-experiment',
    run_name="joint-run",
    sagemaker_session=sagemaker_session,
) as run:
    xgb.fit({"train": train_input}, logs=False)
    clarify_processor.run_bias(
        data_config=bias_data_config,
        bias_config=bias_config,
        model_config=model_config,
        model_predicted_label_config=predictions_config,
        pre_training_methods="all",
        post_training_methods="all",
    )
    clarify_processor.run_explainability(
        data_config=explainability_data_config,
        model_config=model_config,
        explainability_config=shap_config,
    )

من خلال هذا الإعداد ، نحصل على عرض مشترك يتضمن مقاييس النموذج ، والمدخلات والمخرجات المشتركة ، وتقارير توضيح للتحيز الإحصائي النموذجي وإمكانية الشرح.

وفي الختام

في هذا المنشور ، استكشفنا الجيل الجديد من تجارب SageMaker ، وهي جزء متكامل من SageMaker SDK. لقد أوضحنا كيفية تسجيل تدفقات عمل ML الخاصة بك من أي مكان باستخدام فئة Run الجديدة. قدمنا ​​واجهة مستخدم التجارب الجديدة التي تتيح لك تتبع تجاربك ورسم الرسوم البيانية لمقياس تشغيل واحد بالإضافة إلى مقارنة عمليات التشغيل المتعددة بقدرة التحليل الجديدة. قدمنا ​​أمثلة لتجارب التسجيل من دفتر ملاحظات SageMaker Studio ومن وظيفة تدريب SageMaker Studio. أخيرًا ، أوضحنا كيفية دمج تدريب النموذج وتقارير SageMaker Clarify في عرض موحد ، مما يسمح لك بفهم نموذجك بشكل أكبر.

نحن نشجعك على تجربة وظائف التجارب الجديدة والتواصل مع مجتمع التعلم الآلي والذكاء الاصطناعي إذا كان لديك أي أسئلة أو تعليقات!

حول المؤلف

ميرا لاديرا تانك هو متخصص في التعلم الآلي في AWS. تتمتع بخلفية في علوم البيانات ، ولديها 9 سنوات من الخبرة في تصميم وبناء تطبيقات ML مع العملاء عبر الصناعات. بصفتها رائدة فنية ، فهي تساعد العملاء على تسريع تحقيقهم لقيمة الأعمال من خلال التقنيات الناشئة والحلول المبتكرة. في أوقات فراغها ، تستمتع ميرا بالسفر وقضاء الوقت مع أسرتها في مكان دافئ.

ماني خانوجا هو متخصص في الذكاء الاصطناعي وتعلم الآلة SA في Amazon Web Services (AWS). إنها تساعد العملاء على استخدام التعلم الآلي لحل تحديات أعمالهم باستخدام AWS. تقضي معظم وقتها في الغوص بعمق وتعليم العملاء مشاريع الذكاء الاصطناعي / التعلم الآلي المتعلقة برؤية الكمبيوتر ومعالجة اللغة الطبيعية والتنبؤ والتعلم الآلي على الحافة والمزيد. إنها شغوفة بـ ML at edge ، لذلك ، فقد أنشأت مختبرها الخاص مع مجموعة أدوات القيادة الذاتية وخط إنتاج تصنيع النماذج الأولية ، حيث تقضي الكثير من وقت فراغها.

ديوين تشى هو مهندس تطوير برمجيات في AWS. تشارك حاليًا في بناء مجموعة من خدمات وأدوات النظام الأساسي في AWS SageMaker لمساعدة العملاء في إنجاح مشروعات ML الخاصة بهم. وهي أيضًا متحمسة لتقديم مفهوم MLOps إلى جمهور أوسع. خارج العمل ، يستمتع Dewen بممارسة التشيلو.

ابهيشيك اغاروال هو مدير أول للمنتجات في Amazon SageMaker. إنه متحمس للعمل مع العملاء وجعل التعلم الآلي أكثر سهولة. في أوقات فراغه ، يستمتع أبهيشيك بالرسم وركوب الدراجات والتعرف على التقنيات المبتكرة.

دانا بنسون هو مهندس برمجيات يعمل في فريق Amazon SageMaker Experiments و Lineage و Search. قبل الانضمام إلى AWS ، أمضت Dana وقتًا في تمكين وظائف المنزل الذكي في Alexa وطلب الأجهزة المحمولة في Starbucks.