הדור הבא של ניסויי אמזון SageMaker - ארגן, עקוב והשווה את ההדרכות שלך למידת מכונה בקנה מידה

היום, אנו שמחים להכריז על עדכונים שלנו ניסויים באמזון SageMaker יכולת של אמזון SageMaker המאפשר לך לארגן, לעקוב, להשוות ולהעריך ניסויים של למידת מכונה (ML) וגרסאות מודל מכל סביבת פיתוח משולבת (IDE) באמצעות SageMaker Python SDK או boto3, כולל מחברות Jupyter מקומיות.

למידת מכונה (ML) היא תהליך איטרטיבי. בעת פתרון מקרה שימוש חדש, מדעני נתונים ומהנדסי ML עוברים על פרמטרים שונים כדי למצוא את תצורות המודל הטובות ביותר (הידוע גם בפרמטרים היפר) שניתן להשתמש בהם בייצור כדי לפתור את האתגר העסקי שזוהה. עם הזמן, לאחר ניסויים עם מספר מודלים והיפר-פרמטרים, זה הופך להיות קשה עבור צוותי ML לנהל ביעילות ריצות מודל כדי למצוא את האופטימלי ללא כלי לעקוב אחר הניסויים השונים. מערכות מעקב אחר ניסויים מייעלות את התהליכים כדי להשוות איטרציות שונות ומסייעות לפשט את שיתוף הפעולה והתקשורת בצוות, ובכך להגדיל את הפרודוקטיביות ולחסוך זמן. זה מושג על ידי ארגון וניהול ניסויי ML בצורה לא מתאמצת כדי להסיק מהם מסקנות, למשל, מציאת ריצת האימון עם הדיוק הטוב ביותר.

כדי לפתור את האתגר הזה, SageMaker מספקת את SageMaker Experiments, יכולת משולבת במלואה של SageMaker. הוא מספק את הגמישות לרשום את מדדי המודל, הפרמטרים, הקבצים, החפצים, תרשימי העלילה מהמדדים השונים, ללכוד מטא נתונים שונים, לחפש בהם ולתמוך בשחזור המודל. מדעני נתונים יכולים להשוות במהירות את הביצועים וההיפרפרמטרים להערכת מודל באמצעות תרשימים וטבלאות ויזואליות. הם יכולים גם להשתמש בניסויי SageMaker כדי להוריד את התרשימים שנוצרו ולשתף את הערכת המודל עם מחזיקי העניין שלהם.

עם העדכונים החדשים ל- SageMaker Experiments, הוא כעת חלק מ- SageMaker SDK, המפשט את עבודת מדעני הנתונים ומבטל את הצורך בהתקנת ספרייה נוספת כדי לנהל ביצועים מרובים של מודלים. אנו מציגים את מושגי הליבה החדשים הבאים:

• ניסיון: אוסף של ריצות המקובצות יחד. ניסוי כולל ריצות עבור סוגים מרובים שניתן להתחיל מכל מקום באמצעות SageMaker Python SDK.
• הפעלה: כל שלב ביצוע של תהליך אימון מודל. ריצה מורכבת מכל התשומות, הפרמטרים, התצורות והתוצאות עבור איטרציה אחת של אימון מודל. ניתן לרשום פרמטרים ומדדים מותאמים אישית באמצעות ה log_parameter, log_parameters, ו log_metric פונקציות. ניתן לרשום קלט ופלט מותאמים אישית באמצעות log_file פונקציה.

המושגים המיושמים במסגרת א Run class זמינים מכל IDE שבו מותקן ה-SageMaker Python SDK. עבור SageMaker הדרכה, עיבוד ו

Transform Jobs, ריצת הניסוי של SageMaker מועברת אוטומטית לעבודה אם העבודה מופעלת בהקשר של הפעלה. אתה יכול לשחזר את אובייקט ההפעלה באמצעות load_run() מהעבודה שלך. לבסוף, עם שילוב הפונקציות החדשות, מדעני נתונים יכולים גם לרשום אוטומטית מטריצת בלבול, גרפי דיוק וזכירה, ועקומת ROC למקרי שימוש בסיווג באמצעות run.log_confusion_matrix, run.log_precision_recall, ו run.log_roc_curve פונקציות, בהתאמה.

בפוסט זה בבלוג, נספק דוגמאות כיצד להשתמש בפונקציות החדשות של SageMaker Experiments במחברת Jupyter דרך ה-SageMaker SDK. נדגים את היכולות הללו באמצעות א PyTorch דוגמה לאימון דוגמה לסיווג ספרות בכתב יד של MNIST. הניסוי יאורגן באופן הבא:

1. יצירת ריצות ופרמטרי רישום של הניסוי: ראשית ניצור ניסוי חדש, נתחיל הפעלה חדשה עבור הניסוי הזה, ונרשם אליו פרמטרים.
2. רישום מדדי ביצועים של מודל:נרשום מדדי ביצועים של מודל וגרפים מדדי עלילה.
3. השוואת ריצות מודל:נשווה בין ריצות מודל שונות לפי הפרמטרים ההיפרפרמטרים של המודל. נדון כיצד להשוות את הריצות הללו וכיצד להשתמש בניסויי SageMaker כדי לבחור את הדגם הטוב ביותר.
4. הפעלת ניסויים מעבודות SageMaker: אנו גם נספק דוגמה כיצד לשתף באופן אוטומטי את ההקשר של הניסוי שלך עם עבודת עיבוד, הדרכה או שינוי אצווה של SageMaker. זה מאפשר לך לשחזר אוטומטית את הקשר הריצה שלך עם load_run לתפקד בתוך העבודה שלך.
5. שילוב דוחות SageMaker Clarify: נדגים כיצד אנו יכולים כעת להשתלב SageMaker להבהיר דוחות הטיה והסבר לתצוגה אחת עם דוח המודל המיומן שלך.

תנאים מוקדמים

עבור פוסט זה בבלוג, נשתמש סטודיו SageMaker של אמזון כדי להציג כיצד לרשום מדדים ממחברת Studio באמצעות הפונקציות המעודכנות של SageMaker Experiments. כדי לבצע את הפקודות המוצגות בדוגמה שלנו, אתה צריך את התנאים המוקדמים הבאים:

• דומיין SageMaker Studio
• פרופיל משתמש של SageMaker Studio עם גישה מלאה של SageMaker
• מחברת SageMaker Studio עם לפחות ml.t3.medium סוג מופע

אם אין לך תחום ופרופיל משתמש של SageMaker זמין, תוכל ליצור אחד באמצעות זה מדריך התקנה מהיר.

פרמטרי רישום

לתרגיל זה נשתמש לפיד, חבילת PyTorch המספקת מערכי נתונים פופולריים, ארכיטקטורות מודלים ותמורות תמונה נפוצות עבור ראייה ממוחשבת. SageMaker Studio מספק סט של תמונות Docker עבור מקרי שימוש נפוצים במדעי הנתונים שזמינים באמזון ECR. עבור PyTorch, יש לך אפשרות לבחור תמונות מותאמות לאימון CPU או GPU. עבור דוגמה זו, נבחר את התמונה PyTorch 1.12 Python 3.8 CPU Optimized ו Python 3 גַרעִין. הדוגמאות המתוארות להלן יתמקדו בפונקציונליות של SageMaker Experiments ואינן מלאות בקוד.

בוא נוריד את הנתונים עם ה torchvision ארוז ועקוב אחר מספר דגימות הנתונים עבור הרכבת ומערכי בדיקה כפרמטרים עם SageMaker Experiments. עבור דוגמה זו, בואו נניח train_set ו test_set כפי שכבר הורד torchvision מערכי נתונים.

from sagemaker.session import Session
from sagemaker.experiments.run import Run
import os

# create an experiment and start a new run
experiment_name = "local-experiment-example"
run_name = "experiment-run"

with Run(experiment_name=experiment_name, sagemaker_session=Session(), run_name=run_name) as run:
    run.log_parameters({
        "num_train_samples": len(train_set.data),
        "num_test_samples": len(test_set.data)
    })
    for f in os.listdir(train_set.raw_folder):
        print("Logging", train_set.raw_folder+"/"+f)
        run.log_file(train_set.raw_folder+"/"+f, name=f, is_output=False)

בדוגמה זו אנו משתמשים ב- run.log_parameters כדי לרשום את מספר דוגמאות נתוני הרכבת והבדיקה ו run.log_file כדי להעלות את מערכי הנתונים הגולמיים לאמזון S3 ולהתחבר אליהם כקלט לניסוי שלנו.

הכשרת מודל ורישום מדדי מודל

כעת, לאחר שהורדנו את מערך הנתונים של MNIST, בואו נאמן א דגם CNN לזהות את הספרות. בזמן אימון המודל, אנו רוצים לטעון את ריצת הניסוי הקיימת שלנו, לרשום אליה פרמטרים חדשים ולעקוב אחר ביצועי המודל על ידי רישום מדדי מודל.

אנו יכולים להשתמש ב- load_run פונקציה כדי לטעון את הריצה הקודמת שלנו ולהשתמש בה כדי לרשום את אימוני המודל שלנו

with load_run(experiment_name=experiment_name, run_name=run_name, sagemaker_session=Session()) as run:
    train_model(
        run=run,
        train_set=train_set,
        test_set=test_set,
        epochs=10,
        hidden_channels=5,
        optimizer="adam"
    )

לאחר מכן נוכל להשתמש run.log_parameter ו run.log_parameters לרשום פרמטר אחד או יותר של דגם לריצה שלנו.

# log the parameters of your model
run.log_parameter("device", "cpu")
run.log_parameters({
    "data_dir": data_dir,
    "optimizer": optimizer,
    "epochs": epochs,
    "hidden_channels": hidden_channels
})

ואנחנו יכולים להשתמש run.log_metric כדי לרשום מדדי ביצועים לניסוי שלנו.

run.log_metric(name=metric_type+":loss", value=loss, step=epoch)
run.log_metric(name=metric_type+":accuracy", value=accuracy, step=epoch)

עבור מודלים סיווג, אתה יכול גם להשתמש run.log_confusion_matrix, run.log_precision_recall, ו run.log_roc_curve, כדי לשרטט אוטומטית את מטריצת הבלבול, גרף האחזור המדויק ועקומת ה-ROC של הדגם שלך. מכיוון שהמודל שלנו פותר בעיית סיווג מרובת מחלקות, בואו נרשום רק את מטריצת הבלבול עבורה.

# log confusion matrix
with torch.no_grad():
    for data, target in test_loader:
        data, target = data.to(device), target.to(device)
        output = model(data)
        pred = output.max(1, keepdim=True)[1] 
        run.log_confusion_matrix(target, pred, "Confusion-Matrix-Test-Data")

כאשר אנו מסתכלים על פרטי הריצה שלנו, אנו יכולים כעת לראות את המדדים שנוצרו כפי שמוצג בצילום המסך למטה:

דף פרטי הריצה מספק מידע נוסף על המדדים.

ומעקב אחר פרמטרי המודל החדש מתבצע בדף סקירת הפרמטרים.

אתה יכול גם לנתח את ביצועי המודל שלך לפי כיתה באמצעות מטריצת הבלבול המתוכננת אוטומטית, אותה ניתן גם להוריד ולהשתמש עבור דוחות שונים. ואתה יכול לשרטט גרפים נוספים כדי לנתח את הביצועים של המודל שלך על סמך המדדים שנרשמו.

השוואת פרמטרים מרובים של מודל

כמדען נתונים, אתה רוצה למצוא את המודל הטוב ביותר האפשרי. זה כולל אימון מודל מספר פעמים עם היפרפרמטרים שונים והשוואת הביצועים של המודל עם ההיפרפרמטרים הללו. לשם כך, SageMaker Experiments מאפשר לנו ליצור ריצות מרובות באותו ניסוי. בואו נחקור את המושג הזה על ידי אימון המודל שלנו עם שונה num_hidden_channels ו optimizers.

# define the list of parameters to train the model with
num_hidden_channel_param = [5, 10, 20]
optimizer_param = ["adam", "sgd"]
run_id = 0
# train the model using SageMaker Experiments to track the model parameters, 
# metrics and performance
sm_session = Session()
for i, num_hidden_channel in enumerate(num_hidden_channel_param):
    for k, optimizer in enumerate(optimizer_param):
        run_id += 1
        run_name = "experiment-run-"+str(run_id)
        print(run_name)
        print(f"Training model with: {num_hidden_channel} hidden channels and {optimizer} as optimizer")
        # Defining an experiment run for each model training run
        with Run(experiment_name=experiment_name, run_name=run_name, sagemaker_session=sm_session) as run:
            train_model(
                run=run, 
                train_set=train_set,
                test_set=test_set,
                epochs=10, 
                hidden_channels=num_hidden_channel,
                optimizer=optimizer
            )

אנו יוצרים כעת שש ריצות חדשות עבור הניסוי שלנו. כל אחד מהם ירשום את פרמטרי המודל, המדדים ומטריצת הבלבול. לאחר מכן נוכל להשוות את הריצות כדי לבחור את הדגם בעל הביצועים הטובים ביותר לבעיה. בעת ניתוח הריצות, נוכל לשרטט את הגרפים המטריים עבור הריצות השונות כחלקה אחת, תוך השוואת ביצועי הריצות על פני שלבי האימון (או העידנים) השונים.

שימוש בניסויי SageMaker עם עבודות הדרכה, עיבוד ושינוי אצווה של SageMaker

בדוגמה שלמעלה, השתמשנו בניסויי SageMaker כדי לתעד את ביצועי המודל ממחברת SageMaker Studio שבה המודל הוכשר באופן מקומי במחברת. אנחנו יכולים לעשות את אותו הדבר כדי לרשום את ביצועי המודל מעבודות עיבוד, הדרכה ושינוי אצווה של SageMaker. עם יכולות העברת ההקשר האוטומטי החדשות, איננו צריכים לשתף ספציפית את תצורת הניסוי עם עבודת SageMaker, מכיוון שהיא תילכד אוטומטית.

הדוגמה להלן תתמקד בפונקציונליות של SageMaker Experiments ואינה מלאה בקוד.

from sagemaker.pytorch import PyTorch
from sagemaker.experiments.run import Run
from sagemaker.session import Session
from sagemaker import get_execution_role
role = get_execution_role()

# set new experiment configuration
exp_name = "training-job-experiment-example"
run_name = "experiment-run-example"

# Start training job with experiment setting
with Run(experiment_name=exp_name, run_name=run_name, sagemaker_session=Session()) as run:
    est = PyTorch(
        entry_point="",
        dependencies=[""],
        role=role,
        model_dir=False,
        framework_version="1.12",
        py_version="py38",
        instance_type='ml.c5.xlarge',
        instance_count=1,
            hyperparameters={
            "epochs": 10,
            "hidden_channels":5,
            "optimizer": "adam",
        },
        keep_alive_period_in_seconds=3600
    )
    
    est.fit()

בקובץ סקריפט המודל שלנו, אנו יכולים לקבל את הקשר הריצה באמצעות load_run(). בעבודות עיבוד והדרכה של SageMaker, איננו צריכים לספק את תצורת הניסוי לטעינת התצורה. עבור עבודות שינוי אצווה, אנחנו צריכים לספק experiment_name ו run_name כדי לטעון את תצורת הניסוי.

with load_run() as run:
    run.log_parameters({...})
    train_model(run, ...)

בנוסף למידע שאנו מקבלים בעת הפעלת SageMaker Experiments מסקריפט של מחברת, הריצה מעבודה של SageMaker תאכלס אוטומטית את הפרמטרים והפלטים של העבודה.

ה-SDK החדש של SageMaker Experiments מבטיח גם תאימות לאחור עם הגרסה הקודמת תוך שימוש במושגים של ניסויים ורכיבי ניסיון. כל ניסוי שהופעל באמצעות הגרסה הקודמת של SageMaker Experiments יהפוך לזמין אוטומטית בממשק המשתמש החדש, לניתוח הניסויים.

שילוב של SageMaker Clarify ומודל דוחות הדרכה

SageMaker Clarify עוזר לשפר את דגמי ה-ML שלנו על ידי זיהוי הטיה פוטנציאלית ועוזר להסביר כיצד המודלים הללו יוצרים תחזיות. Clarify מספקת קונטיינרים מובנים מראש הפועלים כעבודות עיבוד של SageMaker לאחר הדרכה של המודל שלך, תוך שימוש במידע על הנתונים שלך (תצורת נתונים), מודל (תצורת מודל) ועמודות הנתונים הרגישים שאנו רוצים לנתח עבור הטיה אפשרית (הטיה) תְצוּרָה). עד כה, SageMaker Experiments הציג את הדרכת המודלים שלנו ואת דוחות ההבהרה כרכיבי ניסוי בודדים שהיו מחוברים באמצעות ניסיון.

עם הניסויים החדשים של SageMaker, אנו יכולים גם לשלב דוחות SageMaker Clarify עם הכשרת המודלים שלנו עם מקור אחד של אמת המאפשר לנו להבין יותר את המודל שלנו. עבור דוח משולב, כל שעלינו לעשות הוא לקבל את אותו שם הפעלה עבור משרות ההדרכה והבירור שלנו. הדוגמה הבאה מדגימה כיצד אנו יכולים לשלב את הדוחות באמצעות א דגם XGBoost לחזות את ההכנסה של מבוגרים ברחבי ארצות הברית. המודל משתמש ב- מערך נתונים למבוגרים של UCI. עבור תרגיל זה, אנו מניחים שהמודל כבר הוכשר ושכבר חישבנו את תצורות הנתונים, המודל וההטיה.

with Run(
    experiment_name='clarify-experiment',
    run_name="joint-run",
    sagemaker_session=sagemaker_session,
) as run:
    xgb.fit({"train": train_input}, logs=False)
    clarify_processor.run_bias(
        data_config=bias_data_config,
        bias_config=bias_config,
        model_config=model_config,
        model_predicted_label_config=predictions_config,
        pre_training_methods="all",
        post_training_methods="all",
    )
    clarify_processor.run_explainability(
        data_config=explainability_data_config,
        model_config=model_config,
        explainability_config=shap_config,
    )

עם הגדרה זו, אנו מקבלים תצוגה משולבת הכוללת את מדדי המודל, תשומות ותפוקות משותפות, ואת דוחות ה-Clarify עבור הטיה סטטיסטית ויכולת הסבר של המודל.

סיכום

בפוסט זה, חקרנו את הדור החדש של SageMaker Experiments, חלק משולב של SageMaker SDK. הדגמנו כיצד לרשום את זרימות העבודה שלך ב-ML מכל מקום עם מחלקת ההפעלה החדשה. הצגנו את ממשק המשתמש החדש של ניסויים המאפשר לך לעקוב אחר הניסויים שלך ותרפי העלילה עבור מדד ריצה בודד, כמו גם להשוות ריצות מרובות עם יכולת הניתוח החדשה. סיפקנו דוגמאות לניסויי רישום ממחברת SageMaker Studio ומעבודת הכשרה של SageMaker Studio. לבסוף, הראינו כיצד לשלב אימון מודלים ודוחות SageMaker Clarify בתצוגה אחידה, המאפשרת לך להבין יותר את המודל שלך.

אנו ממליצים לך לנסות את הפונקציות החדשות של הניסויים ולהתחבר ל- קהילת למידת מכונה ובינה מלאכותית אם יש לך שאלות או משוב!

על הכותבים

מאירה לדירה טנקה הוא מומחה למידת מכונה ב-AWS. עם רקע ב-Data Science, יש לה 9 שנות ניסיון באדריכלות ובניית יישומי ML עם לקוחות בכל תעשיות. כמובילה טכנית, היא עוזרת ללקוחות להאיץ את השגת הערך העסקי שלהם באמצעות טכנולוגיות מתפתחות ופתרונות חדשניים. בזמנה הפנוי, מאירה נהנית לטייל ולבלות עם משפחתה במקום חמים.

מני חנוג'ה הוא מומחה לבינה מלאכותית ולמידת מכונה SA בשירותי האינטרנט של אמזון (AWS). היא עוזרת ללקוחות המשתמשים בלמידת מכונה כדי לפתור את האתגרים העסקיים שלהם באמצעות ה-AWS. היא משקיעה את רוב זמנה בצלילה לעומק ובהוראת לקוחות על פרויקטים של AI/ML הקשורים לראייה ממוחשבת, עיבוד שפה טבעית, חיזוי, ML בקצה ועוד. היא מתלהבת מ-ML בקצה, ולכן היא יצרה מעבדה משלה עם ערכה לנהיגה עצמית ופס ייצור אבטיפוס, שם היא מבלה הרבה מזמנה הפנוי.

דיון צ'י הוא מהנדס פיתוח תוכנה ב-AWS. כיום היא משתתפת בבניית אוסף של שירותי פלטפורמה וכלים ב-AWS SageMaker כדי לעזור ללקוחות להצליח בפרויקטי ה-ML שלהם. היא גם נלהבת להביא את הרעיון של MLOps לקהל רחב יותר. מחוץ לעבודה, דיון נהנה לתרגל צ'לו.

אבהישק אגארוואל הוא מנהל מוצר בכיר עבור Amazon SageMaker. הוא נלהב לעבוד עם לקוחות ולהפוך למידת מכונה נגישה יותר. בזמנו הפנוי, אבהישק נהנה לצייר, לרכוב על אופניים וללמוד על טכנולוגיות חדשניות.

דנה בנסון הוא מהנדס תוכנה שעובד בצוות הניסויים, השושלת והחיפוש של אמזון SageMaker. לפני שהצטרפה ל-AWS, דנה השקיעה זמן בהפעלת פונקציונליות של בית חכם באלקסה והזמנות ניידות בסטארבקס.