השמיים אמזון SageMaker Python SDK היא ספריית קוד פתוח להדרכה ופריסה של מודלים של למידת מכונה (ML). אמזון SageMaker. לקוחות ארגוניים בתעשיות בשליטה קפדנית כמו בריאות ופיננסים מציבים מעקות אבטחה כדי להבטיח שהנתונים שלהם מוצפנים ותעבורה לא עוברת את האינטרנט. כדי להבטיח שההכשרה והפריסה של דגמי ML של SageMaker יפעלו בהתאם למעקות הבטיחות האלה, מקובל להגדיר הגבלות בחשבון או ארגוני AWS רמה באמצעות מדיניות בקרת שירות ו AWS זהות וניהול גישה מדיניות (IAM) לאכיפת השימוש בתפקידי IAM ספציפיים, ענן וירטואלי פרטי של אמזון (Amazon VPC) תצורות, ו שירות ניהול מפתח AWS (AWS KMS) מקשי. במקרים כאלה, מדעני נתונים צריכים לספק את הפרמטרים הללו לקוד ההדרכה והפריסה של מודל ה-ML שלהם באופן ידני, על ידי רישום רשתות משנה, קבוצות אבטחה ומפתחות KMS. זה מטיל את החובה על מדעני הנתונים לזכור לציין את התצורות הללו, להריץ בהצלחה את עבודתם ולהימנע מלקבל שגיאות דחיית גישה.
החל מגרסה 2.148.0 של SageMaker Python SDK, כעת תוכל להגדיר ערכי ברירת מחדל עבור פרמטרים כגון תפקידי IAM, VPCs ומפתחות KMS. מנהלי מערכת ומשתמשי קצה יכולים לאתחל פרימיטיבים של תשתית AWS עם ברירות מחדל שצוינו בקובץ תצורה בפורמט YAML. לאחר ההגדרה, ה- Python SDK יורש אוטומטית את הערכים הללו ומפיץ אותם לקריאות הבסיסיות של SageMaker API, כגון CreateProcessingJob()
, CreateTrainingJob()
, ו CreateEndpointConfig()
, ללא צורך בפעולות נוספות. ה-SDK תומך גם במספר קובצי תצורה, מה שמאפשר למנהלי מערכת להגדיר קובץ תצורה עבור כל המשתמשים, ומשתמשים יכולים לעקוף אותו באמצעות תצורה ברמת המשתמש שניתן לאחסן ב שירות אחסון פשוט של אמזון (אמזון S3), מערכת הקבצים של אמזון אלסטית (Amazon EFS) עבור סטודיו SageMaker של אמזון, או מערכת הקבצים המקומית של המשתמש.
בפוסט זה, אנו מראים לך כיצד ליצור ולאחסן את קובץ תצורת ברירת המחדל בסטודיו ולהשתמש בתכונת ברירת המחדל של SDK כדי ליצור את משאבי SageMaker שלך.
סקירת פתרונות
אנו מדגימים את התכונה החדשה הזו עם מקצה לקצה AWS CloudFormation תבנית שיוצרת את התשתית הנדרשת, ויוצרת תחום Studio ב-VPC הפרוס. בנוסף, אנו יוצרים מפתחות KMS להצפנת אמצעי האחסון המשמשים בעבודות הדרכה ועיבוד. השלבים הם כדלקמן:
- הפעל את ערימת CloudFormation בחשבונך. לחלופין, אם ברצונך לחקור תכונה זו בדומיין או מחברת קיים של SageMaker, דלג על שלב זה.
- אוכלוסיית
config.yaml
קובץ ושמור את הקובץ במיקום ברירת המחדל. - הפעל מחברת לדוגמה עם מקרה שימוש ML מקצה לקצה, כולל עיבוד נתונים, אימון מודלים והסקת מסקנות.
- עוקף את ערכי ברירת המחדל של תצורת התצורה.
תנאים מוקדמים
לפני שתתחיל, ודא שיש לך חשבון AWS ומשתמש או תפקיד IAM עם הרשאות מנהל. אם אתה מדען נתונים המעביר כעת פרמטרים של תשתית למשאבים במחברת שלך, אתה יכול לדלג על השלב הבא של הגדרת הסביבה שלך ולהתחיל ליצור את קובץ התצורה.
כדי להשתמש בתכונה זו, הקפד לשדרג את גרסת SageMaker SDK שלך על ידי הפעלה pip install --upgrade sagemaker
.
הגדר את הסביבה
כדי לפרוס תשתית מלאה כולל רשתות ותחום Studio, בצע את השלבים הבאים:
- שיבט את מאגר GitHub.
- היכנס לחשבון AWS שלך ופתח את מסוף AWS CloudFormation.
- כדי לפרוס את משאבי הרשת, בחר צור ערימה.
- העלה את התבנית מתחת
setup/vpc_mode/01_networking.yaml
. - ספק שם לערימה (לדוגמה,
networking-stack
), והשלם את השלבים הנותרים כדי ליצור את הערימה. - כדי לפרוס את דומיין Studio, בחר צור ערימה שוב.
- העלה את התבנית מתחת
setup/vpc_mode/02_sagemaker_studio.yaml
. - ספק שם לערימה (לדוגמה,
sagemaker-stack
), וספק את השם של מחסנית הרשת כאשר תתבקש ל-CoreNetworkingStackName
פָּרָמֶטֶר. - המשך עם השלבים הנותרים, בחר את האישורים עבור משאבי IAM וצור את המחסנית.
כאשר הסטטוס של שתי הערימות מתעדכן ל CREATE_COMPLETE, המשך לשלב הבא.
צור את קובץ התצורה
כדי להשתמש בתצורת ברירת המחדל עבור SageMaker Python SDK, אתה יוצר קובץ config.yaml בפורמט שה-SDK מצפה לו. לפורמט של קובץ config.yaml, עיין ב מבנה קובץ התצורה. בהתאם לסביבת העבודה שלך, כגון מחברות Studio, מופעי מחברת SageMaker או ה-IDE המקומי שלך, תוכל לשמור את קובץ התצורה במיקום ברירת המחדל או לעקוף את ברירות המחדל על ידי העברת מיקום קובץ תצורה. למיקומי ברירת המחדל עבור סביבות אחרות, עיין ב מיקומי קבצי תצורה. השלבים הבאים מציגים את ההגדרה עבור סביבת מחברת Studio.
כדי ליצור בקלות את config.yaml
קובץ, הפעל את התאים הבאים במסוף מערכת Studio שלך, והחלף את מצייני המיקום בשמות המחסנית של CloudFormation מהשלב הקודם:
סקריפט זה מאכלס אוטומטית את קובץ YAML, מחליף את מצייני המיקום בברירות המחדל של התשתית ושומר את הקובץ בתיקיית הבית. לאחר מכן הוא מעתיק את הקובץ למיקום ברירת המחדל עבור מחברות Studio. קובץ התצורה המתקבל אמור להיראות דומה לפורמט הבא:
אם יש לך דומיין קיים ותצורת רשת, צור את ה config.yaml
קובץ בפורמט הנדרש ושמור אותו במיקום ברירת המחדל עבור מחברות Studio.
שים לב שברירות מחדל אלה פשוט מאכלסות אוטומטית את ערכי התצורה עבור קריאות SageMaker SDK המתאימות, ואינן אוכפות את המשתמש לשום VPC, רשת משנה או תפקיד ספציפיים. כמנהל, אם אתה רוצה שהמשתמשים שלך ישתמשו בתצורה או תפקיד ספציפיים, השתמש מפתחות מצב IAM כדי לאכוף את ערכי ברירת המחדל.
בנוסף, לכל קריאת API יכולות להיות תצורות משלה. לדוגמה, בדגימת קובץ התצורה הקודמת, אתה יכול לציין vpc-a
ו subnet-a
לעבודות הכשרה, ולפרט vpc-b
ו subnet-c
, subnet-d
לעבודות עיבוד.
הפעל מחברת לדוגמה
כעת, לאחר שהגדרתם את קובץ התצורה, תוכלו להתחיל להפעיל את מחברות בניית הדגמים וההדרכה שלכם כרגיל, ללא צורך בהגדרה מפורשת של פרמטרי רשת והצפנה, עבור רוב פונקציות ה-SDK. לִרְאוֹת ממשקי API ופרמטרים נתמכים לרשימה מלאה של קריאות API נתמכות ופרמטרים.
ב-Studio, בחר בסמל סייר הקבצים בחלונית הניווט ופתח 03_feature_engineering/03_feature_engineering.ipynb
, כפי שמוצג בצילום המסך הבא.
הפעל את תאי המחברת בזה אחר זה, ושם לב שאינך מציין שום תצורה נוספת. כאשר אתה יוצר את אובייקט המעבד, תראה את פלטי התא כמו בדוגמה הבאה.
כפי שניתן לראות בפלט, תצורת ברירת המחדל מוחלת אוטומטית על עבודת העיבוד, ללא צורך בקלט נוסף מהמשתמש.
כאשר אתה מפעיל את התא הבא להפעלת המעבד, אתה יכול גם לוודא שברירות המחדל מוגדרות על ידי הצגת העבודה במסוף SageMaker. בחר עיבוד עבודות תחת תהליך בחלונית הניווט, כפי שמוצג בצילום המסך הבא.
בחר את עבודת העיבוד עם הקידומת end-to-end-ml-sm-proc
, ואתה אמור להיות מסוגל לראות את הרשת וההצפנה שכבר הוגדרו.
אתה יכול להמשיך להפעיל את המחברות הנותרות כדי לאמן ולפרוס את המודל, ותבחין שברירות המחדל של התשתית מיושמות אוטומטית הן עבור עבודות הדרכה והן עבור דגמים.
תעקוף את קובץ התצורה המוגדר כברירת מחדל
יכולים להיות מקרים שבהם משתמש צריך לעקוף את תצורת ברירת המחדל, למשל, כדי להתנסות בגישה לאינטרנט ציבורי, או לעדכן את תצורת הרשת אם תת-רשת נגמרת מכתובות ה-IP. במקרים כאלה, ה-SDK של Python גם מאפשר לך לספק מיקום מותאם אישית עבור קובץ התצורה, או באחסון מקומי, או שאתה יכול להצביע על מיקום ב-Amazon S3. בחלק זה, אנו בוחנים דוגמה.
פתח את user-configs.yaml
קובץ בספריית הבית שלך ועדכן את EnableNetworkIsolation
ערך True
, תחת TrainingJob
סָעִיף.
כעת, פתחו את אותה מחברת והוסיפו את התא הבא לתחילת המחברת:
עם תא זה, אתה מכוון את המיקום של קובץ התצורה ל-SDK. כעת, כאשר תיצור את אובייקט המעבד, תבחין שתצורת ברירת המחדל נדחתה כדי לאפשר בידוד רשת, ועבודת העיבוד תיכשל במצב בידוד רשת.
אתה יכול להשתמש באותו משתנה סביבת עקיפה כדי להגדיר את המיקום של קובץ התצורה אם אתה משתמש בסביבה המקומית שלך כגון VSCode.
איתור באגים ואחזר ברירות מחדל
לפתרון בעיות מהיר אם נתקלת בשגיאות כלשהן בעת הפעלת קריאות API מהמחברת שלך, פלט התא מציג את תצורות ברירת המחדל שהוחלו כפי שמוצג בסעיף הקודם. כדי להציג את קריאת Boto3 המדויקת שנוצרה כדי להציג את ערכי התכונה שהועברו מקובץ התצורה המוגדר כברירת מחדל, אתה יכול לבצע ניפוי באגים על ידי הפעלת רישום Boto3. כדי להפעיל רישום, הפעל את התא הבא בחלק העליון של המחברת:
כל שיחות Boto3 עוקבות יירשמו עם הבקשה המלאה, גלויה מתחת לחלק הגוף ביומן.
אתה יכול גם להציג את אוסף תצורות ברירת המחדל באמצעות session.sagemaker_config
ערך כפי שמוצג בדוגמה הבאה.
לבסוף, אם אתה משתמש ב-Boto3 כדי ליצור את משאבי SageMaker שלך, אתה יכול לאחזר את ערכי ברירת המחדל של התצורה באמצעות sagemaker_config
מִשְׁתַנֶה. לדוגמה, כדי להפעיל את עבודת העיבוד ב 03_feature_engineering.ipynb
באמצעות Boto3, אתה יכול להזין את התוכן של התא הבא באותה מחברת ולהפעיל את התא:
אוטומציה של יצירת קבצי תצורה
עבור מנהלי מערכת, הצורך ליצור את קובץ התצורה ולשמור את הקובץ בכל מופע מחברת SageMaker או פרופיל משתמש Studio יכולה להיות משימה לא פשוטה. למרות שאתה יכול להמליץ למשתמשים להשתמש בקובץ נפוץ המאוחסן במיקום ברירת מחדל S3, זה מטיל את התקורה הנוספת של ציון העקיפה על מדעני הנתונים.
כדי להפוך זאת לאוטומטי, מנהלי מערכת יכולים להשתמש ב-SageMaker Lifecycle Configurations (LCC). עבור פרופילי משתמש של Studio או מופעי מחברת, תוכל לצרף את סקריפט ה-LCC לדוגמה הבא בתור ברירת המחדל של LCC עבור אפליקציית ברירת המחדל של Jupyter Server של המשתמש:
לִרְאוֹת השתמש בתצורות מחזור חיים עבור Amazon SageMaker Studio or התאם אישית מופע מחברת לקבלת הוראות ליצירה והגדרה של סקריפט ברירת מחדל למחזור חיים.
לנקות את
כשתסיים להתנסות בתכונה זו, נקה את המשאבים שלך כדי להימנע מתשלום עלויות נוספות. אם הקצאת משאבים חדשים כפי שצוין בפוסט זה, השלם את השלבים הבאים כדי לנקות את המשאבים שלך:
- כבה את אפליקציות Studio שלך עבור פרופיל המשתמש. לִרְאוֹת כבה ועדכן את SageMaker Studio ו-Studio Apps להנחיות. ודא שכל האפליקציות נמחקות לפני מחיקת הערימה.
- מחק את אמצעי האחסון של EFS שנוצר עבור תחום Studio. אתה יכול להציג את אמצעי האחסון של EFS המצורף לדומיין באמצעות א תאר דומיין שיחת API.
- מחק את ערימת הדומיין של Studio.
- מחק את קבוצות האבטחה שנוצרו עבור תחום Studio. אתה יכול למצוא אותם ב- ענן מחשוב אלסטי של אמזון קונסולת (Amazon EC2), עם השמות security-group-for-inbound-nfs-d-xxx ו-security-group-for-outbound-nfs-d-xxx
- מחק את ערימת הרשת.
סיכום
בפוסט זה, דנו בהגדרה ושימוש בערכי ברירת מחדל עבור פרמטרים מרכזיים של תשתית באמצעות SageMaker Python SDK. זה מאפשר למנהלי מערכת להגדיר תצורות ברירת מחדל עבור מדעני נתונים, ובכך לחסוך זמן למשתמשים ולמנהלים, לבטל את העומס של ציון פרמטרים חוזר ונשנה, וכתוצאה מכך קוד רזה יותר וניתן לניהול. לרשימה המלאה של פרמטרים וממשקי API נתמכים, ראה הגדרה ושימוש בברירות מחדל עם SageMaker Python SDK. לכל שאלה ודיון, הצטרף ל- קהילת למידת מכונה ובינה מלאכותית.
על הכותבים
ג'וזפה אנג'לו פורצ'לי הוא ארכיטקט פתרונות מומחה ללימוד מכונה ראשי עבור שירותי האינטרנט של אמזון. עם מספר שנים של הנדסת תוכנה על רקע ML, הוא עובד עם לקוחות בכל סדר גודל כדי להבין לעומק את הצרכים העסקיים והטכניים שלהם ולתכנן פתרונות בינה מלאכותית ו-Machine Learning שעושים את השימוש הטוב ביותר ב-AWS Cloud וב-Amazon Machine Learning. הוא עבד על פרויקטים בתחומים שונים, כולל MLOps, Computer Vision, NLP, וכללו מערך רחב של שירותי AWS. בזמנו הפנוי, ג'וזפה נהנה לשחק כדורגל.
ברונו פיסטון הוא אדריכל פתרונות AI/ML מומחה ל-AWS שבסיסו במילאנו. הוא עובד עם לקוחות בכל סדר גודל כדי לעזור להם להבין לעומק את הצרכים הטכניים שלהם ולתכנן פתרונות בינה מלאכותית ו-Machine Learning שעושים את השימוש הטוב ביותר ב-AWS Cloud וב-Amazon Machine Learning. תחום ההתמחות שלו הם Machine Learning מקצה לקצה, Machine Learning Industrialization ו-MLOps. הוא נהנה לבלות עם חבריו ולחקור מקומות חדשים, כמו גם לנסוע ליעדים חדשים.
דורגה סורי הוא אדריכל ML Solutions בצוות Amazon SageMaker Service SA. היא נלהבת להנגיש למידת מכונה לכולם. ב-4 השנים שלה ב-AWS, היא סייעה בהקמת פלטפורמות AI/ML עבור לקוחות ארגוניים. כשהיא לא עובדת, היא אוהבת רכיבה על אופנוע, רומנים מסתוריים וטיולים ארוכים עם האסקי בת ה-5 שלה.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoAiStream. Web3 Data Intelligence. הידע מוגבר. גישה כאן.
- הטבעת העתיד עם אדריאן אשלי. גישה כאן.
- קנה ומכירה של מניות בחברות PRE-IPO עם PREIPO®. גישה כאן.
- מקור: https://aws.amazon.com/blogs/machine-learning/configure-and-use-defaults-for-amazon-sagemaker-resources-with-the-sagemaker-python-sdk/
- :יש ל
- :הוא
- :לֹא
- :איפה
- $ למעלה
- 1
- 10
- 100
- 20
- 30
- 60
- 7
- 9
- a
- יכול
- אודות
- גישה
- נגיש
- חֶשְׁבּוֹן
- פעולות
- להוסיף
- תוספת
- נוסף
- כתובות
- מנהלים
- שוב
- AI
- AI / ML
- תעשיות
- מאפשר
- מאפשר
- כְּבָר
- גם
- למרות
- אמזון בעברית
- אמזון
- למידת מכונת אמזון
- אמזון SageMaker
- אמזון שירותי אינטרנט
- an
- ו
- כל
- API
- ממשקי API
- האפליקציה
- יישומית
- מתאים
- אפליקציות
- ARE
- AS
- At
- לצרף
- אוטומטי
- באופן אוטומטי
- לְהִמָנַע
- AWS
- AWS CloudFormation
- רקע
- מבוסס
- BE
- היה
- לפני
- ההתחלה
- הטוב ביותר
- גוּף
- שניהם
- רחב
- בִּניָן
- ניטל
- עסקים
- by
- שיחה
- שיחות
- CAN
- מקרה
- מקרים
- CD
- תאים
- בחרו
- לקוחות
- ענן
- קוד
- אוסף
- Common
- להשלים
- לחשב
- המחשב
- ראייה ממוחשבת
- מצב
- תְצוּרָה
- קונסול
- תוכן
- להמשיך
- לִשְׁלוֹט
- נשלט
- עלויות
- יכול
- לִיצוֹר
- נוצר
- יוצר
- יוצרים
- כיום
- מנהג
- לקוחות
- נתונים
- עיבוד נתונים
- מדען נתונים
- בְּרִירַת מֶחדָל
- מחדל
- להפגין
- תלוי
- לפרוס
- פרס
- פריסה
- פריסה
- עיצוב
- יעדים
- אחר
- נָדוֹן
- דיונים
- מציג
- לא
- תחום
- תחומים
- עשה
- לא
- מטה
- כל אחד
- בקלות
- הד
- או
- חיסול
- לאפשר
- מוצפן
- הצף
- סוף
- מקצה לקצה
- נקודת קצה
- לאכוף
- הנדסה
- לְהַבטִיחַ
- זן
- מִפְעָל
- סביבה
- סביבות
- שגיאות
- כולם
- דוגמה
- קיימים
- מצפה
- לְנַסוֹת
- מומחיות
- לחקור
- חוקר
- היכרות
- FAIL
- שקר
- מאפיין
- שדה
- שלח
- קבצים
- לממן
- לעקוב
- הבא
- כדלקמן
- כדורגל
- בעד
- פוּרמָט
- חופשי
- חברים
- החל מ-
- מלא
- פונקציות
- לקבל
- מקבל
- Git
- קבוצה
- יש
- יש
- he
- בריאות
- עזר
- עזרה
- לה
- שֶׁלוֹ
- עמוד הבית
- איך
- איך
- HTML
- http
- HTTPS
- ICON
- זהות
- if
- לייבא
- in
- כולל
- תעשיות
- תשתית
- קלט
- להתקין
- למשל
- הוראות
- מִמְשָׁק
- אינטרנט
- גישה לאינטרנט
- אל תוך
- מעורב
- IP
- כתובות IP
- בדידות
- IT
- שֶׁלָה
- עבודה
- מקומות תעסוקה
- להצטרף
- jpg
- מפתח
- מפתחות
- גָדוֹל
- למידה
- רמה
- סִפְרִיָה
- מעגל החיים
- כמו
- רשימה
- מקומי
- מיקום
- מקומות
- היכנס
- מחובר
- רישום
- ארוך
- נראה
- אוהב
- מכונה
- למידת מכונה
- לעשות
- עשייה
- ניהול
- באופן ידני
- מילאן
- ML
- MLOps
- מצב
- מודל
- מודלים
- יותר
- רוב
- אופנוע
- מספר
- תעלומה
- שם
- שמות
- ניווט
- צורך
- נחוץ
- צורך
- צרכי
- רשת
- רשתות
- חדש
- הבא
- NLP
- לא
- מחברה
- הודעה..
- וציין
- עַכשָׁיו
- אובייקט
- of
- on
- פעם
- ONE
- לפתוח
- קוד פתוח
- or
- OS
- אחר
- הַחוּצָה
- תפוקה
- לעקוף
- שֶׁלוֹ
- זגוגית
- פרמטר
- פרמטרים
- עבר
- חולף
- לוהט
- משלם
- מקומות
- פלטפורמות
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- משחק
- נקודה
- מדיניות
- הודעה
- תרגול
- קודם
- מנהל
- פְּרָטִי
- הרשאות
- תהליך
- מעבד
- פּרוֹפִיל
- פרופילים
- פרויקטים
- לספק
- ציבורי
- מכניס
- פיתון
- שאלות
- מָהִיר
- להמליץ
- נותר
- לזכור
- לבקש
- נדרש
- משאבים
- תגובה
- הגבלות
- וכתוצאה מכך
- תפקיד
- תפקידים
- הפעלה
- ריצה
- s
- SA
- בעל חכמים
- אותו
- שמור
- חסכת
- מַדְעָן
- מדענים
- Sdk
- סעיף
- אבטחה
- לִרְאוֹת
- שרות
- שירותים
- מושב
- סט
- הצבה
- התקנה
- כמה
- היא
- צריך
- לְהַצִיג
- ראווה
- הראה
- דומה
- פָּשׁוּט
- בפשטות
- מידה
- תוכנה
- הנדסת תוכנה
- פתרונות
- משהו
- מומחה
- ספציפי
- מפורט
- הוצאה
- לערום
- ערימות
- התחלה
- החל
- מצב
- שלב
- צעדים
- אחסון
- חנות
- מאוחסן
- סטודיו
- המשנה
- רשתות משנה
- לאחר מכן
- בהצלחה
- כזה
- נתמך
- תומך
- מערכת
- המשימות
- נבחרת
- טכני
- תבנית
- מסוף
- זֶה
- השמיים
- שֶׁלָהֶם
- אותם
- אז
- בכך
- אלה
- זֶה
- דרך
- בחוזקה
- זמן
- ל
- חלק עליון
- תְנוּעָה
- רכבת
- הדרכה
- תור
- פנייה
- תחת
- בְּסִיסִי
- להבין
- עדכון
- שדרוג
- נוֹהָג
- להשתמש
- במקרה להשתמש
- מְשׁוּמָשׁ
- משתמש
- משתמשים
- באמצעות
- ערך
- ערכים
- לאמת
- גרסה
- באמצעות
- לצפיה
- צפייה
- וירטואלי
- נראה
- חזון
- כֶּרֶך
- כרכים
- רוצה
- we
- אינטרנט
- שירותי אינטרנט
- טוֹב
- מתי
- יצטרך
- עם
- לְלֹא
- תיק עבודות
- עבד
- עובד
- עובד
- יאמל
- שנים
- אתה
- זפירנט