ארגן פיתוח למידת מכונה באמצעות חללים משותפים ב-SageMaker Studio לשיתוף פעולה בזמן אמת

סטודיו SageMaker של אמזון היא סביבת הפיתוח המשולבת המלאה הראשונה (IDE) ללמידת מכונה (ML). הוא מספק ממשק חזותי יחיד מבוסס אינטרנט שבו אתה יכול לבצע את כל שלבי הפיתוח של ML, כולל הכנת נתונים ובנייה, הדרכה ופריסה של מודלים.

בתוך אמזון SageMaker Domain, משתמשים יכולים לספק יישום אישי של Amazon SageMaker Studio IDE, המריץ JupyterServer חינמי עם אינטגרציות מובנות כדי לבחון את אמזון SageMaker ניסויים, לתזמר צינורות SageMaker של אמזון, ועוד הרבה. משתמשים משלמים רק עבור המחשוב הגמיש על ליבות המחברת שלהם. יישומים אישיים אלה מעלים אוטומטית את הפרטי של המשתמש בהתאמה מערכת הקבצים של אמזון אלסטית ספריית הבית (Amazon EFS) כך שהם יכולים לשמור קוד, נתונים וקבצים אחרים מבודדים ממשתמשים אחרים. אמזון SageMaker Studio כבר תומך בשיתוף מחברות בין יישומים פרטיים, אבל המנגנון האסינכרוני יכול להאט את תהליך האיטרציה.

עכשיו עם חללים משותפים ב-Amazon SageMaker Studio, משתמשים יכולים לארגן מאמצים ויוזמות ML שיתופיות על ידי יצירת יישום IDE משותף שמשתמשים משתמשים בו עם פרופיל משתמש משלהם של Amazon SageMaker. עובדי נתונים המשתפים פעולה במרחב משותף מקבלים גישה לסביבת Amazon SageMaker Studio שבה הם יכולים לגשת, לקרוא, לערוך ולשתף את המחברות שלהם בזמן אמת, מה שנותן להם את הדרך המהירה ביותר להתחיל איטרציה עם עמיתיהם על רעיונות חדשים. עובדי נתונים יכולים אפילו לשתף פעולה על אותו מחברת במקביל תוך שימוש ביכולות שיתוף פעולה בזמן אמת. המחברת מציינת כל משתמש לעריכה משותפת עם סמן אחר המציג את שם פרופיל המשתמש שלו.

חללים משותפים ב-SageMaker Studio מתייגים משאבים באופן אוטומטי, כגון עבודות הדרכה, עבודות עיבוד, ניסויים, צינורות וערכים של רישום מודל שנוצרו בהיקף של סביבת עבודה עם ההתאמה שלהם. sagemaker:space-arn. החלל מסנן את המשאבים הללו בתוך ממשק המשתמש של Amazon SageMaker Studio (UI), כך שלמשתמשים יוצגו רק ניסויי SageMaker, צינורות ומשאבים אחרים הרלוונטיים למאמץ ה-ML שלהם.

סקירת פתרונות

מכיוון שמרחבים משותפים מתייגים משאבים אוטומטית, מנהלי מערכת יכולים לעקוב בקלות אחר עלויות הקשורות למאמץ ML ולתכנן תקציבים באמצעות כלים כגון תקציבי AWS ו סייר עלויות AWS. כמנהל תצטרך לצרף רק א תג הקצאת עלויות ל sagemaker:space-arn.

לאחר השלמתו, תוכל להשתמש ב-AWS Cost Explorer כדי לזהות כמה עולים פרויקטי ML בודדים לארגון שלך.

התחל עם חללים משותפים ב-Amazon SageMaker Studio

בחלק זה, ננתח את זרימת העבודה האופיינית ליצירה וניצול של חללים משותפים ב-Amazon SageMaker Studio.

צור מרחב משותף ב-Amazon SageMaker Studio

אתה יכול להשתמש בקונסולת אמזון SageMaker או ב- ממשק שורת הפקודה של AWS (AWS CLI) כדי להוסיף תמיכה ברווחים לדומיין קיים. לקבלת המידע העדכני ביותר, אנא בדוק צור מרחב משותף. מרחבים משותפים עובדים רק עם תמונת JupyterLab 3 SageMaker Studio ועבור SageMaker Domains באמצעות אימות AWS Identity and Access Management (AWS IAM).

יצירת קונסולות

כדי ליצור מרחב בתוך תחום ייעודי של אמזון SageMaker, תחילה תצטרך להגדיר תפקיד ביצוע ברירת מחדל של שטח ייעודי. מ ה פרטי דומיין בחר את הגדרות דומיין בחר ובחר ערוך. לאחר מכן תוכל להגדיר תפקיד ביצוע ברירת מחדל של שטח, שצריך להשלים רק פעם אחת בכל דומיין, כפי שמוצג בתרשים הבא:

בשלב הבא תוכל לעבור ל ניהול חלל הכרטיסייה בתוך הדומיין שלך ובחר את צור לחצן, כפי שמוצג בתרשים הבא:

יצירת AWS CLI

אתה יכול גם להגדיר תפקיד ברירת מחדל לביצוע שטח תחום מה-AWS CLI. על מנת לקבוע את ARN תמונת JupyterLab3 של האזור שלך, בדוק הגדרת גרסת ברירת מחדל של JupyterLab.

aws --region  
sagemaker update-domain 
--domain-id  
--default-space-settings "ExecutionRole="

לאחר השלמת הדבר עבור הדומיין שלך, תוכל ליצור מרחב משותף מה-CLI.

aws --region  
sagemaker create-space 
--domain-id  
--space-name  

השקת שטח משותף ב-Amazon SageMaker Studio

משתמשים יכולים להפעיל מרחב משותף על ידי בחירה ב- לשגר לחצן ליד פרופיל המשתמש שלהם בתוך קונסולת AWS עבור ה-Amazon SageMaker Domain שלהם.

לאחר בחירה רווחים תחת הקטע שיתופי, ולאחר מכן בחר איזה חלל לשגר:

לחלופין, משתמשים יכולים ליצור כתובת URL חתומה מראש כדי להפעיל שטח דרך AWS CLI:

aws sagemaker create-presigned-domain-url 
--region  
--domain-id  
--space-name  
--user-profile-name  

שיתוף פעולה בזמן אמת

לאחר טעינת ה-IDE של המרחב המשותף של Amazon SageMaker Studio, המשתמשים יכולים לבחור את משתפי פעולה הכרטיסייה בחלונית השמאלית כדי לראות אילו משתמשים עובדים באופן פעיל בחלל שלך ובאיזה מחברת. אם יותר מאדם אחד עובד על אותה מחברת, תראה סמן עם שם הפרופיל של המשתמש האחר במקום שבו הוא עורך:

בצילום המסך הבא, אתה יכול לראות את חוויות המשתמש השונות של מישהו שעורך ומציג את אותה מחברת:

סיכום

בפוסט זה הראינו לכם כיצד חללים משותפים ב-SageMaker Studio מוסיף חווית IDE שיתופית בזמן אמת לאמזון SageMaker Studio. תיוג אוטומטי עוזר למשתמשים לתחום ולסנן את משאבי Amazon SageMaker שלהם, הכוללים: ניסויים, צינורות וערכי רישום מודלים כדי למקסם את פרודוקטיביות המשתמש. בנוסף, מנהלי מערכת יכולים להשתמש בתגים שהוחלו אלה כדי לפקח על העלויות הקשורות לשטח נתון ולהגדיר תקציבים מתאימים באמצעות AWS Cost Explorer ו-AWS Budgets.

האץ את שיתוף הפעולה של הצוות שלך היום על ידי הגדרת חללים משותפים ב-Amazon SageMaker Studio עבור מאמצי למידת המכונה הספציפיים שלך!

על המחברים

שון מורגן הוא אדריכל פתרונות AI/ML ב-AWS. יש לו ניסיון בתחומי המוליכים למחצה והמחקר האקדמי, ומשתמש בניסיונו כדי לעזור ללקוחות להגיע ליעדים שלהם ב-AWS. בזמנו הפנוי, שון הוא תורם/מתחזק פעיל בקוד פתוח והוא מוביל קבוצות העניין המיוחדות עבור תוספות TensorFlow.

האן ג'אנג הוא מהנדס תוכנה בכיר בחברת Amazon Web Services. היא חלק מצוות ההשקה של Amazon SageMaker Notebooks ו-Amazon SageMaker Studio, והתמקדה בבניית סביבות למידת מכונה מאובטחות ללקוחות. בזמנה הפנוי, היא נהנית לטייל ולעשות סקי בצפון מערב האוקיינוס ​​השקט.

ארקפרבה דה הוא מהנדס תוכנה בכיר ב-AWS. הוא נמצא באמזון למעלה מ-7 שנים וכרגע הוא עובד על שיפור חווית Amazon SageMaker Studio IDE. אתה יכול למצוא אותו על לינקדין.

קונל ג'ה הוא מנהל מוצר בכיר ב-AWS. הוא מתמקד בבניית Amazon SageMaker Studio כ-IDE המועדף עבור כל שלבי הפיתוח של ML. בזמנו הפנוי, קונאל נהנה לעשות סקי ולחקור את צפון מערב האוקיינוס ​​השקט. אתה יכול למצוא אותו על לינקדין.