אספקת וניהול סביבות ML עם Amazon SageMaker Canvas באמצעות AWS CDK ו-AWS Service Catalog

ההתפשטות של למידת מכונה (ML) על פני מגוון רחב של מקרי שימוש הופכת נפוצה בכל תעשייה. עם זאת, זה עולה על הגידול במספר העוסקים ב-ML שבאופן מסורתי היו אחראים ליישום הפתרונות הטכניים הללו כדי לממש תוצאות עסקיות.

בארגון של ימינו, יש צורך בלמידת מכונה שתשמש את מתרגלי הלא-ML הבקיאים בנתונים, שהם הבסיס ל-ML. כדי להפוך זאת למציאות, הערך של ML מתממש ברחבי הארגון באמצעות פלטפורמות ML ללא קוד. פלטפורמות אלו מאפשרות לפרסונות שונות, למשל אנליסטים עסקיים, להשתמש ב-ML מבלי לכתוב שורת קוד אחת ולספק פתרונות לבעיות עסקיות בצורה מהירה, פשוטה ואינטואיטיבית. אמזון SageMaker Canvas הוא שירות חזותי של הצבע ולחיצה המאפשר לאנליסטים עסקיים להשתמש ב-ML כדי לפתור בעיות עסקיות על ידי יצירת תחזיות מדויקות בעצמם - מבלי לדרוש ניסיון ב-ML או צורך לכתוב שורת קוד אחת. Canvas הרחיבה את השימוש ב-ML בארגון עם ממשק אינטואיטיבי פשוט לשימוש המסייע לעסקים ליישם פתרונות במהירות.

למרות ש-Canvas אפשרה דמוקרטיזציה של ML, האתגר של אספקה ​​ופריסה של סביבות ML בצורה מאובטחת עדיין נותר בעינו. בדרך כלל, זו אחריותם של צוותי IT מרכזיים ברוב הארגונים הגדולים. בפוסט זה, אנו דנים כיצד צוותי IT יכולים לנהל, לספק ולנהל סביבות ML מאובטחות באמצעות אמזון SageMaker Canvas, ערכת פיתוח ענן AWS (AWS CDK) ו קטלוג השירות של AWS. הפוסט מציג מדריך שלב אחר שלב למנהלי IT להשיג זאת במהירות ובקנה מידה.

סקירה כללית של קטלוג השירותים של AWS CDK ו-AWS

AWS CDK הוא מסגרת פיתוח תוכנה בקוד פתוח להגדרת משאבי יישומי הענן שלך. הוא משתמש במוכרות ובכוח הביטוי של שפות תכנות ליצירת מודלים של היישומים שלך, תוך אספקת משאבים בצורה בטוחה וניתנת לחזרה.

קטלוג השירותים של AWS מאפשר לך לנהל באופן מרכזי שירותי IT פרוסים, יישומים, משאבים ומטא נתונים. עם קטלוג השירותים של AWS, אתה יכול ליצור, לשתף, לארגן ולנהל משאבי ענן עם תשתית כמו תבניות קוד (IaC) ולאפשר הקצאה מהירה ופשוטה.

סקירת פתרונות

אנו מאפשרים הקצאה של סביבות ML באמצעות Canvas בשלושה שלבים:

1. ראשית, אנו חולקים כיצד תוכל לנהל תיק משאבים הנחוץ לשימוש המאושר ב-Canvas באמצעות קטלוג השירותים של AWS.
2. לאחר מכן, אנו פורסים דוגמה של תיק קטלוג שירותים של AWS עבור Canvas באמצעות AWS CDK.
3. לבסוף, אנו מדגימים כיצד ניתן לספק סביבות Canvas לפי דרישה בתוך דקות.

תנאים מוקדמים

כדי לספק סביבות ML עם Canvas, AWS CDK ו-AWS Service Catalog, עליך לבצע את הפעולות הבאות:

1. קבל גישה לחשבון AWS שבו ייפרס תיק קטלוג השירותים. ודא שיש לך את האישורים וההרשאות לפרוס את ערימת AWS CDK בחשבון שלך. ה סדנת AWS CDK הוא משאב מועיל שאליו אתה יכול לפנות אם אתה זקוק לתמיכה.
2. אנו ממליצים לפעול לפי שיטות עבודה מומלצות מסוימות המודגשות באמצעות המושגים המפורטים במשאבים הבאים:
3. שיבוט מאגר GitHub זה לתוך הסביבה שלך.

אספקת סביבות ML מאושרות עם Amazon SageMaker Canvas באמצעות קטלוג השירותים של AWS

בתעשיות מוסדרות וברוב הארגונים הגדולים, אתה צריך לעמוד בדרישות המוטלות על ידי צוותי IT כדי לספק ולנהל סביבות ML. אלה עשויים לכלול רשת מאובטחת, פרטית, הצפנת נתונים, בקרות כדי לאפשר רק משתמשים מורשים ומאומתים כגון AWS זהות וניהול גישה (IAM) לגישה לפתרונות כגון Canvas, ורישום וניטור קפדניים למטרות ביקורת.

כמנהל IT, אתה יכול להשתמש בקטלוג השירותים של AWS כדי ליצור ולארגן סביבות ML מאובטחות הניתנות לשחזור עם SageMaker Canvas לתוך תיק מוצרים. זה מנוהל באמצעות בקרות IaC המוטמעות כדי לעמוד בדרישות שהוזכרו קודם לכן, וניתן לספק אותן לפי דרישה תוך דקות. אתה יכול גם לשמור על שליטה מי יכול לגשת לתיק זה כדי להשיק מוצרים.

התרשים הבא ממחיש ארכיטקטורה זו.

זרימה לדוגמה

בחלק זה, אנו מדגימים דוגמה של תיק קטלוג שירותים של AWS עם SageMaker Canvas. תיק העבודות מורכב מהיבטים שונים של סביבת Canvas שהם חלק מתיק השירותים:

• תחום סטודיו - Canvas הוא יישום שפועל בתוכו דומיינים של סטודיו. הדומיין מורכב מ- מערכת הקבצים של אמזון אלסטית נפח (Amazon EFS), רשימה של משתמשים מורשים, ומגוון של אבטחה, יישומים, מדיניות ו ענן וירטואלי פרטי של אמזון (VPC) תצורות. חשבון AWS מקושר לדומיין אחד לכל אזור.
• דלי אמזון S3 – לאחר יצירת תחום הסטודיו, א שירות אחסון פשוט של אמזון (Amazon S3) דלי מסופק עבור Canvas כדי לאפשר ייבוא ​​מערכי נתונים מקבצים מקומיים, המכונה גם העלאת קבצים מקומיים. דלי זה נמצא בחשבון הלקוח ומסופק פעם אחת.
• משתמש קנבס – SageMaker Canvas היא אפליקציה שבה אתה יכול להוסיף פרופילי משתמש בתוך תחום הסטודיו עבור כל משתמש Canvas, שיכול להמשיך לייבא מערכי נתונים, לבנות ולאמן מודלים של ML מבלי לכתוב קוד, ולהריץ תחזיות על המודל.
• כיבוי מתוכנן של הפעלות Canvas - משתמשי Canvas יכולים לצאת מממשק Canvas כאשר הם מסיימים עם המשימות שלהם. לחלופין, מנהלי מערכת יכולים לסגור הפעלות של Canvas מ קונסולת הניהול של AWS כחלק מניהול הפעלות Canvas. בחלק זה של תיק השירותים של AWS, an AWS למבדה פונקציה נוצר ומסודר כדי לכבות אוטומטית הפעלות של Canvas במרווחי זמן מוגדרים. זה עוזר לנהל הפעלות פתוחות ולכבות אותן כאשר אינן בשימוש.

ניתן למצוא זרימה לדוגמה זו ב- מאגר GitHub לעיון מהיר.

פרוס את הזרימה עם AWS CDK

בסעיף זה, אנו פורסים את הזרימה שתוארה קודם לכן באמצעות AWS CDK. לאחר הפריסה, תוכל גם לבצע מעקב אחר גרסאות ולנהל את תיק העבודות.

ניתן למצוא את ערימת הפורטפוליו ב app.py והמוצר נערם מתחת ל products/ תיקייה. אתה יכול לחזור על תפקידי IAM, שירות ניהול מפתח AWS (AWS KMS) מפתחות, והגדרת VPC ב- studio_constructs/ תיקייה. לפני פריסת המחסנית בחשבון שלך, תוכל לערוך את השורות הבאות app.py ולהעניק גישה לפורטפוליו לתפקיד IAM לבחירתך.

אתה יכול לנהל את הגישה לתיק העבודות עבור המשתמשים, הקבוצות והתפקידים הרלוונטיים של IAM. לִרְאוֹת הענקת גישה למשתמשים לקבלת פרטים נוספים.

פרוס את תיק ההשקעות בחשבון שלך

כעת אתה יכול להריץ את הפקודות הבאות כדי להתקין את AWS CDK ולוודא שיש לך את התלות הנכונות לפריסת תיק העבודות:

npm install -g aws-cdk@2.27.0
python3 -m venv .venv
source .venv/bin/activate
pip3 install -r requirements.txt

הפעל את הפקודות הבאות כדי לפרוס את תיק העבודות בחשבון שלך:

ACCOUNT_ID=$(aws sts get-caller-identity --query Account | tr -d '"')
AWS_REGION=$(aws configure get region)
cdk bootstrap aws://${ACCOUNT_ID}/${AWS_REGION}
cdk deploy --require-approval never

שתי הפקודות הראשונות מקבלים את מזהה החשבון שלך ואת האזור הנוכחי באמצעות ה ממשק שורת הפקודה של AWS (AWS CLI) במחשב שלך. בעקבות זה, cdk bootstrap ו cdk deploy לבנות נכסים באופן מקומי, ולפרוס את הערימה תוך מספר דקות.

כעת ניתן למצוא את תיק העבודות בקטלוג השירותים של AWS, כפי שמוצג בצילום המסך הבא.

הקצאה לפי דרישה

ניתן להשיק את המוצרים בפורטפוליו במהירות ובקלות לפי דרישה מה- הפרשות תפריט במסוף השירותים של AWS. זרימה טיפוסית היא להפעיל תחילה את תחום הסטודיו ואת הכיבוי האוטומטי של Canvas מכיוון שזו בדרך כלל פעולה חד פעמית. לאחר מכן תוכל להוסיף משתמשי Canvas לדומיין. מזהה הדומיין ותפקיד IAM של המשתמש ARN נשמרים מנהל מערכות AWS ומאוכלסים אוטומטית בפרמטרי המשתמש כפי שמוצג בצילום המסך הבא.

ניתן גם להשתמש בתגיות הקצאת עלויות המוצמדות לכל משתמש. לדוגמה, UserCostCenter הוא תג לדוגמה שבו אתה יכול להוסיף את השם של כל משתמש.

שיקולים מרכזיים לניהול סביבות ML באמצעות Canvas

כעת, לאחר שסיפקנו ופרסונו תיק קטלוג שירותים של AWS המתמקד ב-Canvas, ברצוננו להדגיש כמה שיקולים לשלוט בסביבות ML מבוססות-Canvas המתמקדות בדומיין ובפרופיל המשתמש.

להלן שיקולים בנוגע לתחום Studio:

• Networking for Canvas מנוהל ברמת הדומיין של Studio, כאשר הדומיין נפרס על תת-רשת VPC פרטית לקישוריות מאובטחת. לִרְאוֹת אבטחת קישוריות ל- Amazon SageMaker Studio באמצעות VPC פרטי ללמוד 'יותר.
• תפקיד ביצוע ברירת מחדל של IAM מוגדר ברמת התחום. תפקיד ברירת מחדל זה מוקצה לכל משתמשי Canvas בדומיין.
• ההצפנה מתבצעת באמצעות AWS KMS על ידי הצפנת נפח ה-EFS בדומיין. לפקדים נוספים, אתה יכול לציין מפתח מנוהל משלך, המכונה גם מפתח מנוהל על ידי לקוח (CMK). לִרְאוֹת הגן על נתונים במצב מנוחה באמצעות הצפנה ללמוד 'יותר.
• היכולת להעלות קבצים מהדיסק המקומי שלך נעשית על ידי צירוף מדיניות שיתוף משאבים חוצה מקור (CORS) לדלי S3 המשמש את Canvas. לִרְאוֹת תן למשתמשים שלך הרשאות להעלות קבצים מקומיים ללמוד 'יותר.

להלן שיקולים לגבי פרופיל המשתמש:

• אימות בסטודיו יכול להתבצע הן באמצעות כניסה יחידה (SSO) והן באמצעות IAM. אם יש לך ספק זהות קיים כדי לאגד משתמשים כדי לגשת למסוף, אתה יכול להקצות פרופיל משתמש של Studio לכל זהות מאוחדת באמצעות IAM. עיין בסעיף הקצאת המדיניות למשתמשי סטודיו in קביעת תצורה של אמזון SageMaker Studio עבור צוותים וקבוצות עם בידוד מלא של משאבים ללמוד 'יותר.
• ניתן להקצות תפקידי ביצוע של IAM לכל פרופיל משתמש. בזמן השימוש ב-Studio, משתמש מקבל על עצמו את התפקיד הממוף לפרופיל המשתמש שלו, אשר עוקף את תפקיד ברירת המחדל לביצוע. אתה יכול להשתמש בזה עבור בקרות גישה עדינות בתוך צוות.
• אתה יכול להשיג בידוד באמצעות בקרות גישה מבוססות תכונות (ABAC) כדי להבטיח שמשתמשים יוכלו לגשת רק למשאבים עבור הצוות שלהם. לִרְאוֹת קביעת תצורה של אמזון SageMaker Studio עבור צוותים וקבוצות עם בידוד מלא של משאבים ללמוד 'יותר.
• אתה יכול לבצע מעקב עלויות דק על ידי החלת תגיות הקצאת עלויות על פרופילי משתמשים.

לנקות את

על מנת לנקות את המשאבים שנוצרו על ידי ערימת ה-CDK של AWS למעלה, נווט אל דף הערימות של AWS CloudFormation ומחק את ערימות ה-Canvas. אתה יכול גם לרוץ cdk destroy מתוך תיקיית המאגר, לעשות את אותו הדבר.

סיכום

בפוסט זה שיתפנו כיצד ניתן לספק במהירות ובקלות סביבות ML עם Canvas באמצעות קטלוג השירותים של AWS ו-AWS CDK. דנו כיצד תוכל ליצור תיק עבודות בקטלוג השירותים של AWS, לספק את התיק ולפרוס אותו בחשבונך. מנהלי IT יכולים להשתמש בשיטה זו כדי לפרוס ולנהל משתמשים, הפעלות ועלויות נלוות תוך כדי הקצאת Canvas.

למידע נוסף על Canvas ב- דף מוצר ו מדריך למפתחים. לקריאה נוספת, תוכל ללמוד כיצד לעשות זאת אפשר לאנליסטים עסקיים לגשת ל- SageMaker Canvas באמצעות AWS SSO ללא המסוף. אתה יכול גם ללמוד איך אנליסטים עסקיים ומדעני נתונים יכולים לשתף פעולה מהר יותר באמצעות Canvas ו-Studio.

על הכותבים

דויד גליטלי הוא אדריכל פתרונות מומחה עבור AI/ML באזור EMEA. הוא מבוסס בבריסל ועובד בשיתוף פעולה הדוק עם לקוחות ברחבי בנלוקס. הוא מפתח מאז שהיה צעיר מאוד, התחיל לקוד בגיל 7. הוא התחיל ללמוד AI/ML באוניברסיטה, ומאז התאהב בזה.

סופיאן חמיטי הוא מומחה AI / ML לאדריכל פתרונות ב- AWS. הוא עוזר ללקוחות בענפים להאיץ את מסע ה- AI / ML שלהם בכך שהוא עוזר להם לבנות ולהפעיל פתרונות למידת מכונה מקצה לקצה.

שיאם סריניוואסן הוא מנהל מוצר ראשי בצוות AWS AI/ML, המוביל את ניהול המוצר עבור Amazon SageMaker Canvas. ל-Shyam אכפת להפוך את העולם למקום טוב יותר באמצעות טכנולוגיה ונלהבת מהאופן שבו AI ו-ML יכולים להיות זרז במסע הזה.

אבי פאטל עובד כמהנדס תוכנה בצוות אמזון SageMaker Canvas. הרקע שלו מורכב מעבודה מלאה עם מיקוד חזיתי. בזמנו הפנוי, הוא אוהב לתרום לפרויקטים של קוד פתוח במרחב הקריפטו וללמוד על פרוטוקולי DeFi חדשים.

ג'ארד הייווד הוא מנהל פיתוח עסקי בכיר ב-AWS. הוא מומחה AI/ML עולמי המסייע ללקוחות עם למידת מכונה ללא קוד. הוא עבד בתחום AutoML ב-5 השנים האחרונות והשיק מוצרים באמזון כמו Amazon SageMaker JumpStart ו-Amazon SageMaker Canvas.