לקוחות מכל סדר גודל ותעשייה מחדשים ב-AWS על ידי החדרת למידת מכונה (ML) במוצרים ובשירותים שלהם. ההתפתחויות האחרונות בדגמי AI גנרטיביים האיצו עוד יותר את הצורך באימוץ ML בתעשיות. עם זאת, הטמעת בקרות אבטחה, פרטיות נתונים וממשל הם עדיין אתגרים מרכזיים העומדים בפני לקוחות בעת יישום עומסי עבודה של ML בקנה מידה גדול. התמודדות עם אתגרים אלו בונה את המסגרת והיסודות להפחתת סיכונים ושימוש אחראי במוצרים מונעי ML. למרות ש-AI גנרטיבי עשוי להזדקק לבקרות נוספות במקום, כגון הסרת רעילות ומניעת פריצת כלא והזיות, היא חולקת את אותם מרכיבי יסוד לאבטחה וממשל כמו ML מסורתי.
אנו שומעים מלקוחות שהם דורשים ידע מיוחד והשקעה של עד 12 חודשים כדי לבנות את ההתאמה האישית שלהם אמזון SageMaker הטמעת פלטפורמת ML כדי להבטיח סביבות ML ניתנות להרחבה, אמינות, מאובטחות ונשלטות עבור קווי העסקים שלהם (LOBs) או צוותי ML. אם חסרה לך מסגרת לניהול מחזור החיים של ML בקנה מידה גדול, אתה עלול להיתקל באתגרים כגון בידוד משאבים ברמת הצוות, קנה מידה של משאבי ניסוי, תפעול זרימות עבודה של ML, קנה מידה של ממשל מודל וניהול אבטחה ותאימות של עומסי עבודה של ML.
ניהול מחזור החיים של ML בקנה מידה הוא מסגרת שתעזור לך לבנות פלטפורמת ML עם בקרות אבטחה וממשל מוטמעות המבוססות על שיטות עבודה מומלצות בתעשייה וסטנדרטים ארגוניים. מסגרת זו נותנת מענה לאתגרים על ידי מתן הנחיות מרשם באמצעות גישת מסגרת מודולרית המרחיבה את המסגרת מגדל השליטה של AWS סביבת AWS מרובת חשבונות והגישה שנידונה בפוסט הגדרת סביבות למידת מכונה מאובטחות ומנוהלות היטב ב-AWS.
הוא מספק הנחיות מרשם לפונקציות הבאות של פלטפורמת ML:
- יסודות ריבוי חשבונות, אבטחה ורשתות - פונקציה זו משתמשת ב-AWS Control Tower ו עקרונות מתוכננים היטב להגדרה והפעלה של סביבת ריבוי חשבונות, שירותי אבטחה ורשת.
- קרנות נתונים וממשל – פונקציה זו משתמשת ב-a ארכיטקטורת רשת נתונים להגדרה ותפעול של אגם הנתונים, מאגר הפיצ'רים המרכזי ועקרונות ממשל הנתונים כדי לאפשר גישה עדינה לנתונים.
- שירותי ממשל ושיתוף פלטפורמת ML – פונקציה זו מאפשרת הגדרה והפעלה של שירותים נפוצים כגון CI/CD, קטלוג השירות של AWS עבור סביבות אספקה, ורישום מודלים מרכזי לקידום מודל ושושלת.
- סביבות צוות ML – פונקציה זו מאפשרת הגדרה ותפעול עבור צוותי ML לפיתוח מודלים, בדיקות ופריסה של מקרי השימוש שלהם להטמעת בקרות אבטחה וממשל.
- צפייה בפלטפורמת ML – פונקציה זו מסייעת בפתרון תקלות ובזיהוי שורש הבעיות במודלים של ML באמצעות ריכוז יומנים ומתן כלים להדמיה של ניתוח יומנים. הוא גם מספק הנחיות להפקת דוחות עלויות ושימוש עבור מקרי שימוש ב-ML.
למרות שמסגרת זו יכולה לספק יתרונות לכל הלקוחות, היא מועילה ביותר עבור לקוחות ארגונים גדולים, בוגרים, מוסדרים או גלובליים שרוצים להרחיב את אסטרטגיות ה-ML שלהם בגישה מבוקרת, תואמת ומתואמת ברחבי הארגון. זה עוזר לאפשר אימוץ ML תוך הפחתת סיכונים. מסגרת זו שימושית עבור הלקוחות הבאים:
- לקוחות ארגוניים גדולים שיש להם LOB או מחלקות רבות המעוניינות להשתמש ב-ML. מסגרת זו מאפשרת לצוותים שונים לבנות ולפרוס מודלים של ML באופן עצמאי תוך מתן ממשל מרכזי.
- לקוחות ארגוניים עם בשלות בינונית עד גבוהה ב-ML. הם כבר פרסו כמה מודלים ראשוניים של ML ומחפשים להרחיב את מאמצי ה-ML שלהם. מסגרת זו יכולה לסייע בהאצת אימוץ ML ברחבי הארגון. חברות אלה מכירות גם בצורך בממשל לניהול דברים כמו בקרת גישה, שימוש בנתונים, ביצועי מודל והטיה לא הוגנת.
- חברות בענפים מוסדרים כמו שירותים פיננסיים, בריאות, כימיה והמגזר הפרטי. חברות אלו זקוקות לממשל חזק ולשמיעה עבור כל מודל ML המשמש בתהליכים העסקיים שלהן. אימוץ מסגרת זו יכול לעזור להקל על תאימות ועדיין לאפשר פיתוח מודלים מקומיים.
- ארגונים גלובליים שצריכים לאזן בין שליטה ריכוזית למקומית. הגישה המאוחדת של מסגרת זו מאפשרת לצוות הנדסת הפלטפורמה המרכזי לקבוע מדיניות וסטנדרטים ברמה גבוהה, אך גם מעניקה לצוותי LOB גמישות להסתגל בהתאם לצרכים המקומיים.
בחלק הראשון של סדרה זו, אנו עוברים על ארכיטקטורת ההתייחסות להגדרת פלטפורמת ML. בפוסט מאוחר יותר, אנו נספק הדרכה תקינה כיצד ליישם את המודולים השונים בארכיטקטורת ההתייחסות בארגון שלך.
היכולות של פלטפורמת ML מקובצות לארבע קטגוריות, כפי שמוצג באיור הבא. יכולות אלו מהוות את הבסיס לארכיטקטורת ההתייחסות הנידונה בהמשך פוסט זה:
- בניית יסודות ML
- קנה מידה של פעולות ML
- ML ניתן לצפייה
- ML מאובטח
סקירת פתרונות
המסגרת לניהול מחזור החיים של ML בקנה מידה מסגרת מאפשרת לארגונים להטמיע בקרות אבטחה וממשל לאורך מחזור החיים של ML, שבתורם עוזרים לארגונים להפחית סיכונים ולהאיץ את החדרת ML למוצרים ולשירותים שלהם. המסגרת עוזרת לייעל את ההגדרה והניהול של סביבות ML מאובטחות, ניתנות להרחבה ואמינות שיכולות להתאים לתמיכה במספר הולך וגדל של מודלים ופרויקטים. המסגרת מאפשרת את התכונות הבאות:
- הקצאת חשבון ותשתית עם משאבי תשתית תואמים למדיניות הארגון
- פריסה בשירות עצמי של סביבות מדעי הנתונים ותבניות פעולות ML מקצה לקצה (MLOps) עבור מקרי שימוש ב-ML
- בידוד משאבים ברמת LOB או ברמת צוות לצורך תאימות לאבטחה ופרטיות
- גישה מבוקרת לנתונים בדרגת ייצור עבור ניסויים וזרימות עבודה מוכנות לייצור
- ניהול וממשל עבור מאגרי קוד, צינורות קוד, מודלים פרוסים ותכונות נתונים
- מודל רישום ומאגר תכונות (רכיבים מקומיים ומרכזיים) לשיפור הממשל
- בקרות אבטחה וממשל עבור תהליך הפיתוח והפריסה של מודל מקצה לקצה
בסעיף זה, אנו מספקים סקירה כללית של הנחיות מרשם שיעזרו לך לבנות פלטפורמת ML זו ב-AWS עם בקרות אבטחה וממשל משובצות.
הארכיטקטורה הפונקציונלית הקשורה לפלטפורמת ML מוצגת בתרשים הבא. הארכיטקטורה ממפה את היכולות השונות של פלטפורמת ה-ML לחשבונות AWS.
הארכיטקטורה הפונקציונלית עם יכולות שונות מיושמת באמצעות מספר שירותי AWS, כולל ארגוני AWS, SageMaker, שירותי AWS DevOps ואגם נתונים. ארכיטקטורת ההתייחסות לפלטפורמת ML עם שירותי AWS שונים מוצגת בתרשים הבא.
מסגרת זו לוקחת בחשבון מספר פרסונות ושירותים כדי לשלוט במחזור החיים של ML בקנה מידה. אנו ממליצים על הצעדים הבאים לארגון הצוותים והשירותים שלך:
- באמצעות מגדל הבקרה של AWS וכלי אוטומציה, מנהל הענן שלך מגדיר את היסודות של ריבוי חשבונות כגון ארגונים ו AWS IAM Identity Center (יורש של AWS Single Sign-On) ושירותי אבטחה וממשל כגון שירות ניהול מפתח AWS (AWS KMS) וקטלוג שירותים. בנוסף, מנהל המערכת מגדיר מגוון של יחידות ארגוניות (OUs) וחשבונות ראשוניים כדי לתמוך בתהליכי העבודה שלך ב-ML ובניתוח.
- מנהלי אגם נתונים מגדירים את אגם הנתונים ואת קטלוג הנתונים שלך, ומגדירים את מאגר התכונות המרכזי בעבודה עם מנהל פלטפורמת ML.
- מנהל פלטפורמת ML מספק שירותים משותפים של ML כגון AWS CodeCommit, קוד צינור AWS, מרשם מיכל אלסטי של אמזון (Amazon ECR), רישום מודלים מרכזי, כרטיסי דגם SageMaker, לוח מחוונים דגם SageMaker, ומוצרי קטלוג שירותים עבור צוותי ML.
- צוות ה-ML מוביל איחודים באמצעות IAM Identity Center, משתמש במוצרי קטלוג השירותים ומספק משאבים בסביבת הפיתוח של צוות ה-ML.
- מדעני נתונים מצוותי ML ביחידות עסקיות שונות מתאחדים לתוך סביבת הפיתוח של הצוות שלהם כדי לבנות את צינור המודל.
- מדעני נתונים מחפשים ושולפים תכונות מקטלוג חנות התכונות המרכזיות, בונים מודלים באמצעות ניסויים ובוחרים את הדגם הטוב ביותר לקידום.
- מדעני נתונים יוצרים ומשתפים תכונות חדשות בקטלוג חנות התכונות המרכזית לשימוש חוזר.
- מהנדס ML פורס את צינור המודל לתוך סביבת הבדיקה של צוות ML תוך שימוש בתהליך CI/CD של שירותים משותפים.
- לאחר אימות מחזיקי העניין, מודל ה-ML נפרס בסביבת הייצור של הצוות.
- בקרות אבטחה וממשל מוטמעות בכל שכבה של ארכיטקטורה זו באמצעות שירותים כגון רכזת אבטחה של AWS, משמר אמזון, אמזון מאקי, ועוד.
- בקרות האבטחה מנוהלות באופן מרכזי מחשבון כלי האבטחה באמצעות Security Hub.
- יכולות ממשל של פלטפורמת ML כגון SageMaker Model Cards ו- SageMaker Model Dashboard מנוהלות באופן מרכזי מחשבון שירותי הממשל.
- אמזון CloudWatch ו AWS CloudTrail יומנים מכל חשבון חבר הופכים נגישים באופן מרכזי מחשבון צפייה באמצעות שירותי AWS מקוריים.
לאחר מכן, אנו צוללים עמוק לתוך המודולים של ארכיטקטורת ההתייחסות עבור מסגרת זו.
מודולי ארכיטקטורת התייחסות
ארכיטקטורת ההתייחסות כוללת שמונה מודולים, שכל אחד מהם נועד לפתור מערכת ספציפית של בעיות. ביחד, מודולים אלה מתייחסים לממשל על פני מימדים שונים, כגון תשתית, נתונים, מודל ועלות. כל מודול מציע קבוצה נפרדת של פונקציות ומשתף פעולה עם מודולים אחרים כדי לספק פלטפורמת ML משולבת מקצה לקצה עם בקרות אבטחה וממשל משובצות. בחלק זה, אנו מציגים סיכום קצר של היכולות של כל מודול.
קרנות מרובות חשבונות
מודול זה עוזר למנהלי ענן לבנות א אזור הנחיתה של מגדל הבקרה של AWS כמסגרת יסוד. זה כולל בניית מבנה ריבוי חשבונות, אימות והרשאה באמצעות IAM Identity Center, עיצוב רכזת רשת, שירותי רישום מרכזיים וחשבונות חברים חדשים ב-AWS עם קווי אבטחה וממשל סטנדרטיים.
בנוסף, מודול זה נותן הנחיות שיטות עבודה מומלצות לגבי מבני OU ומבני חשבונות המתאימים לתמיכה בתהליכי העבודה שלך ב-ML ובניתוח. מנהלי ענן יבינו את מטרת החשבונות וה-OUs הנדרשים, כיצד לפרוס אותם, ושירותי אבטחה ותאימות מרכזיים שבהם עליהם להשתמש כדי לשלוט באופן מרכזי בעומסי העבודה של ה-ML והניתוח שלהם.
מכוסה גם מסגרת למכירת חשבונות חדשים, המשתמשת באוטומציה ליצירת בסיס חשבונות חדשים כשהם מסופקים. על ידי קביעת תהליך הקצאת חשבון אוטומטי, מנהלי ענן יכולים לספק לצוותי ML ואנליטיקס את החשבונות הדרושים להם כדי לבצע את עבודתם במהירות רבה יותר, מבלי להקריב על בסיס חזק לניהול.
יסודות אגם נתונים
מודול זה עוזר למנהלי אגם נתונים להגדיר אגם נתונים כדי להטמיע נתונים, לאצור מערכי נתונים ולהשתמש ב- תצורת אגם AWS מודל ממשל לניהול גישה מפורטת לנתונים בין חשבונות ומשתמשים באמצעות קטלוג נתונים מרכזי, מדיניות גישה לנתונים ובקרות גישה מבוססות תגים. אתה יכול להתחיל בקטן עם חשבון אחד ליסודות פלטפורמת הנתונים שלך עבור הוכחת רעיון או כמה עומסי עבודה קטנים. ליישום עומס ייצור בקנה מידה בינוני עד גדול, אנו ממליצים לאמץ אסטרטגיה מרובת חשבונות. במסגרת כזו, LOBs יכולים לקבל את התפקיד של יצרני נתונים וצרכני נתונים המשתמשים בחשבונות AWS שונים, וניהול אגם הנתונים מופעל מחשבון AWS משותף מרכזי. מפיק הנתונים אוסף, מעבד ומאחסן נתונים מתחום הנתונים שלו, בנוסף לניטור והבטחת איכות נכסי הנתונים שלו. צרכני נתונים צורכים את הנתונים ממפיק הנתונים לאחר שהקטלוג הריכוזי משתף אותם באמצעות Lake Formation. הקטלוג המרוכז מאחסן ומנהל את קטלוג הנתונים המשותף עבור חשבונות יצרני הנתונים.
שירותי פלטפורמת ML
מודול זה עוזר לצוות ההנדסה של פלטפורמת ML להגדיר שירותים משותפים המשמשים את צוותי מדעי הנתונים בחשבונות הצוות שלהם. השירותים כוללים תיק קטלוג שירותים עם מוצרים עבור תחום SageMaker פְּרִיסָה, פרופיל משתמש בדומיין SageMaker פריסה, תבניות מודלים של מדעי הנתונים לבניית מודלים ופריסה. למודול זה יש פונקציונליות עבור רישום מודלים מרכזי, כרטיסי דגם, לוח מחוונים של דגמים וצינורות CI/CD המשמשים לתזמור ואוטומציה של תהליכי עבודה של פיתוח ופריסה של מודלים.
בנוסף, מודול זה מפרט כיצד ליישם את הבקרות והממשל הנדרשים כדי לאפשר יכולות שירות עצמי המבוססות על אישיות, מה שמאפשר לצוותי מדעי הנתונים לפרוס באופן עצמאי את תשתית הענן הנדרשת ותבניות ML.
פיתוח מקרה שימוש ב-ML
מודול זה עוזר ל-LOBs ולמדעני נתונים לגשת לדומיין SageMaker של הצוות שלהם בסביבת פיתוח וליצור תבנית בניית מודל לפיתוח המודלים שלהם. במודול זה, מדעני נתונים עובדים על מופע חשבון מפתח של התבנית כדי ליצור אינטראקציה עם הנתונים הזמינים באגם הנתונים המרכזי, לעשות שימוש חוזר ולשתף תכונות מחנות תכונות מרכזית, ליצור ולהריץ ניסויי ML, לבנות ולבדוק את זרימות העבודה שלהם ב-ML, ולרשום את המודלים שלהם לרישום מודלים של חשבון מפתח בסביבות הפיתוח שלהם.
יכולות כמו מעקב אחר ניסויים, דוחות הסבר מודלים, ניטור הטיית נתונים ומודלים ורישום מודלים מיושמות גם בתבניות, המאפשרות התאמה מהירה של הפתרונות למודלים שפותחו על ידי מדעני הנתונים.
פעולות ML
מודול זה עוזר ל-LOBs ומהנדסי ML לעבוד על מופעי הפיתוח שלהם של תבנית פריסת המודל. לאחר רישום ואישור המודל המועמד, הם מקימים צינורות CI/CD ומריצים זרימות עבודה של ML בסביבת הבדיקה של הצוות, אשר רושם את המודל לרישום המודל המרכזי הפועל בחשבון שירותים משותפים של פלטפורמה. כאשר מודל מאושר במרשם המודלים המרכזי, הדבר מפעיל צינור CI/CD לפריסת המודל בסביבת הייצור של הצוות.
חנות תכונות מרכזית
לאחר פריסת הדגמים הראשונים לייצור ומקרי שימוש מרובים מתחילים לשתף תכונות שנוצרו מאותם נתונים, מאגר תכונות הופך להיות חיוני כדי להבטיח שיתוף פעולה בין מקרי שימוש ולהפחית עבודה כפולה. מודול זה עוזר לצוות ההנדסה של פלטפורמת ML להקים חנות תכונות מרכזית כדי לספק אחסון וניהול עבור תכונות ML שנוצרו על ידי מקרי השימוש ב-ML, מה שמאפשר שימוש חוזר בתכונות בפרוייקטים.
רישום וצפייה
מודול זה עוזר ל-LOBs ולעוסקים ב-ML לקבל נראות לגבי מצב עומסי העבודה של ML בסביבות ML באמצעות ריכוז פעילות יומן כגון CloudTrail, CloudWatch, יומני זרימת VPC ויומני עומסי עבודה של ML. צוותים יכולים לסנן, לבצע שאילתות ולהמחיש יומנים לצורך ניתוח, מה שיכול לעזור גם לשפר את עמדת האבטחה.
עלות ודיווח
מודול זה עוזר לבעלי עניין שונים (מנהל ענן, מנהל פלטפורמה, משרד ענן עסקי) להפיק דוחות ולוחות מחוונים כדי לפרק עלויות ברמת משתמשי ML, צוות ML ומוצרי ML, ולעקוב אחר השימוש כגון מספר משתמשים, סוגי מופעים ו נקודות קצה.
לקוחות ביקשו מאיתנו לספק הנחיות לגבי כמה חשבונות ליצור וכיצד לבנות את החשבונות האלה. בסעיף הבא, אנו מספקים הנחיות לגבי מבנה החשבון הזה כהתייחסות שתוכל לשנות כדי להתאים לצרכים שלך בהתאם לדרישות הממשל הארגוני שלך.
בסעיף זה, אנו דנים בהמלצה שלנו לארגון מבנה החשבון שלך. אנו חולקים מבנה בסיס של חשבון התייחסות; עם זאת, אנו ממליצים למנהלי ML ו-Data לעבוד בשיתוף פעולה הדוק עם מנהל הענן שלהם כדי להתאים אישית את מבנה החשבון הזה בהתבסס על בקרות הארגון שלהם.
אנו ממליצים לארגן חשבונות לפי OU עבור אבטחה, תשתית, עומסי עבודה ופריסה. יתרה מזאת, בתוך כל OU, התארגנו לפי OU לא ייצור וייצור מכיוון שלחשבונות ועומסי העבודה הפרוסים תחתיהם יש בקרות שונות. לאחר מכן, נדון בקצרה בארגונים הארגוניים הללו.
אבטחה OU
החשבונות ב-OU זה מנוהלים על ידי מנהל הענן או צוות האבטחה של הארגון לניטור, זיהוי, הגנה, זיהוי ותגובה לאירועי אבטחה.
OU תשתית
החשבונות ב-OU זה מנוהלים על ידי מנהל הענן או צוות הרשת של הארגון לניהול משאבים ורשתות משותפים של תשתית ברמת הארגון.
אנו ממליצים להחזיק את החשבונות הבאים תחת ה-OU של תשתית:
- רשת – הגדר תשתית רשת מרכזית כגון AWS Transit Gateway
- שירותים משותפים – הגדר שירותי AD מרכזי ונקודות קצה VPC
עומסי עבודה OU
החשבונות ב-OU זה מנוהלים על ידי מנהלי צוות הפלטפורמה של הארגון. אם אתה זקוק לפקדים שונים המיושמים עבור כל צוות פלטפורמה, אתה יכול לקנן רמות אחרות של OU למטרה זו, כגון OU של עומסי עבודה של ML, OU של עומסי נתונים וכן הלאה.
אנו ממליצים על החשבונות הבאים תחת ה-OU של עומסי העבודה:
- חשבונות פיתוח, בדיקה ופרודוקציה של ML ברמת הצוות - הגדר זאת על סמך דרישות בידוד עומס העבודה שלך
- חשבונות Data Lake - חלוקת חשבונות לפי תחום הנתונים שלך
- חשבון ממשל נתונים מרכזי - רכז את מדיניות הגישה לנתונים שלך
- חשבון חנות תכונה מרכזית - רכז תכונות לשיתוף בין צוותים
פריסות OU
החשבונות ב-OU זה מנוהלים על ידי מנהלי צוות הפלטפורמה של הארגון לצורך פריסת עומסי עבודה וצפייה.
אנו ממליצים על החשבונות הבאים במסגרת ה-OU של פריסות מכיוון שצוות פלטפורמת ה-ML יכול להגדיר קבוצות שונות של בקרות ברמת ה-OU הזו כדי לנהל ולנהל פריסות:
- שירותים משותפים של ML אחראים לבדיקה ופרוד - מארח פלטפורמת שירותים משותפים CI/CD ורישום מודלים
- צפיות ML אחראית לבדיקה ותפוקה - מארח יומני CloudWatch, יומני CloudTrail ויומנים אחרים לפי הצורך
לאחר מכן, נדון בקצרה בבקרות הארגון שיש לשקול להטמעה בחשבונות חברים לצורך ניטור משאבי התשתית.
בקרות סביבת AWS
בקרה היא כלל ברמה גבוהה המספק ניהול שוטף עבור סביבת ה-AWS הכוללת שלך. זה מתבטא בשפה פשוטה. במסגרת זו, אנו משתמשים ב-AWS Control Tower כדי ליישם את הבקרות הבאות שעוזרות לך לשלוט במשאבים שלך ולנטר תאימות בין קבוצות של חשבונות AWS:
- בקרות מניעה - בקרה מונעת מבטיחה שהחשבונות שלך שומרים על תאימות מכיוון שהיא אוסרת פעולות שמובילות להפרות מדיניות ומיושמות באמצעות מדיניות בקרת שירות (SCP). לדוגמה, אתה יכול להגדיר בקרה מונעת שתבטיח ש-CloudTrail לא יימחק או ייעצר בחשבונות AWS או באזורים.
- בקרות בילוש - בקרת בילוש מזהה אי ציות של משאבים בחשבונות שלך, כגון הפרות מדיניות, מספקת התראות דרך לוח המחוונים, ומיושמת באמצעות תצורת AWS כללים. לדוגמה, אתה יכול ליצור פקד בילוש כדי לזהות אם גישת קריאה ציבורית מופעלת ל- שירות אחסון פשוט של אמזון (Amazon S3) דליים בחשבון המשותף של ארכיון היומן.
- בקרות יזומות - בקרה יזומה סורקת את המשאבים שלך לפני הקצאתם ומוודאת שהמשאבים תואמים לבקרה זו ומיושמים באמצעות AWS CloudFormation ווים. משאבים שאינם תואמים לא יסופקו. לדוגמה, אתה יכול להגדיר בקרה יזומה שבודקת שאסור גישה ישירה לאינטרנט עבור מופע מחברת SageMaker.
אינטראקציות בין שירותי פלטפורמת ML, מקרי שימוש ב-ML ופעולות ML
פרסונות שונות, כגון ראש מדעי הנתונים (מדען נתונים מוביל), מדען נתונים ומהנדס ML, מפעילים מודולים 2-6 כפי שמוצג בתרשים הבא עבור שלבים שונים של שירותי פלטפורמת ML, פיתוח מקרה שימוש ב-ML ופעולות ML יחד עם יסודות אגם נתונים ומאגר התכונות המרכזי.
הטבלה הבאה מסכמת את פעילות זרימת המבצעים ואת שלבי זרימת ההגדרה עבור פרסונות שונות. ברגע שפרסונה יוזמת פעילות ML כחלק מזרימת פעולות, השירותים פועלים כאמור בשלבי זרימת ההגדרה.
אישיות | פעילות זרימת פעולות - מספר | פעילות זרימת פעולות - תיאור | שלב זרימת ההתקנה - מספר | שלב ההתקנה - תיאור |
Lead Data Science או ML Team Leader |
1 |
משתמש בקטלוג השירותים בחשבון שירותי פלטפורמת ML ופורס את הפריטים הבאים:
|
1- |
|
1-B |
|
|||
מדען נתונים |
2 |
עורך ועוקב אחר ניסויי ML במחברות SageMaker |
2- |
|
3 |
אוטומציה של ניסויי ML מוצלחים עם פרויקטים וצינורות של SageMaker |
3- |
|
|
3-B |
לאחר הפעלת הצינורות של SageMaker, שומר את המודל ברישום המודל המקומי (dev). | |||
מדען נתונים מוביל או ראש צוות ML |
4 |
מאשר את המודל ברישום המודל המקומי (dev). |
4- |
מטא נתונים של מודל וחבילת מודל כותבים ממרשם המודלים המקומי (dev) לרישום המודלים המרכזי |
5 |
מאשר את המודל ברישום המודלים המרכזי |
5- |
יוזם את תהליך הפריסה CI/CD ליצירת נקודות קצה של SageMaker בסביבת הבדיקה | |
5-B |
כותב את המידע והמטא נתונים של המודל למודול הניהול של ML (כרטיס דגם, לוח מחוונים של מודל) בחשבון שירותי פלטפורמת ML מהחשבון המקומי (dev) | |||
מהנדס ML |
6 |
בודק ומנטר את נקודת הקצה של SageMaker בסביבת הבדיקה לאחר CI/CD | . | |
7 |
מאשרת פריסה עבור נקודות קצה של SageMaker בסביבת פרוד |
7- |
יוזם את תהליך הפריסה CI/CD ליצירת נקודות קצה של SageMaker בסביבת ה-prod | |
8 |
בודק ומנטר את נקודת הקצה של SageMaker בסביבת הבדיקה לאחר CI/CD | . |
פרסונות ואינטראקציות עם מודולים שונים של פלטפורמת ה-ML
כל מודול נותן מענה לפרסונות יעד מסוימות בתוך חטיבות ספציפיות המשתמשות במודול לרוב, ומעניק להן גישה ראשית. לאחר מכן מותרת גישה משנית לחטיבות אחרות הדורשות שימוש מזדמן במודולים. המודולים מותאמים לצרכים של תפקידי עבודה או פרסונות מסוימים כדי לייעל את הפונקציונליות.
אנו דנים בצוותים הבאים:
- הנדסת ענן מרכזית - צוות זה פועל ברמת הענן הארגוני על פני כל עומסי העבודה להגדרת שירותי תשתית ענן נפוצים, כגון הגדרת רשתות ברמת הארגון, זהות, הרשאות וניהול חשבונות
- הנדסת פלטפורמת נתונים - צוות זה מנהל אגמי נתונים ארגוניים, איסוף נתונים, איסוף נתונים וניהול נתונים
- הנדסת פלטפורמת ML - צוות זה פועל ברמת פלטפורמת ML ברחבי LOBs כדי לספק שירותי תשתית ML משותפים כגון אספקת תשתית ML, מעקב אחר ניסויים, ניהול מודלים, פריסה וצפייה
הטבלה הבאה מפרטת לאילו חטיבות יש גישה ראשית ומשנית לכל מודול בהתאם לפרסונות היעד של המודול.
מספר מודול | מודולים | גישה ראשית | גישה משנית | פרסונות יעד | מספר חשבונות |
1 |
קרנות מרובות חשבונות | הנדסת ענן מרכזית | LOBs בודדים |
|
מעטים |
2 |
יסודות אגם נתונים | הנדסת ענן מרכזי או פלטפורמת נתונים | LOBs בודדים |
|
מְרוּבֶּה |
3 |
שירותי פלטפורמת ML | הנדסת פלטפורמת ענן מרכזית או ML | LOBs בודדים |
|
אחת |
4 |
פיתוח מקרה שימוש ב-ML | LOBs בודדים | הנדסת פלטפורמת ענן מרכזית או ML |
|
מְרוּבֶּה |
5 |
פעולות ML | הנדסת ענן מרכזי או ML | LOBs בודדים |
|
מְרוּבֶּה |
6 |
חנות תכונות מרכזית | ענן מרכזי או הנדסת נתונים | LOBs בודדים |
|
אחת |
7 |
רישום וצפייה | הנדסת ענן מרכזית | LOBs בודדים |
|
אחת |
8 |
עלות ודיווח | LOBs בודדים | הנדסת פלטפורמה מרכזית |
|
אחת |
סיכום
בפוסט זה, הצגנו מסגרת לניהול מחזור החיים של ML בקנה מידה המסייע לך ליישם עומסי עבודה של ML עם ארכיטקטורה המטביעה בקרות אבטחה וממשל. דנו כיצד מסגרת זו נוקטת בגישה הוליסטית לבניית פלטפורמת ML בהתחשב בממשל נתונים, ממשל מודלים ובקרות ברמת הארגון. אנו ממליצים לך להתנסות עם המסגרת והמושגים שהוצגו בפוסט זה ולשתף את המשוב שלך.
על המחברים
רם ויטל הוא אדריכל ראשי ML Solutions ב-AWS. יש לו למעלה מ-3 עשורים של ניסיון באדריכלות ובניית יישומים מבוזרים, היברידיים וענן. הוא נלהב בבניית פתרונות AI/ML וביג דאטה מאובטחים, ניתנים להרחבה, אמינים כדי לעזור ללקוחות ארגוניים באימוץ הענן ובמסע האופטימיזציה שלהם כדי לשפר את התוצאות העסקיות שלהם. בזמנו הפנוי, הוא רוכב על אופנוע והולך עם הכבשה שלו בת השלוש!
סוביק קומאר נאת הוא ארכיטקט פתרונות AI/ML עם AWS. יש לו ניסיון רב בתכנון פתרונות למידת מכונה וניתוחים עסקיים מקצה לקצה בפיננסים, תפעול, שיווק, בריאות, ניהול שרשרת אספקה ו-IoT. Sovik פרסם מאמרים ומחזיק בפטנט בניטור מודל ML. יש לו תואר שני כפול מאוניברסיטת דרום פלורידה, אוניברסיטת פריבורג, שוויץ, ותואר ראשון מהמכון ההודי לטכנולוגיה, חראגפור. מחוץ לעבודה, סוביק נהנה לטייל, לנסוע במעבורת ולצפות בסרטים.
מאירה לדירה טנקה הוא מומחה נתונים בכיר ב-AWS. כמובילה טכנית, היא עוזרת ללקוחות להאיץ את השגת הערך העסקי שלהם באמצעות טכנולוגיה מתפתחת ופתרונות חדשניים. מאירה עובדת ב-AWS מאז ינואר 2020. לפני כן, היא עבדה כמדענית נתונים במספר תעשיות תוך התמקדות בהשגת ערך עסקי מדאטה. בזמנה הפנוי, מאירה נהנית לטייל ולבלות עם משפחתה במקום חמים.
ריאן למפקה הוא אדריכל פתרונות בכיר בחברת Amazon Web Services, שם הוא עוזר ללקוחותיו לעבוד לאחור מיעדים עסקיים כדי לפתח פתרונות ב-AWS. יש לו ניסיון מעמיק באסטרטגיה עסקית, ניהול מערכות IT ומדעי הנתונים. ריאן מסור להיות לומד לכל החיים, ונהנה לאתגר את עצמו כל יום ללמוד משהו חדש.
סריהרש אדרי הוא ארכיטקט פתרונות בכיר בחברת Amazon Web Services (AWS), שם הוא עוזר ללקוחות לעבוד לאחור מהתוצאות העסקיות כדי לפתח פתרונות חדשניים ב-AWS. במהלך השנים, הוא עזר ללקוחות רבים בטרנספורמציות של פלטפורמת נתונים על פני ענפי התעשייה. תחום הליבה שלו כולל אסטרטגיה טכנולוגית, ניתוח נתונים ומדעי נתונים. בזמנו הפנוי הוא נהנה לשחק ספורט, לצפות בתוכניות טלוויזיה ולשחק בטאבלה.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- מקור: https://aws.amazon.com/blogs/machine-learning/governing-the-ml-lifecycle-at-scale-part-1-a-framework-for-architecting-ml-workloads-using-amazon-sagemaker/
- :יש ל
- :הוא
- :לֹא
- :איפה
- $ למעלה
- 1
- 10
- 100
- 12
- 12 חודשים
- 2020
- 28
- 7
- 8
- 971
- a
- אודות
- להאיץ
- גישה
- נגיש
- פי
- חֶשְׁבּוֹן
- חשבונות
- הישג
- השגתי
- לרוחב
- פעולות
- פעילות
- Ad
- להסתגל
- הסתגלות
- תוספת
- נוסף
- כתובת
- כתובות
- פְּנִיָה
- מנהל
- מנהלים
- אימוץ
- אימוץ
- לאחר
- AI
- דגמי AI
- AI / ML
- התראות
- תעשיות
- מותר
- מאפשר
- מאפשר
- לאורך
- כְּבָר
- גם
- למרות
- אמזון בעברית
- אמזון SageMaker
- אמזון שירותי אינטרנט
- אמזון שירותי אינטרנט (AWS)
- an
- אנליזה
- ניתוח
- ו
- תשתיות
- כל
- יישומים
- גישה
- מתאים
- מאושר
- ארכיטקטורה
- ארכיון
- ARE
- AREA
- מאמרים
- AS
- נכסים
- המשויך
- לְהַנִיחַ
- At
- אימות
- אישור
- אוטומטי
- אוטומטי
- אוטומציה
- זמין
- AWS
- איזון
- מבוסס
- Baseline
- BE
- כי
- הופך להיות
- היה
- לפני
- להיות
- מועיל
- הטבות
- הטוב ביותר
- שיטות עבודה מומלצות
- בֵּין
- הטיה
- גָדוֹל
- נתונים גדולים
- לשבור
- בקצרה
- לִבנוֹת
- בִּניָן
- בונה
- עסקים
- אסטרטגיה עסקית
- אבל
- by
- CAN
- מועמד
- יכולות
- כרטיס
- כרטיסים
- מקרה
- מקרים
- קטלוג
- קטגוריות
- מספקת
- לגרום
- מרכז
- מֶרכָּזִי
- ריכוזיות
- מְרוּכָּז
- שרשרת
- האתגרים
- אתגר
- בדיקות
- כימיה
- מקרוב
- ענן
- אימוץ ענן
- תשתית ענן
- קוד
- שיתוף פעולה
- אוסף
- יַחַד
- Common
- חברות
- הענות
- תואם
- רכיבים
- כולל
- מושג
- מושגים
- נחשב
- בהתחשב
- רואה
- לצרוך
- צרכנים
- מכולה
- לִשְׁלוֹט
- מגדל פיקוח
- נשלט
- בקרות
- מתואם
- ליבה
- עלות
- עלויות
- מכוסה
- לִיצוֹר
- נוצר
- אוצרות
- לקוחות
- אישית
- אישית
- לוח מחוונים
- לוחות מחוונים
- נתונים
- גישה למידע
- ניתוח נתונים
- אגם דאטה
- פלטפורמת נתונים
- פרטיות מידע
- מדע נתונים
- מדען נתונים
- מערכי נתונים
- יְוֹם
- עשרות שנים
- מוקדש
- עמוק
- תואר
- מחלקות
- לפרוס
- פרס
- פריסה
- פריסה
- פריסות
- פורס
- עיצוב
- מעוצב
- תכנון
- פרטים
- dev
- לפתח
- מפותח
- צעצועי התפתחות
- התפתחויות
- אחר
- ממדים
- ישיר
- לדון
- נָדוֹן
- מובהק
- מופץ
- צלילה
- תחום
- לְהַכפִּיל
- מטה
- כל אחד
- מַאֲמָצִים
- שבץ
- מוטבע
- הטבעה
- מתעורר
- טכנולוגיה מתעוררת
- לאפשר
- מופעל
- מאפשר
- מה שמאפשר
- לעודד
- מקצה לקצה
- נקודת קצה
- מהנדס
- הנדסה
- מהנדסים
- להגביר את
- לְהַבטִיחַ
- מבטיח
- הבטחתי
- מִפְעָל
- ברמה הארגונית
- חברות
- סביבה
- סביבות
- חיוני
- להעריך
- אירועים
- כל
- כל יום
- דוגמה
- ניסיון
- לְנַסוֹת
- ניסויים
- מומחיות
- ביטא
- מאריך
- נרחב
- ניסיון רב
- מתמודד
- לְהַקֵל
- משפחה
- מאפיין
- תכונות
- מָשׁוֹב
- מעטים
- תרשים
- לסנן
- לממן
- כספי
- שירותים פיננסיים
- ראשון
- גמישות
- פלורידה
- תזרים
- התמקדות
- הבא
- בעד
- טופס
- התהוות
- קרן
- יסודות
- ארבע
- מסגרת
- חופשי
- החל מ-
- פונקציה
- פונקציונלי
- פונקציות
- פונקציונלי
- פונקציות
- נוסף
- יתר על כן
- לְהַשִׂיג
- ליצור
- יצירת
- גנרטטיבית
- AI Generative
- נותן
- גלוֹבָּלִי
- ממשל
- מודל ממשל
- מודול ממשל
- נשלט
- שלטון
- הענקת
- קבוצה
- הדרכה
- יש
- יש
- he
- ראש
- בריאות
- לִשְׁמוֹעַ
- לעזור
- עזר
- עוזר
- לה
- גָבוֹהַ
- ברמה גבוהה
- שֶׁלוֹ
- מחזיק
- הוליסטית
- הוקס
- מארחים
- איך
- איך
- אולם
- HTML
- http
- HTTPS
- טבור
- היברידי
- זיהוי
- זהות
- if
- ליישם
- הפעלה
- יושם
- יישום
- לשפר
- שיפור
- in
- לכלול
- כולל
- כולל
- גדל
- באופן עצמאי
- הוֹדִי
- תעשיות
- תעשייה
- מידע
- תשתית
- בתחילה
- יוזם
- חדשנות
- חדשני
- למשל
- מכון
- משולב
- אינטראקציה
- יחסי גומלין
- מעוניין
- אינטרנט
- גישה לאינטרנט
- אל תוך
- הציג
- השקעה
- IOT
- בדידות
- IT
- יָנוּאָר
- עבודה
- מסע
- jpg
- מפתח
- ידע
- קומאר
- חוסר
- אגם
- אגמים
- נחיתה
- שפה
- גָדוֹל
- מאוחר יותר
- שכבה
- עוֹפֶרֶת
- לִלמוֹד
- למידה
- רמה
- רמות
- מעגל החיים
- כמו
- יוּחֲסִין
- קווים
- מקומי
- היכנס
- רישום
- הסתכלות
- מכונה
- למידת מכונה
- עשוי
- לתחזק
- עושה
- לנהל
- הצליח
- ניהול
- מצליח
- ניהול
- רב
- מפות
- שיווק
- בוגר
- בגרות
- מאי..
- חבר
- מוּזְכָּר
- רשת
- מידע נוסף
- מקלה
- הפחתת סיכונים
- ML
- MLOps
- מודל
- מודלים
- לשנות
- מודולרי
- מודול
- מודולים
- צג
- ניטור
- צגים
- חודשים
- יותר
- רוב
- אופנוע
- סרטים
- מספר
- יליד
- צורך
- צרכי
- קן
- רשת
- רשתות
- רשתות
- חדש
- תכונות חדשות
- הבא
- מחברה
- מספר
- יעדים
- מִקרִי
- of
- המיוחדות שלנו
- Office
- לעתים קרובות
- זקן
- on
- פעם
- ONE
- מתמשך
- להפעיל
- מופעל
- פועל
- פועל
- תפעול
- אופטימיזציה
- מטב
- or
- ארגון
- ארגונים
- ארגון
- אחר
- שלנו
- הַחוּצָה
- תוצאות
- בחוץ
- יותר
- מקיף
- סקירה
- חבילה
- חלק
- מסוים
- לוהט
- פטנט
- לְבַצֵעַ
- ביצועים
- הרשאות
- צינור
- מקום
- מישור
- פלטפורמה
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- משחק
- מדיניות
- מדיניות
- תיק עבודות
- הודעה
- תרגול
- פרקטיקות
- להציג
- מניעה
- יְסוֹדִי
- מנהל
- קודם
- פְּרָטִיוּת
- פְּרָטִי
- המגזר הפרטי
- פרואקטיבי
- בעיות
- תהליך
- תהליכים
- יַצרָן
- מפיק
- המוצר
- הפקה
- מוצרים
- פרויקטים
- קידום
- הוכחה
- הוכחה של רעיון או תאוריה
- אבטחה
- לספק
- מספק
- מתן
- ציבורי
- לאור
- מטרה
- איכות
- מהירות
- מהיר
- חומר עיוני
- לאחרונה
- להכיר
- להמליץ
- המלצה
- להפחית
- הפניה
- אזורים
- הירשם
- רשום
- רושמים
- רישום
- מוסדר
- תעשיות מוסדרות
- אָמִין
- הסרת
- דוחות לדוגמא
- לדרוש
- נדרש
- דרישות
- משאב
- משאבים
- להגיב
- אחראי
- שימוש חוזר
- רוכב
- הסיכון
- סיכונים
- תפקיד
- תפקידים
- שורש
- כלל
- כללי
- הפעלה
- ריצה
- ריאן
- מקריב
- בעל חכמים
- צינורות SageMaker
- אותו
- להרחבה
- סולם
- דרוג
- מדע
- מַדְעָן
- מדענים
- חיפוש
- משני
- סעיף
- מגזר
- לבטח
- אבטחה
- אירועי אבטחה
- שירות עצמי
- לחצני מצוקה לפנסיונרים
- סדרה
- שרות
- שירותים
- סט
- סטים
- הצבה
- התקנה
- שיתוף
- משותף
- שיתופים
- שיתוף
- היא
- קצר
- צריך
- הראה
- הופעות
- פָּשׁוּט
- since
- יחיד
- מידה
- קטן
- So
- פִּתָרוֹן
- פתרונות
- לפתור
- כמה
- משהו
- דרום
- דרום פלורידה
- מומחה
- מיוחד
- ספציפי
- הוצאה
- ספורט
- שלבים
- בעלי העניין
- בעלי עניין
- תקנים
- התחלה
- מדינה
- שלב
- צעדים
- עוד
- נעצר
- אחסון
- חנות
- חנויות
- אסטרטגיות
- אִסטרָטֶגִיָה
- חזק
- מִבְנֶה
- מבנים
- סטודיו
- מוצלח
- כזה
- כדלקמן
- סיכום
- לספק
- שרשרת אספקה
- ניהול שרשרת הספקה
- תמיכה
- מסייע
- בטוח
- שוויץ
- מערכות
- שולחן
- מותאם
- לוקח
- נטילת
- יעד
- נבחרת
- צוותי
- טכני
- טכנולוגיה
- אסטרטגיה טכנולוגית
- תבנית
- תבניות
- מבחן
- בדיקות
- זֶה
- השמיים
- המדינה
- שֶׁלָהֶם
- אותם
- אז
- אלה
- הֵם
- דברים
- זֶה
- אלה
- דרך
- בכל
- זמן
- ל
- כלים
- לקראת
- מגדל
- לעקוב
- מעקב
- מסורתי
- רכבת
- טרנספורמציות
- מעבר
- נסיעה
- תור
- tv
- סוגים
- תחת
- להבין
- לא הוגן
- יחידות
- אוניברסיטה
- us
- נוֹהָג
- להשתמש
- במקרה להשתמש
- מְשׁוּמָשׁ
- משתמש
- משתמשים
- שימושים
- באמצעות
- לנצל
- אימות
- ערך
- מגוון
- שונים
- אנכיות
- באמצעות
- הפרות
- ראות
- ראיה
- לחזות
- ללכת
- רוצה
- חם
- צופה
- we
- אינטרנט
- שירותי אינטרנט
- טוֹב
- מתי
- אם
- אשר
- בזמן
- יצטרך
- עם
- בתוך
- לְלֹא
- תיק עבודות
- עבד
- זרימות עבודה
- עובד
- שנים
- אתה
- זפירנט