פוסט זה נכתב בשיתוף עם יאן פול אסנדורפ, תומס ליצוב, כריסטופר מאש, אלכסנדר מיינרט, ד"ר לארס פלצר, יאן שילמנס מ-SIGNAL IDUNA.
ב-SIGNAL IDUNA, חברת ביטוח גרמנית גדולה, אנו ממציאים את עצמנו מחדש כעת עם תוכנית הטרנספורמציה שלנו VISION2023 כדי להפוך אפילו יותר ללקוח. שני היבטים מרכזיים בטרנספורמציה הזו: ארגון מחדש של חלקים גדולים מכוח העבודה לצוותים חוצי פונקציונליות וזריזים, והפיכה לחברה מונעת נתונים באמת. כאן, המוטו "אתה בונה את זה, אתה מפעיל את זה" הוא דרישה חשובה לצוות חוצה תפקודי שבונה מוצר למידת נתונים או מכונה (ML). זה מציב מגבלות קשות על כמה עבודה צוות יכול להשקיע כדי לייצר ולהפעיל מוצר.
פוסט זה מראה כיצד SIGNAL IDUNA מתמודד עם האתגר הזה ומנצל את ענן AWS כדי לאפשר לצוותים בין-תפקידים לבנות ולהפעיל את מוצרי ה-ML שלהם. לשם כך, אנו מציגים תחילה את המבנה הארגוני של צוותים זריזים, הקובע את הדרישות המרכזיות לתשתית הענן המשמשת לפיתוח והפעלת מוצר. לאחר מכן, אנו מראים כיצד שלושה צוותים מרכזיים ב- SIGNAL IDUNA מאפשרים לצוותים מגוונים לבנות מוצרי נתונים בענן AWS בסיוע מינימלי, על ידי מתן זרימת עבודה מתאימה ופתרונות תשתית שניתן להשתמש בהם ולהתאים אותם בקלות. לבסוף, אנו סוקרים את הגישה שלנו ומשווים אותה לגישה קלאסית יותר שבה הפיתוח והתפעול מופרדים בצורה קפדנית יותר.
Agile@SI – הבסיס לשינוי ארגוני
מתחילת 2021, SIGNAL IDUNA החלה ליישם את האסטרטגיה שלה Agile@SI ולבסס שיטות זריזות לפיתוח פתרונות מוכווני לקוח בכל החברה [1]. משימות ומטרות קודמות מבוצעות כעת על ידי צוותים צולבים, הנקראים חוליות. חוליות אלו משתמשות בשיטות זריזות (כגון מסגרת Scrum), מחליטות בעצמן ובונות מוצרים מוכווני לקוח. בדרך כלל, החוליות ממוקמות בחטיבות עסקיות, כגון שיווק, ולרבים יש דגש חזק על בניית מוצרים מונעי נתונים ומוצרים מבוססי ML. כדוגמה, מקרי שימוש טיפוסיים בביטוח הם חיזוי נטישה של לקוחות והמלצת מוצר.
בשל המורכבות של ML, יצירת פתרון ML על ידי חוליה בודדת היא מאתגרת, ולכן דורשת שיתוף פעולה של חוליות שונות.
ל- SIGNAL IDUNA שלושה צוותים חיוניים התומכים ביצירת פתרונות ML. מוקף בשלושת החוליות הללו הצוות שאחראי על הפיתוח והתפעול לטווח הארוך ושל פתרון ה-ML. גישה זו עוקבת אחר מודל האחריות המשותפת של AWS [2].
בתמונה למעלה, כל החוליות מיוצגות בסקירה כללית.
הפעלת ענן
תשתית הענן הבסיסית עבור הארגון כולו מסופקת על ידי צוות הענן. המשימה שלהם היא לאפשר לצוותים לבנות מוצרים על טכנולוגיות ענן בעצמם. זה משפר את הזמן לשיווק בניית מוצרים חדשים כמו ML, והוא פועל לפי העיקרון של "אתה בונה את זה, אתה מפעיל את זה".
Data Office/Data Lake
העברת נתונים לענן, כמו גם מציאת מערך הנתונים המתאים, נתמכת על ידי צוות Data Office/Data Lake. הם הקימו קטלוג נתונים שניתן להשתמש בו כדי לחפש ולבחור מערכי נתונים נדרשים. מטרתם היא לבסס שקיפות נתונים וממשל. בנוסף, הם אחראים להקמת ותפעול של Data Lake המסייע לצוותים לגשת ולעבד נתונים רלוונטיים.
פלטפורמת ניתוח נתונים
Squad Data Analytics Platform (DAP) היא צוות ממוקד בענן ו-ML ב-SIGNAL IDUNA הבקיא בהנדסת ML, הנדסת נתונים, כמו גם מדעי נתונים. אנו מאפשרים לצוותים פנימיים המשתמשים בענן ציבורי עבור ML על ידי אספקת רכיבי תשתית וידע. המוצרים והשירותים שלנו מוצגים בפירוט בסעיף הבא.
מתן אפשרות לצוותים חוצי-פונקציונליים לבנות פתרונות ML
כדי לאפשר לצוותים תכליתיים ב-SIGNAL IDUNA לבנות פתרונות ML, אנו זקוקים לדרך מהירה ורב-תכליתית לספק תשתית ענן ניתנת לשימוש חוזר, כמו גם זרימת עבודה יעילה עבור צוותי הצטרפות כדי לנצל את יכולות הענן.
לשם כך, יצרנו תהליך הפעלה ותמיכה סטנדרטי, וסיפקנו תבניות תשתית מודולריות כ- Infrastructure as Code (IaC). תבניות אלו מכילות רכיבי תשתית המיועדים למקרי שימוש נפוצים ב-ML שניתן להתאים בקלות לדרישות של מקרה שימוש ספציפי.
זרימת העבודה של בניית פתרונות ML
ישנם שלושה תפקידים טכניים עיקריים המעורבים בבנייה ובהפעלה של פתרונות ML: מדען הנתונים, מהנדס ML ומהנדס נתונים. כל תפקיד הוא חלק מהצוות התפקודי ויש לו אחריות שונה. למדען הנתונים יש את הידע הנדרש בתחום של דרישות תפקודיות כמו גם טכניות של מקרה השימוש. מהנדס ML מתמחה בבניית פתרונות ML אוטומטיים ופריסה של מודלים. ומהנדס הנתונים מוודא שהנתונים זורמים מ-on-premises ובתוך הענן.
תהליך מתן הפלטפורמה הוא כדלקמן:
התשתית של מקרה השימוש הספציפי מוגדרת ב-IAC ומנוסחת במאגר פרויקט מרכזי. זה כולל גם צינורות לאימון ופריסה של מודלים, כמו גם חפצי קוד אחרים הקשורים למדעי הנתונים. למדעני נתונים, מהנדסי ML ומהנדסי נתונים יש גישה למאגר הפרויקט והם יכולים להגדיר ולעדכן את כל קוד התשתית באופן אוטונומי. זה מאפשר לצוות לשנות במהירות את התשתית במידת הצורך. עם זאת, מהנדס ML תמיד יכול לתמוך בפיתוח ועדכון תשתית או מודלים של ML.
רכיבי תשתית מודולריים לשימוש חוזר
משאבי IaC ההיררכיים והמודולריים מיושמים ב Terraform ולכלול תשתית למדעי נתונים נפוצים ומקרי שימוש ב-ETL. זה מאפשר לנו לעשות שימוש חוזר בקוד תשתית ולאכוף מדיניות אבטחה ותאימות נדרשת, כגון שימוש שירות ניהול מפתחות של AWS (KMS) הצפנה לנתונים, כמו גם עטיפה של תשתית ב ענן וירטואלי פרטי של אמזון (VPC) סביבות ללא גישה ישירה לאינטרנט.
מבנה IaC ההיררכי הוא כדלקמן:
- מודולים להטמיע שירותי AWS בסיסיים עם התצורה הנדרשת לאבטחה וניהול גישה. זה כולל תצורות של שיטות עבודה מומלצות כמו מניעת גישה ציבורית אליהן שירות אחסון פשוט של אמזון (S3) דליים, או אכיפת הצפנה עבור כל הקבצים המאוחסנים.
- במקרים מסוימים, אתה זקוק למגוון שירותים כדי להפוך תהליכים לאוטומטיים, כגון פריסת מודלים של ML בשלבים שונים. לכן, הגדרנו פתרונות כצרור של מודולים שונים בתצורה משותפת לסוגים שונים של משימות.
- בנוסף, אנו מציעים שלם שרטוטים המשלבים פתרונות בסביבות שונות כדי לענות על הצרכים הפוטנציאליים הרבים של פרויקט. בתוכנית MLOps שלנו, אנו מגדירים תשתית ניתנת לפריסה להדרכה, הקצאה וניטור מודלים של ML המשולבים ומופצים בחשבונות AWS. נדון בפרטים נוספים בסעיף הבא.
מוצרים אלה מנוסחים במאגר מרכזי על ידי חוליית DAP. זה מאפשר לנו לשפר ללא הרף את IaC שלנו ולשקול תכונות חדשות מ-AWS, כגון אמזון SageMaker רישום דגמים. כל צוות יכול להתייחס למשאבים האלה, להגדיר אותם לפי הצורך ולבסוף לפרוס אותם בחשבונות ה-AWS שלהם.
ארכיטקטורת MLOps
אנו מספקים תוכנית מוכנה לשימוש עם פתרונות ספציפיים לכיסוי כל תהליך ה-MLOps. התוכנית מכילה תשתית המופצת על פני ארבעה חשבונות AWS לבנייה ופריסה של מודלים של ML. זה מאפשר לנו לבודד משאבים וזרימות עבודה עבור השלבים השונים בתהליך MLOps. האיור הבא מציג את ארכיטקטורת ריבוי החשבונות, ואנו מתארים כיצד האחריות על שלבים ספציפיים של התהליך מחולקת בין התפקידים הטכניים השונים.
אל האני דוגמנות החשבון כולל שירותים לפיתוח מודלים של ML. ראשית, מהנדס הנתונים משתמש בתהליך ETL כדי לספק נתונים רלוונטיים מאגם הנתונים SIGNAL IDUNA, השער המרכזי לזרימות עבודה מונעות נתונים בענן AWS. לאחר מכן, מדען הנתונים יכול להשתמש במערך הנתונים כדי להכשיר ולהעריך מועמדים למודל. ברגע שהוא מוכן לניסויים נרחבים, מועמד מודל משולב בצינור הדרכה אוטומטי על ידי מהנדס ML. אנו משתמשים ב-Amazon SageMaker Pipelines כדי להפוך אימון לאוטומטי, כוונון היפרפרמטרים והערכת מודלים בקנה מידה. זה כולל גם שושלת דגמים ומנגנון אישור סטנדרטי לדגמים שיועברו לפריסה לייצור. בדיקות יחידות אוטומטיות וניתוח קוד מבטיחים איכות ואמינות של הקוד עבור כל שלב בצנרת, כגון עיבוד מוקדם של נתונים, הדרכת מודלים והערכה. לאחר הערכה ואישור של מודל, אנו משתמשים ב-Amazon SageMaker ModelPackages כממשק למודל המאומן ולמטא נתונים רלוונטיים.
אל האני נוסע החשבון מכיל צינורות CI/CD אוטומטיים עם שלבים שונים לבדיקה ופריסה של מודלים מאומנים. בשלב הבדיקה, מודלים נפרסים לתוך הגשה-לא פרוד חֶשְׁבּוֹן. למרות שאיכות המודל מוערכת בצנרת ההדרכה לפני העלאת המודל לייצור, כאן אנו מבצעים מבחני ביצועים ואינטגרציה בסביבת בדיקה מבודדת. לאחר שעבר את שלב הבדיקה, מודלים נפרסים לתוך הגשה-פרוד חשבון שישולב בתהליכי עבודה בייצור.
הפרדת שלבי זרימת העבודה של MLOps לחשבונות AWS שונים מאפשרת לנו לבודד פיתוח ובדיקות מהייצור. לכן, אנו יכולים לאכוף מדיניות גישה ואבטחה קפדנית. יתר על כן, תפקידי IAM מותאמים מבטיחים ששירותים ספציפיים יכולים לגשת רק לנתונים ולשירותים אחרים הנדרשים להיקפו, בעקבות עקרון הפחות זכות. בנוסף, ניתן להנגיש שירותים בתוך סביבות השירות לתהליכים עסקיים חיצוניים. לדוגמה, תהליך עסקי יכול לבצע שאילתות על נקודת קצה בתוך סביבת ההגשה ליצירת חיזוי מודל.
היתרונות של הגישה שלנו
לתהליך זה יתרונות רבים בהשוואה להפרדה קפדנית בין פיתוח ותפעול הן לדגמי ה-ML והן לתשתית הנדרשת:
- בדידות: כל צוות מקבל קבוצה משלו של חשבונות AWS המבודדים לחלוטין מסביבות של צוותים אחרים. זה מקל על ניהול זכויות הגישה ושמירה על פרטיות הנתונים למי שזכאי לעבוד איתם.
- הפעלת ענן: חברי צוות עם מעט ניסיון קודם ב-DevOps בענן (כגון מדעני נתונים רבים) יכולים לצפות בקלות בכל תהליך התכנון והניהול של תשתיות מכיוון ששום דבר (כמעט) לא מוסתר מהם מאחורי שירות מרכזי. זה יוצר הבנה טובה יותר של התשתית, מה שיכול בתורו לעזור להם ליצור מוצרי מדעי נתונים בצורה יעילה יותר.
- בעלות מוצר: השימוש בפתרונות תשתית מוגדרים מראש ובשירותים מנוהלים שומר על מחסום ניהול מוצר ML בייצור נמוך מאוד. לכן, מדען נתונים יכול בקלות לקחת בעלות על מודל שמוכנס לייצור. זה ממזער את הסיכון הידוע של כישלון בהכנסת דגם לייצור לאחר פיתוח.
- חדשנות: מאחר שמהנדסי ML מעורבים הרבה לפני שמודל מוכן להפקה, הם יכולים ליצור פתרונות תשתית המתאימים למקרי שימוש חדשים בזמן שמדעני הנתונים מפתחים מודל ML.
- הסתגלות: מכיוון שפתרון IaC שפותח על ידי DAP זמין באופן חופשי, כל צוות יכול להתאים אותם בקלות כדי להתאים לצורך ספציפי למקרה השימוש שלו.
- קוד פתוח: כל פתרונות התשתית החדשים יכולים להיות זמינים בקלות באמצעות מאגר הקוד המרכזי של DAP לשימוש על ידי צוותים אחרים. עם הזמן, זה ייצור בסיס קוד עשיר עם רכיבי תשתית המותאמים למקרי שימוש שונים.
<br> סיכום
בפוסט זה, הדגמנו כיצד צוותים תכליתיים ב-SIGNAL IDUNA מתאפשרים לבנות ולהפעיל מוצרי ML ב-AWS. מרכזי בגישה שלנו הוא השימוש בקבוצה ייעודית של חשבונות AWS עבור כל צוות בשילוב עם שרטוטים ופתרונות IaC מותאמים אישית. שני מרכיבים אלו מאפשרים לצוות חוצה תפקודיים ליצור ולתפעל תשתית באיכות ייצור. בתורו, הם יכולים לקחת בעלות מלאה מקצה לקצה על מוצרי ה-ML שלהם.
עיין Amazon SageMaker Model Building Pipelines – Amazon SageMaker ללמוד 'יותר.
למידע נוסף על ML ב-AWS בעמוד הרשמי שלנו.
הפניות
[1] https://www.handelsblatt.com/finanzen/versicherungsbranche-vorbild-spotify-signal-iduna-wird-von-einer-handwerker-versicherung-zum-agilen-konzern/27381902.html
[2] https://blog.crisp.se/wp-content/uploads/2012/11/SpotifyScaling.pdf
[3] https://aws.amazon.com/compliance/shared-responsibility-model/
על הכותבים
יאן פול אסנדורפ הוא מהנדס ML עם מיקוד חזק במדעי הנתונים. הוא בונה מודלים של ML וממכן את הדרכת המודלים ואת הפריסה בסביבות ייצור.
תומס ליצוב הוא ה-Scrum Master של ה-Squad Data Analytics Platform.
כריסטופר מאש הוא בעל המוצר של ה-Squad Data Analytics Platform עם ידע בהנדסת נתונים, מדעי נתונים והנדסת ML.
אלכסנדר מיינרט הוא חלק מצוות Data Analytics Platform ועובד כמהנדס ML. התחיל בסטטיסטיקה, צמח בפרויקטים של מדעי נתונים, מצא תשוקה לשיטות ML וארכיטקטורה.
ד"ר לארס פלצר הוא מדען נתונים וחלק מצוות Data Analytics Platform. לאחר שעזר בבניית רכיבי ארכיטקטורת MLOps, הוא משתמש בהם כעת לבניית מוצרי ML.
יאן שילמנס הוא מהנדס ML עם רקע של הנדסת תוכנה. הוא מתמקד ביישום שיטות עבודה מומלצות להנדסת תוכנה על סביבות ML (MLOps).
- "
- 100
- 2021
- גישה
- חֶשְׁבּוֹן
- לרוחב
- פעולה
- יתרונות
- זריז
- תעשיות
- למרות
- אמזון בעברית
- אנליזה
- ניתוח
- מריחה
- גישה
- ארכיטקטורה
- אוטומטי
- זמין
- AWS
- להיות
- הטוב ביותר
- שיטות עבודה מומלצות
- לִבנוֹת
- בִּניָן
- צורר
- עסקים
- יכולות
- מקרים
- לאתגר
- ענן
- תשתית ענן
- קוד
- שיתוף פעולה
- שילוב
- Common
- חברה
- לעומת
- הענות
- תְצוּרָה
- מכיל
- יוצרים
- נתונים
- ניתוח נתונים
- מדע נתונים
- מדען נתונים
- מוקדש
- לפרוס
- פריסה
- פריסה
- תכנון
- פרט
- לפתח
- מפותח
- מתפתח
- צעצועי התפתחות
- אחר
- לדון
- מופץ
- תחום
- בקלות
- הצף
- נקודת קצה
- מהנדס
- הנדסה
- מהנדסים
- סביבה
- חיוני
- להקים
- דוגמה
- ניסיון
- מהר
- תכונות
- תרשים
- בסופו של דבר
- ראשון
- להתמקד
- מרוכז
- הבא
- מצא
- קרן
- מסגרת
- מלא
- שערים
- ממשל
- לעזור
- עוזר
- כאן
- איך
- HTTPS
- תמונה
- יושם
- חשוב
- לשפר
- לכלול
- מידע
- תשתית
- ביטוח
- משולב
- השתלבות
- מִמְשָׁק
- אינטרנט
- מעורב
- IT
- מפתח
- ידע
- גָדוֹל
- לִלמוֹד
- למידה
- קְצָת
- ארוך
- מכונה
- למידת מכונה
- ניהול
- ניהול
- שוק
- שיווק
- להתאים
- להרשם/להתחבר
- meta
- ML
- מודל
- מודלים
- מודולרי
- ניטור
- תכונות חדשות
- מוצרים חדשים
- הַצָעָה
- רשמי
- Onboarding
- פועל
- ארגון
- אחר
- בעלים
- ביצועים
- פלטפורמה
- מדיניות
- מדיניות
- נבואה
- התחזיות
- מניעה
- פְּרָטִי
- תהליך
- תהליכים
- המוצר
- הפקה
- מוצרים
- תָכְנִית
- פּרוֹיֶקט
- פרויקטים
- לספק
- ציבורי
- ענן ציבורי
- איכות
- מאגר
- נדרש
- דרישות
- משאבים
- אחראי
- סקירה
- הסיכון
- הפעלה
- סולם
- מדע
- מַדְעָן
- מדענים
- חיפוש
- אבטחה
- שרות
- שירותים
- הגשה
- סט
- משותף
- פָּשׁוּט
- תוכנה
- הנדסת תוכנה
- פתרונות
- מתמחה
- לבלות
- התמחות
- התחלה
- החל
- סטטיסטיקה
- אחסון
- אִסטרָטֶגִיָה
- חזק
- כתוצאה מכך
- תמיכה
- נתמך
- מוּקָף
- משימות
- נבחרת
- טכני
- טכנולוגיות
- מבחן
- בדיקות
- בדיקות
- זמן
- הדרכה
- טרנספורמציה
- שקיפות
- עדכון
- us
- להשתמש
- לנצל
- וירטואלי
- שעון
- מי
- בתוך
- לְלֹא
- תיק עבודות
- כוח עבודה
- עובד