כיצד יארה משתמשת בתכונות MLOps של Amazon SageMaker כדי להגדיל את אופטימיזציית האנרגיה על פני מפעלי האמוניה שלהם

יערה היא החברה המובילה בעולם לתזונת גידולים וספקית פתרונות סביבתיים וחקלאיים. השאיפה של יארה מתמקדת בגידול עתיד מזון חיובי לטבע היוצר ערך ללקוחות, לבעלי המניות ולחברה בכללותה, ומספק שרשרת ערך מזון בת קיימא יותר. תוך תמיכה בחזון שלנו של עולם ללא רעב וכוכב לכת מכובד, יארה נוקטת באסטרטגיה של צמיחת ערך בת קיימא, קידום תזונה ידידותית לאקלים ופתרונות אנרגיה אפס פליטה. יארה היא גם היצרנית הגדולה בעולם של אמוניה, חנקות ו NPK דשנים. לפיכך מגזר הייצור שלהם הוא אבן בניין אינטגרלית למימוש המשימה שלהם - עם שאיפה ברורה להיות מובילים בעולם במדדים כמו בטיחות, טביעת רגל סביבתית, איכות ועלויות ייצור. היעד ארוך הטווח של יארה הוא "מפעל העתיד" עם אפס פליטות ועלויות נמוכות.

בהתבסס על טרנספורמציה רזה, יארה מגבירה את המיקוד שלה בפתרונות דיגיטליים כדי לעזור להם להשיג את שאיפותיהם. כדי להוביל את המאמץ הזה, יארה הקימה יחידה גלובלית בשם Digital Production. ההצלחה של Digital Production ופתרונותיה היא בראש סדר העדיפויות של יארה, ויארה הגדילה משמעותית את מאמציה בתחום זה. תחום מיקוד קריטי הוא לנצל את הכמות העצומה של נתונים שנוצרים במסגרת פעילותם. לכן, יארה בונה מוצרים מונעי נתונים המסייעים להם לייעל את הייצור, להגביר את איכות המוצרים, להגביר את אמינות אתרי הייצור, להפחית פליטות, להגביר את הבטיחות והפרודוקטיביות של העובדים, להפוך תהליכים ידניים לאוטומטיים ועוד.

אנרגיה היא מרכיב עלות עיקרי עבור מפעלי ייצור רבים; לפיכך, ליעילות אנרגטית יש השפעה מהותית על הרווחיות. עם זאת, לעתים קרובות חסרים הפניות מוצקות לאיך נראים ביצועים טובים וכיצד להגיע לשם. עקומת עומס האנרגיה (ELC) של יארה היא פתרון המשתמש בביצועים ההיסטוריים הטובים ביותר בצריכת אנרגיה מול הביצועים הנוכחיים. אם הצריכה הנוכחית חורגת יותר מדי מהמיטב ההיסטורי, הכלי נותן המלצות למפעילים על מנת לנווט את צריכת האנרגיה.

כדי לפרוס את ELC למפעלי ייצור ולהרחיב אותו למספר אתרים ברחבי העולם, יארה הייתה צריכה לבנות פלטפורמת MLOps. זה יבטיח שיארה תתאמן, תפרוס ותחזק דגמים בצורה מהימנה ויעילה. בנוסף, כדי להרחיב את זה למספר אתרים, יארה הייתה צריכה להפוך את תהליכי הפריסה והתחזוקה לאוטומטיים. בפוסט זה, אנו דנים כיצד היא משתמשת אמזון SageMaker תכונות, כולל רישום הדגמים, אמזון SageMaker דגם צג, ו צינורות SageMaker של אמזון לייעל את מחזור החיים של למידת מכונה (ML) על ידי אוטומציה וסטנדרטיזציה של שיטות MLOps. אנו מספקים סקירה כללית של ההגדרה, מציגים את תהליך הבנייה, ההדרכה, הפריסה והניטור של מודלים של ML עבור מפעלים ברחבי העולם.

סקירה כללית של הפיתרון

ELC משתמשת בנתוני חיישני האינטרנט של הדברים (IoT) ממפעל. חיישנים אלה מודדים מדדים כמו תפוקת ייצור, תנאי סביבה ותנאי חומר גלם וכו'. נתונים אלה משמשים לאימון מודל חיזוי אנרגיה אשר משמש לאחר מכן ליצירת תחזיות לפי שעה. מפעילי המפעל עוקבים אחר צריכת האנרגיה בפועל ומשווים אותה לצריכה האופטימלית כפי שחזו על ידי ELC. אם צריכת האנרגיה הנוכחית חורגת יותר מדי מהנקודה האופטימלית, ELC מספקת פעולה להתאמת משתני תהליך פנימיים כדי לייעל את יעילות האנרגיה בהתבסס על מודלים אנליטיים.

ELC מתארח בענן. על מנת להזרים נתוני חיישנים ממפעל בזמן אמת, יארה משתמשת AWS IoT Greengrass לתקשר איתו בצורה מאובטחת ליבת IoT של AWS ולייצא נתוני IoT לענן AWS. AWS IoT SiteWise הוא שירות מנוהל שיכול לאסוף, לארגן, לחפש ולצרוך נתוני ציוד מציוד תעשייתי בקנה מידה. יארה בנתה ממשקי API באמצעות שער API של אמזון כדי לחשוף את נתוני החיישן ליישומים כגון ELC.

הקצה האחורי של יישום ELC נפרס באמצעות Amazon ECS ומפעיל לוחות מחוונים של ELC בקצה הקדמי המשמשים את מפעילי המפעל. אפליקציית ELC אחראית לספק מדדי צריכת אנרגיה חזויים לפי שעה למפעילי המפעל. כל מפעל מצויד בדגם משלו, מכיוון שמאפייני צריכת האנרגיה שלהם שונים. יתר על כן, צמחים מקובצים לאזורי AWS שונים בהתבסס על מיקומם.

התרשים הבא ממחיש ארכיטקטורה זו.

לבניית ELC וקנה מידה למפעלים מרובים, היינו צריכים פתרון MLOps התומך בדברים הבאים:

• בקרת מערכות ותקשורת - זה יכול להתרחב בתגובה לנפחי נתונים. צמחים מסוימים מייצרים יותר נתונים מאחרים; כל מפעל יכול לייצר מספר גיגה-בייט של נתונים ביום.
• הרחבה - זה יכול לפרוס לאזורים וחשבונות חדשים.
• הדירות - יש לו תבניות נפוצות שאנו יכולים להשתמש בהן כדי להכניס מפעל חדש.
• גמישות - זה יכול לשנות את תצורת הפריסה בהתבסס על הצרכים של כל מפעל.
• אמינות וניטור - הוא יכול להריץ בדיקות ולהיות בעל נראות ברורה לגבי המצב של כל המפעלים הפעילים. במקרה של כשל, זה יכול לחזור למצב היציב הקודם.
• תחזוקה - הפתרון צריך להיות בעל תקורה תחזוקה נמוכה. הוא צריך להשתמש בשירותים ללא שרת במידת האפשר כדי לצמצם את טביעת הרגל של התשתית.

עבור ML, יארה החליטה להשתמש ב-SageMaker. SageMaker הוא שירות מנוהל במלואו המכסה את כל זרימת העבודה של ML. התכונות הבאות היו קריטיות בבחירת SageMaker:

• מכולות מסגרת של SageMaker – יארה הכשירה מודלים חזויים של ELC ב-TensorFlow, ועם מיכלי המסגרת של SageMaker, יארה הצליחה להרים ולהעביר את המודלים הללו במינימום שינויים בקוד לתוך SageMaker.
• צינורות SageMaker - SageMaker Pipelines מציעים ממשק Python עבור מדעני נתונים לכתיבת צינורות ML. חלק גדול מקוד ה-ELC מורכב מאימון וצינור מסקנות, המוגדרים ב-Python.
• רישום מודלים של SageMaker – רישום המודלים של SageMaker מאפשר לקטלג דגמים ולבקרת גרסאות. בנוסף, זה מקל על ניהול מטא נתונים של מודל, כגון מדדי אימון.
• צג דגם SageMaker – יארה רצתה לנטר את האיכות וההפצה של הנתונים הנכנסים וכן את ביצועי מודל ה-ELC. ממשקי API של SageMaker Model Monitor מציעים ניטור נתונים ואיכות מודל.

לניהול האינטגרציה הרציפה והאספקה ​​הרציפה (CI/CD) עבור צינורות ה-ML, משתמשת יארה מסגרת פריסה של אמזון (ADF). ADF היא מסגרת קוד פתוח שפותחה על ידי AWS לניהול ופריסה של משאבים על פני מספר חשבונות AWS ואזורים בתוך ארגון AWS. ADF מאפשר פריסות מבוימות, מקבילות, מרובות חשבונות וחוצות אזורים של יישומים או משאבים באמצעות המבנה המוגדר ב- ארגוני AWS, תוך ניצול שירותים כגון קוד צינור AWS, בניית קוד AWS, AWS CodeCommit, ו AWS CloudFormation כדי להקל על ההרמה והניהול הכבדים בהשוואה למערך CI/CD מסורתי.

סקירת פתרונות

הפתרון כולו לפלטפורמת MLOps נבנה תוך חודשיים בשיתוף פעולה עם שירותים מקצועיים של AWS. הצוות שעבד על הפרויקט כלל מדעני נתונים, מהנדסי נתונים ומומחי DevOps. כדי לאפשר פיתוח מהיר יותר בסביבה מרובת צוותים, בחרה יארה להשתמש AWS Landing Zone וארגונים ליצירה, ניהול וניהול מרכזי של חשבונות AWS שונים. לדוגמה, ליארה יש חשבון פריסה מרכזי, ומשתמשת בחשבונות עומס עבודה כדי לארח יישומים עסקיים. ELC הוא מקרה שימוש באופטימיזציית תהליכים והוא נפרס כדי לייעל חשבונות עומס עבודה. צוות Yara Digital Production עובד גם על מקרי שימוש ב-ML בתחומים שאינם אופטימיזציה. מסגרת MLOps תומכת בפריסה לכל חשבונות עומס עבודה כל עוד החשבונות נוצרים דרך ארגונים.

התרשים הבא ממחיש ארכיטקטורה זו.

שימוש בחשבון פריסה מרכזי מקל על ניהול חפצים נפוצים וצינורות CI/CD. במונחים של ניהול גישה ואבטחה של החפצים הנפוצים הללו, זה עיצוב פשוט יותר מכיוון שגבולות ההרשאה ומפתחות ההצפנה מנוהלים באופן מרכזי במקום אחד. בסעיפים הבאים, אנו מדריכים אותך לאורך השלבים הנדרשים להכנסת מקרה שימוש חדש לפלטפורמת MLOps של יארה.

מבחינת אסטרטגיית חשבון, ליארה יש ארגז חול, DEV, TEST ו-PROD. חשבון ארגז החול משמש להתנסות ולניסיון רעיונות חדשים. חשבון ה-DEV הוא נקודת ההתחלה של צינורות ה-CI/CD, וכל הפיתוח מתחיל כאן. חשבון הפריסה מכיל את הגדרת צינור ה-CI/CD והוא מסוגל לפרוס לחשבונות DEV, TEST ו-PROD. הגדרת חשבון זו מתוארת באיור הבא.

העלאת מקרה שימוש חדש

עבור הפוסט הזה, אנחנו מניחים שיש לנו אב טיפוס עובד של מקרה שימוש, ועכשיו אנחנו רוצים ליישם אותו. במקרה שהמקרה השימוש הזה שייך לאזור מוצר חדש, ראשית עלינו לספק את החשבונות באמצעות ארגונים, מה שמפעיל אוטומטית את ADF לאתחל את החשבונות הללו לפריסה. יארה פועלת לפי אסטרטגיית חשבון DEV>TEST>PROD; עם זאת, תצורה זו אינה חובה. חשבונות נתונים חושפים ממשקי API לגישה לנתונים, ולמקרה שימוש חדש, יש להעניק לתפקידים את הדרוש AWS זהות וניהול גישה הרשאות (IAM) כדי שיוכלו לגשת לממשקי ה-API של הנתונים.

לאחר מכן, עלינו להגדיר לאילו חשבונות נפרס מקרה השימוש הזה. זה נעשה באמצעות מפת פריסה ב-ADF. מפת הפריסה היא קובץ תצורה המכיל את מיפוי השלבים והיעדים עבור הצינור. כדי להפעיל את מפת הפריסה, ADF משתמש ב-CodePipeline. ADF מספק את הגמישות לניהול פרמטרים לכל סביבת יעד שאליה נפרסת המחסנית. זה מקל על ניהול פריסות ובדיקה עם מופעים קטנים יותר.

להצפנת כל החפצים, כגון קוד, נתונים וקובצי מודל, אנו יוצרים שירות ניהול מפתח AWS מקש (AWS KMS). אתה יכול גם להשתמש בהצפנה בצד השרת. עם זאת, מכיוון שלחלק מהחפצים שנוצרו יש גישה בין חשבונות, עלינו ליצור מפתח משלנו ולנהל את מדיניות ההרשאות שלו כדי להעניק גישה חוצת חשבונות.

לבסוף, עלינו ליצור קבוצת חבילות מודל כדי לקבץ גרסאות שונות של מודל באמצעות רישום המודלים של SageMaker, שהוא היכולת של SageMaker לעקוב ולנהל מודלים תוך כדי מחזור החיים של ML.

דגם צינור הדרכה

עבור כל מפעל חדש שהוכנס ל-ELC, אנו יוצרים צינור אימון חדש של SageMaker. צינור זה מורכב משלבי עיבוד מקדים של נתונים ושלבי אימון מודלים. צינורות SageMaker מתאימים ליארה מכיוון שהם מציעים ממשק Python להגדרת זרימת עבודה של ML. יתר על כן, ניתן להגדיר שלבים שונים של זרימת העבודה כך שיתאימו באופן שונה. לדוגמה, אתה יכול להגדיר מופע הרבה יותר גדול לאימון מאשר לשלב הערכת המודל. פרמטרי קלט ופלט עבור כל שלב בצינור מאוחסנים, מה שמקל על מעקב אחר כל ריצה והפלטים שלה. המתאר ברמה הגבוהה של זרימת העבודה של האימון הוא כדלקמן.

כחלק משלב הערכת המודל, מערך נתונים הערכה משמש ליצירת מדדים, כגון דיוק וסטיית שגיאה בריבוע שורש (RMSE) במודל המאומן. מדדים אלה מתווספים למטא נתונים של המודל לפני רישום המודל לרישום המודלים. נכון לעכשיו, דגמים מקודמים באופן ידני לסביבות גבוהות יותר, ומאשר הדגמים יכול להציג את מדדי המודל כדי להבטיח שהגרסה החדשה תבצע טוב יותר מהדגם הנוכחי.

הדגמים נשלטים על ידי גרסה עם רישום המודלים, כאשר לכל מפעל יש קבוצת חבילות מודל משלו. בנוסף, אתה יכול להשתמש ברישום המודלים כדי לעקוב אחר אילו גרסאות מודל נפרסות לאילו סביבות. דגם יכול להיות ב נדחה, ממתין לאישור ידני, או מאושר מדינה, ורק דגמים שנמצאים ב מאושר ניתן לפרוס את המדינה. זה גם מציע הגנה מפני פריסה בטעות של גרסה לא מאושרת של הדגם.

מודל מסקנות וצינור ניטור

כדי לפרוס את המודל ולהגדיר ניטור מודלים, הקמנו צינור שני של SageMaker. אפליקציית ה-ELC מספקת למפעילי המפעל תחזיות לפי דרישה, לכן הגישה למודלים מתבצעת באמצעות קריאות API שנעשות מה-backend של ELC. נקודות הקצה של SageMaker מספקות פתרון אירוח מודל מנוהל במלואו עם שכבת API; נקודות קצה לוקחות קלט מודל כמטען ותחזיות. מכיוון שהשהייה היא גם גורם מכריע עבור משתמשי הקצה שלא רוצים להמתין זמן רב לפני שהם מקבלים תחזיות מעודכנות, יארה בחרה בנקודות קצה של SageMaker בזמן אמת, המתאימות במיוחד לעומסי עבודה עם דרישות חביון נמוכות מאוד. לבסוף, מכיוון שליישום ELC אין זמן השבתה בזמן פריסת דגמים מעודכנים, הוא מסתמך על יכולת הפריסה הכחולה/ירוקה של נקודות הקצה של SageMaker בזמן אמת כדי להבטיח שגרסת הדגם הישנה תמשיך לשרת חיזוי עד לפריסת הגרסה החדשה .

התרשים הבא ממחיש את הגדרת הפריסה והניטור.

לניטור הדגמים, יארה מפעילה את SageMaker איכות נתונים, איכות הדגם, ו יכולת הסבר מודל ניטור. ניטור איכות הנתונים בודק עקביות ומייצר סטטיסטיקות של הפצת נתונים. ניטור איכות הדגם בודק את ביצועי המודל ומשווה את דיוק המודל מול מדדי האימון. דוחות ניטור מודל מופקים על בסיס שעתי. דוחות אלה משמשים לניטור ביצועי המודל בייצור. ניטור הסבר מודל משמש כדי להבין אילו תכונות תורמות הכי הרבה לחיזוי.

תוצאות אלו של יכולת ההסבר של המודל משותפות בלוח המחוונים של ELC כדי לספק למפעילי המפעל יותר הקשר לגבי מה שמניע את צריכת האנרגיה. זה תומך גם בקביעת הפעולה להתאמת התהליך הפנימי במקרה שצריכת האנרגיה חורגת מהנקודה האופטימלית.

זרימת CI/CD

זרימת ה-CI/CD עבור צינורות ההדרכה מתחילה בחשבון ה-DEV. יארה עוקבת אחר מודל פיתוח מבוסס תכונות וכאשר מתפתח פיצ'ר חדש, ענף הפיצ'רים מתמזג לתוך ה-Trunk, מה שמתחיל את הפריסה. מודלים של ELC מאומנים בחשבון ה-DEV ולאחר שהמודל עובר הכשרה והערכה, הוא נרשם ברישום המודלים. מאשר דגם מבצע בדיקות שפיות לפני עדכון סטטוס הדגם ל מאושר. פעולה זו יוצרת אירוע שמפעיל את הפריסה של צינור ההסקת המודל. צינור מסקנות המודל פורס את גרסת הדגם החדשה לנקודת קצה של SageMaker ב-DEV.

לאחר פריסת נקודת הקצה, מתחילות בדיקות לבדיקת התנהגות ההגדרה. לבדיקה, יארה משתמשת דוחות בדיקה של CodeBuild. תכונה זו מאפשרת למפתחים להריץ בדיקות יחידה, בדיקות תצורה ובדיקות פונקציונליות לפני ואחרי הפריסה. במקרה זה, יארה מפעילה בדיקות פונקציונליות על ידי העברת עומסי בדיקה לנקודות הקצה של SageMaker והערכת התגובה. לאחר שהבדיקות הללו עוברות, הצינור ממשיך לפרוס את נקודות הקצה של SageMaker ל-TEST. הקצה האחורי של ELC נפרס גם ל-TEST, מה שמאפשר בדיקות מקצה לקצה עבור האפליקציה בסביבה זו. בנוסף, יארה מפעילה בדיקות קבלת משתמשים ב-TEST. הטריגר מפריסת TEST לפריסת PROD היא פעולת אישור ידנית. לאחר שגרסת הדגם החדשה עברה הן את בדיקות הפונקציונליות והן את בדיקות קבלת המשתמש ב-TEST, צוות ההנדסה מאשר את פריסת הדגם ל-PROD.

האיור הבא ממחיש זרימת עבודה זו.

רכיבים נפוצים

עבור ELC, אנו משתמשים במספר רכיבים המשותפים לכל שלבי הפריסה (DEV, TEST, PROD) והדגמים. רכיבים אלה נמצאים בחשבון הפריסה שלנו, וכוללים בקרת גרסאות מודל, מאגר תמונות מיכל, מפתח הצפנה ודלי לאחסון חפצים נפוצים.

ישנם מספר יתרונות בשימוש בחפצים נפוצים. לדוגמה, המשאבים לא חייבים להיווצר עבור כל חשבון, מה שאוכף תאימות בין החשבונות. זה אומר שאנחנו בונים תמונות מיכל פעם אחת ומשתמשים בהן מחדש בכל חשבונות היעד, ומצמצמים את זמן הבנייה.

צינור זה מאחסן את גרסאות המודל השונות ברישום מודל משותף בחשבון הפריסה. ממיקום מרכזי זה, ניתן לפרוס מודלים בכל החשבונות מבלי להעביר אותם. באופן דומה, השימוש במפתח הצפנה המאוחסן באופן מרכזי מקל על ניהול המפתח וההרשאות חוצות-חשבונות.

חסרון אחד של שימוש בחפצים נפוצים הוא ששלב ההטמעה של מקרה שימוש חדש יכול להיות מורכב יותר. כדי להכניס מקרה שימוש חדש, יש ליצור רישום מודל חדש ואם נדרש מאגר תמונות קונטיינר חדש. אנו ממליצים גם ליצור מפתח הצפנה חדש כדי להפריד בקפדנות משאבים ונתונים מאוחסנים.

סיכום

בפוסט זה הדגמנו כיצד יארה השתמשה ב-SageMaker וב-ADF כדי לבנות פלטפורמת MLOps ניתנת להרחבה. ML היא יכולת צולבת, וצוותים פורסים מודלים לחשבונות יחידות עסקיות שונות. לכן, ADF, שמציעה אינטגרציה מקורית עם ארגונים, הופכת אותו למועמד אידיאלי לאתחל חשבונות להגדרת צינורות CI/CD. מבחינה תפעולית, צינורות ADF פועלים בחשבון הפריסה המרכזית, מה שמקל על קבלת תמונת מצב כללית של פריסות. לבסוף, ADF משתמש בשירותים מנוהלים של AWS כמו CodeBuild, CodeDeploy, CodePipeline ו-CloudFormation, מה שמקל על התצורה והתחזוקה.

SageMaker מספקת קשת רחבה של יכולות ML, המאפשרת לצוותים להתמקד יותר בפתרון בעיות עסקיות ופחות בבנייה ותחזוקה של תשתית. בנוסף, SageMaker Pipelines מספקת סט עשיר של ממשקי API ליצירה, עדכון ופריסה של זרימות עבודה של ML, מה שהופך אותו להתאמה מצוינת ל-MLOps.

לבסוף, MLOps מספקת את השיטות המומלצות לפריסה ולתחזוקה של מודלים של ML בייצור בצורה אמינה ויעילה. זה קריטי לצוותים שיוצרים ופורסים פתרונות ML בקנה מידה כדי ליישם MLOps. במקרה של יארה, MLOps מפחיתה באופן משמעותי את המאמץ הנדרש כדי להכניס מפעל חדש, לפרסם עדכונים ל-ELC ולהבטיח מעקב אחר איכות הדגמים.

למידע נוסף על אופן פריסת יישומים באמצעות ADF, עיין ב- דוגמאות.

---

על המחברים

שאהר מנסור הוא מדען נתונים ב-AWS. ההתמקדות שלו היא בבניית פלטפורמות למידת מכונה שיכולות לארח פתרונות בינה מלאכותית בקנה מידה. תחומי העניין שלו הם MLOps, חנויות תכונה, אירוח דגמים וניטור דגמים.

טים בקר הוא מדען נתונים בכיר ב-Yara International. בתוך Digital Production, ההתמקדות שלו היא באופטימיזציה של תהליך של ייצור אמוניה וחומצה חנקתית. הוא בעל תואר דוקטור בתרמודינמיקה ונלהב להפגיש בין הנדסת תהליכים ולמידת מכונה.

יונגיוס קאיופיטקון הוא מדען נתונים בכיר בצוות ההפקה הדיגיטלית ב-Yara International. יש לו דוקטורט ב-AI/למידת מכונה וניסיון מעשי של שנים רבות במינוף למידת מכונה, ראייה ממוחשבת ומודלים של עיבוד שפה טבעית כדי לפתור בעיות עסקיות מאתגרות.