חילוץ תובנות מ-SAP ERP עם פתרונות ML ללא קוד עם Amazon AppFlow ו-Amazon SageMaker Canvas

לקוחות בתעשיות כמו מוצרי צריכה ארוזים, ייצור וקמעונאות תמיד מחפשים דרכים להעצים את התהליכים התפעוליים שלהם על ידי העשרתם בתובנות וניתוחים שנוצרו מנתונים. משימות כמו חיזוי מכירות משפיעות ישירות על פעולות כמו תכנון חומרי גלם, רכש, ייצור, הפצה ולוגיסטיקה נכנסת/יוצאת, ויכולות להיות להן רמות רבות של השפעה, ממחסן בודד ועד למתקני ייצור בקנה מידה גדול.

נציגי מכירות ומנהלים משתמשים בנתוני מכירות היסטוריים כדי ליצור תחזיות מושכלות לגבי מגמות מכירות עתידיות. לקוחות משתמשים ב-SAP ERP Central Component (ECC) לניהול תכנון לייצור, מכירה והפצה של סחורות. מודול המכירות וההפצה (SD) בתוך SAP ECC מסייע בניהול הזמנות מכירה. מערכות SAP הן המקור העיקרי לנתוני מכירות היסטוריים.

לנציגי ומנהלי מכירות יש את הידע בתחום ואת ההבנה המעמיקה של נתוני המכירות שלהם. עם זאת, חסרים להם כישורי מדעי נתונים ותכנות ליצירת מודלים של למידת מכונה (ML) שיכולים ליצור תחזיות מכירות. הם מחפשים כלים אינטואיטיביים ופשוטים לשימוש ליצירת מודלים של ML מבלי לכתוב שורת קוד אחת.

כדי לעזור לארגונים להשיג את הזריזות והאפקטיביות שאנליסטים עסקיים מחפשים, אנחנו הציג אמזון SageMaker Canvas, פתרון ML ללא קוד שעוזר לך להאיץ את אספקת פתרונות ML עד לשעות או ימים. Canvas מאפשר לאנליסטים להשתמש בקלות בנתונים זמינים באגמי נתונים, מחסני נתונים ומאגרי נתונים תפעוליים; לבנות דגמי ML; ולהשתמש בהם כדי לבצע חיזויים באופן אינטראקטיבי ולניקוד אצווה על מערכי נתונים בכמות גדולה - הכל מבלי לכתוב שורת קוד אחת.

בפוסט זה, אנו מראים כיצד להביא נתוני הזמנת מכירות מ-SAP ECC כדי ליצור תחזיות מכירות באמצעות מודל ML שנבנה באמצעות Canvas.

סקירת פתרונות

כדי ליצור תחזיות מכירות באמצעות נתוני מכירות של SAP, אנו זקוקים לשיתוף פעולה של שתי פרסונות: מהנדסי נתונים ואנליסטים עסקיים (נציגי מכירות ומנהלים). מהנדסי נתונים אחראים על הגדרת יצוא הנתונים ממערכת SAP אל שירות אחסון פשוט של אמזון (Amazon S3) באמצעות אמזון AppFlow, אשר אנליסטים עסקיים יכולים לאחר מכן להפעיל על פי דרישה או אוטומטית (מבוסס לוח זמנים) כדי לרענן את נתוני SAP בדלי S3. אנליסטים עסקיים אחראים לאחר מכן להפקת תחזיות עם הנתונים המיוצאים באמצעות Canvas. התרשים הבא ממחיש זרימת עבודה זו.

עבור פוסט זה, אנו משתמשים ב-SAP מודל רכש ארגוני של NetWeaver (EPM) עבור הנתונים לדוגמה. EPM משמש בדרך כלל למטרות הדגמה ובדיקה ב-SAP. הוא משתמש במודל תהליכים עסקיים נפוץ ועוקב אחר פרדיגמת האובייקט העסקי (BO) כדי לתמוך בלוגיקה עסקית מוגדרת היטב. השתמשנו בעסקת SAP SEPM_DG (מחולל נתונים) כדי ליצור כ-80,000 הזמנות מכירה היסטוריות ויצרנו תצוגת HANA CDS כדי לצבור את הנתונים לפי מזהה מוצר, תאריך מכירה ועיר, כפי שמוצג בקוד הבא:

@AbapCatalog.sqlViewName: 'ZCDS_EPM_VIEW'
@AbapCatalog.compiler.compareFilter: true
@AbapCatalog.preserveKey: true
@AccessControl.authorizationCheck: #CHECK
@EndUserText.label: 'Sagemaker canvas sales order'
@OData.publish: true define view ZCDS_EPM as select from epm_v_sales_data as sd
inner join epm_v_bp as bp on sd.bp_id = bp.bp_id { key sd.product_id as productid, bp.city, concat( cast( Concat( Concat( Concat(substring(cast (sd.created_at as abap.char( 30 )), 1, 4), '-'), Concat(substring(cast (sd.created_at as abap.char( 30 )), 5, 2), '-') ), Substring(cast (sd.created_at as abap.char( 30 )), 7, 2) ) as char10 preserving type),' 00:00:00') as saledate, cast(sum(sd.gross_amount) as abap.dec( 15, 3 )) as totalsales }
group by sd.product_id,sd.created_at, bp.city

בסעיף הבא, אנו חושפים את התצוגה הזו באמצעות שירותי SAP OData כמבנה ABAP, המאפשר לנו לחלץ את הנתונים עם Amazon AppFlow.

הטבלה הבאה מציגה את נתוני המכירות ההיסטוריים המייצגים מ-SAP, שבהם אנו משתמשים בפוסט זה.

קובץ הנתונים הוא נתונים היסטוריים של תדירות יומית. יש לו ארבע עמודות (productid, saledate, city, ו totalsales). אנו משתמשים ב-Canvas כדי לבנות מודל ML המשמש לחיזוי totalsales ל productid בעיר מסוימת.

פוסט זה אורגן כדי להציג את הפעילויות והאחריות הן של מהנדסי נתונים והן עבור אנליסטים עסקיים כדי ליצור תחזיות מכירות מוצרים.

מהנדס נתונים: חלץ, הפוך וטען את מערך הנתונים מ-SAP לאמזון S3 עם Amazon AppFlow

המשימה הראשונה שאתה מבצע כמהנדס נתונים היא להפעיל עבודת חילוץ, טרנספורמציה וטעינה (ETL) על נתוני מכירות היסטוריים מ-SAP ECC ל-S3 Bucket, שהאנליסט העסקי משתמש בו בתור מערך הנתונים המקור עבור מודל החיזוי שלו. לשם כך, אנו משתמשים ב-Amazon AppFlow, מכיוון שהוא מספק יציאה מהקופסה מחבר SAP OData עבור ETL ​​(כפי שמוצג בתרשים הבא), עם ממשק משתמש פשוט להגדרת כל מה שצריך כדי להגדיר את החיבור מה-SAP ECC ל-S3 bucket.

תנאים מוקדמים

להלן הדרישות לשילוב Amazon AppFlow עם SAP:

• SAP NetWeaver Stack גרסה 7.40 SP02 ומעלה
• שירות קטלוג (OData v2.0/v2.0) מופעל ב-SAP Gateway לגילוי שירות
• תמיכה באפשרויות עימוד ושאילתות בצד הלקוח עבור SAP OData Service
• חיבור עם HTTPS ל-SAP

אימות

Amazon AppFlow תומך בשני מנגנוני אימות לחיבור ל-SAP:

• בסיסי – מאמת באמצעות שם משתמש וסיסמה של SAP OData.
• OAuth 2.0 - משתמש בתצורת OAuth 2.0 עם ספק זהות. יש להפעיל את OAuth 2.0 עבור שירותי OData v2.0/v2.0.

הקשר

Amazon AppFlow יכולה להתחבר ל-SAP ECC באמצעות ממשק SAP OData ציבורי או חיבור פרטי. חיבור פרטי משפר את פרטיות ואבטחת הנתונים על ידי העברת נתונים דרך רשת AWS הפרטית במקום האינטרנט הציבורי. חיבור פרטי משתמש בשירות נקודת הקצה VPC עבור מופע SAP OData הפועל ב-VPC. לשירות נקודת הקצה של VPC חייב להיות מנהל שירות Amazon AppFlow appflow.amazonaws.com כמנהל מותר וחייב להיות זמין בלפחות יותר מ-50% מאזורי הזמינות באזור AWS.

הגדר זרימה באמזון AppFlow

אנו מגדירים זרימה חדשה באמזון AppFlow כדי להפעיל עבודת ETL על נתונים מ-SAP ל-S3 bucket. זרימה זו מאפשרת הגדרה של מחבר SAP OData כמקור, דלי S3 כיעד, בחירת אובייקט OData, מיפוי נתונים, אימות נתונים וסינון נתונים.

1. הגדר את SAP OData Connector כמקור נתונים על ידי אספקת המידע הבא:
   1. כתובת האתר של מארח האפליקציה
   2. נתיב שירות אפליקציה (נתיב קטלוגי)
   3. מספר נמל
   4. מספר לקוח
   5. שפת כניסה
   6. סוג חיבור (קישור פרטי או ציבורי)
   7. מצב אימות
   8. שם חיבור עבור התצורה
      
2. לאחר שתגדיר את המקור, בחר את אובייקט OData ואת אובייקט המשנה עבור הזמנות המכירה.
   בדרך כלל, נתוני מכירות מ-SAP מיוצאים בתדירות מסוימת, כגון חודשי או רבעוני עבור הגודל המלא. עבור פוסט זה, בחר באפשרות תת-האובייקט עבור הייצוא בגודל מלא.
   
3. בחר את הדלי S3 כיעד.
   הזרימה מייצאת נתונים לדלי זה.
   
4. בעד העדפת פורמט נתונים, בחר פורמט CSV.
5. בעד העדפת העברת נתונים, בחר צבר את כל הרשומות.
6. בעד העדפת שם קובץ, בחר הוסף חותמת זמן לשם הקובץ.
7. בעד העדפת מבנה תיקיות, בחר אין תיקייה עם חותמת זמן.
   תצורת צבירת הרשומות מייצאת את נתוני המכירות בגודל מלא מ-SAP בשילוב בקובץ אחד. שם הקובץ מסתיים בחותמת זמן בפורמט YYYY-MM-DDTHH:mm:ss בתיקייה אחת (שם זרימה) בתוך דלי S3. Canvas מייבא נתונים מקובץ יחיד זה לצורך אימון ותחזית מודלים.
   
8. הגדר מיפוי נתונים ואימותים כדי למפות את שדות נתוני המקור לשדות נתוני יעד, ואפשר כללי אימות נתונים כנדרש.
   
9. אתה גם מגדיר תנאי סינון נתונים כדי לסנן רשומות ספציפיות אם הדרישה שלך דורשת.
   
10. הגדר את טריגר הזרימה שלך כדי להחליט אם הזרימה פועלת ידנית לפי דרישה או אוטומטית על סמך לוח זמנים.
    כאשר מוגדרים ללוח זמנים, התדירות מבוססת על התדירות שבה צריך להפיק את התחזית (בדרך כלל חודשית, רבעונית או חצי שנתית).
    לאחר הגדרת התזרים, האנליסטים העסקיים יכולים להפעיל אותו לפי דרישה או על סמך לוח הזמנים לביצוע עבודת ETL על נתוני הזמנת המכירות מ-SAP ל-S3 bucket.
11. בנוסף לתצורת Amazon AppFlow, מהנדסי הנתונים צריכים גם להגדיר א AWS זהות וניהול גישה תפקיד (IAM) עבור Canvas כדי שתוכל לגשת לשירותי AWS אחרים. להנחיות, עיין ב תן למשתמשים שלך הרשאות לבצע חיזוי סדרות זמן.

אנליסט עסקי: השתמש בנתוני המכירות ההיסטוריים כדי להכשיר מודל חיזוי

בואו נחליף הילוך ונעבור לצד האנליסטים העסקיים. כאנליסט עסקי, אנו מחפשים שירות חזותי, הצבע והקליק, המקל על בניית מודלים של ML ויצירת תחזיות מדויקות מבלי לכתוב שורת קוד אחת או להיות בעל מומחיות ב-ML. קנבס מתאים לדרישה כפתרון ML ללא קוד.

ראשית, ודא שתפקיד IAM שלך מוגדר בצורה כזו ש-Canvas יכול לגשת לשירותי AWS אחרים. למידע נוסף, עיין ב תן למשתמשים שלך הרשאות לבצע חיזוי סדרות זמן, או שתוכל לבקש עזרה לצוות הנדסת הענן שלך.

כאשר מהנדס הנתונים סיים להגדיר את תצורת ETL מבוססת Amazon AppFlow, נתוני המכירות ההיסטוריים זמינים עבורך בדלי S3.

עכשיו אתה מוכן להכשיר דוגמנית עם Canvas! זה כרוך בדרך כלל בארבעה שלבים: ייבוא ​​נתונים לשירות, הגדרת אימון המודל על ידי בחירת סוג המודל המתאים, אימון המודל ולבסוף הפקת תחזיות באמצעות המודל.

ייבוא ​​נתונים ב-Canvas

ראשית, הפעל את אפליקציית Canvas מ- אמזון SageMaker מסוף או מגישה לכניסה יחידה. אם אינך יודע כיצד לעשות זאת, פנה למנהל המערכת שלך כדי שידריך אותך בתהליך ההגדרה של Canvas. ודא שאתה ניגש לשירות באותו אזור כמו דלי S3 המכיל את מערך הנתונים ההיסטורי מ-SAP. אתה אמור לראות מסך כמו הבא.

לאחר מכן השלם את השלבים הבאים:

1. ב-Canvas, בחר מערכי נתונים בחלונית הניווט.
2. בחרו תבואו כדי להתחיל לייבא נתונים מדלי S3.
   
3. במסך הייבוא, בחר את קובץ הנתונים או האובייקט מדלי S3 כדי לייבא את נתוני האימון.
   

אתה יכול לייבא מערכי נתונים מרובים ב-Canvas. זה גם תומך ביצירת חיבורים בין מערכי הנתונים על ידי בחירה הצטרפו לנתונים, דבר שימושי במיוחד כאשר נתוני האימון מפוזרים על פני מספר קבצים.

הגדר והכשיר את הדגם

לאחר ייבוא ​​הנתונים, בצע את השלבים הבאים:

1. בחרו מודלים בחלונית הניווט.
2. בחרו מודל חדש כדי להתחיל תצורה לאימון מודל התחזית.
   
3. לדגם החדש תנו לו שם מתאים, כגון product_sales_forecast_model.
4. בחר את מערך המכירות ובחר בחר מערך נתונים.
   
   לאחר בחירת מערך הנתונים, תוכל לראות נתונים סטטיסטיים ולהגדיר את הדרכת המודל בכרטיסייה Build.
   
5. בחר סך מכירות בתור עמודת היעד של החיזוי.
   אתה יכול לראות חיזוי סדרות זמן נבחר אוטומטית כסוג הדגם.
6. בחרו גדר.
   
7. ב תצורת חיזוי סדרות זמן סעיף, בחר מזהה מוצר ל עמודת מזהה פריט.
8. בחרו עיר ל עמודת קבוצה.
9. בחרו תאריך המכירה ל עמודת חותמת זמן.
10. בעד ימים, להיכנס 120.
11. בחרו שמור.
    זה מגדיר את המודל ליצירת תחזיות עבורו totalsales למשך 120 יום בשימוש saledate מבוסס על נתונים היסטוריים, שניתן לברר לגביהם productid ו city.
    
12. כאשר תצורת אימון הדגם הושלמה, בחר מבנה סטנדרטי כדי להתחיל את הכשרת המודל.

השמיים דגם תצוגה מקדימה האפשרות אינה זמינה עבור סוג מודל חיזוי של סדרות זמן. אתה יכול לסקור את הזמן המשוער להכשרת המודל על לנתח TAB.

אימון מודל עשוי להימשך 1-4 שעות להשלמת, בהתאם לגודל הנתונים. כאשר המודל מוכן, תוכל להשתמש בו כדי להפיק את התחזית.

צור תחזית

כאשר הכשרת המודל הושלמה, זה מראה את דיוק הניבוי של המודל על לנתח לשונית. לדוגמה, בדוגמה זו, הוא מציג דיוק חיזוי של 92.87%.

התחזית מופקת על לחזות לשונית. ניתן ליצור תחזיות עבור כל הפריטים או פריט בודד נבחר. זה גם מציג את טווח התאריכים שעבורו ניתן להפיק את התחזית.

כדוגמה, בחר את פריט בודד אפשרות. בחר P-2 ל פריט ו קיטו ל קְבוּצָה כדי ליצור תחזית עבור מוצר P-2 עבור העיר קיטו עבור טווח התאריכים 2017-08-15 00:00:00 עד 2017-12-13 00:00:00.

התחזית המופקת מציגה את התחזית הממוצעת וכן את הגבול העליון והתחתון של התחזית. גבולות התחזית עוזרים להגדיר גישה אגרסיבית או מאוזנת לטיפול בתחזית.

אתה יכול גם להוריד את התחזית שנוצרה כקובץ CSV או תמונה. קובץ CSV התחזית שנוצר משמש בדרך כלל לעבודה במצב לא מקוון עם נתוני התחזית.

כעת נוצרת התחזית עבור נתוני סדרת הזמן. כאשר קו בסיס חדש של נתונים הופך זמין עבור התחזית, אתה יכול לשנות את מערך הנתונים ב-Canvas כדי לאמן מחדש את מודל התחזית באמצעות קו הבסיס החדש.

אתה יכול לאמן מחדש את המודל מספר פעמים כאשר וכאשר נתוני האימון משתנים.

סיכום

בפוסט זה למדת כיצד Amazon AppFlow SAP OData Connector מייצא נתוני הזמנות מכירות ממערכת SAP לתוך דלי S3 ולאחר מכן כיצד להשתמש ב-Canvas כדי לבנות מודל לחיזוי.

אתה יכול להשתמש ב-Canvas עבור כל תרחישי נתונים מסדרת זמן של SAP, כגון חיזוי הוצאות או הכנסות. כל תהליך יצירת התחזית מונע תצורה. מנהלי מכירות ונציגי מכירות יכולים ליצור תחזיות מכירות שוב ושוב מדי חודש או לרבעון עם סט נתונים מרענן בצורה מהירה, פשוטה ואינטואיטיבית מבלי לכתוב שורת קוד אחת. זה עוזר לשפר את הפרודוקטיביות ומאפשר תכנון והחלטות מהירים.

כדי להתחיל, למד עוד על Canvas ו-Amazon AppFlow באמצעות המשאבים הבאים:

• Amazon SageMaker Canvas מדריך למפתחים
• הכריזה על אמזון SageMaker Canvas - יכולת למידת מכונה חזותית ללא קוד עבור אנליסטים עסקיים
• חלץ נתונים מ-SAP ERP ו-BW עם Amazon AppFlow
• תצורת מחבר SAP OData

על הכותבים

בריידרה סינג הוא ארכיטקט פתרונות ב- Amazon Web Services שעובד עם לקוחות ארגוניים. יש לו רקע חזק של מפתחים והוא חובב נלהב לפתרונות נתונים ולמידת מכונה.

דויד גליטלי הוא אדריכל פתרונות מומחה עבור AI/ML באזור EMEA. הוא מבוסס בבריסל ועובד בשיתוף פעולה הדוק עם לקוחות ברחבי בנלוקס. הוא מפתח מאז שהיה צעיר מאוד, התחיל לקוד בגיל 7. הוא התחיל ללמוד AI/ML באוניברסיטה, ומאז התאהב בזה.

• Coinsmart. בורסת הביטקוין והקריפטו הטובה באירופה.
• Platoblockchain. Web3 Metaverse Intelligence. ידע מוגבר. גישה חופשית.
• CryptoHawk. רדאר אלטקוין. ניסיון חינם.
• מקור: https://aws.amazon.com/blogs/machine-learning/extract-insights-from-sap-erp-with-no-code-ml-solutions-with-amazon-appflow-and-amazon-sagemaker- בַּד/