מאיץ את הזמן עד לתובנה עם אוספי סדרות הזמן של MongoDB ו-Amazon SageMaker Canvas | שירותי האינטרנט של אמזון

זהו פוסט אורח שנכתב בשיתוף עם Babu Srinivasan מ- MongoDB.

ככל שתעשיות מתפתחות בנוף העסקי המהיר של היום, חוסר היכולת לקבל תחזיות בזמן אמת מציבה אתגרים משמעותיים עבור תעשיות הנשענות במידה רבה על תובנות מדויקות ובזמן. היעדר תחזיות בזמן אמת בתעשיות שונות מציג אתגרים עסקיים דחופים שיכולים להשפיע באופן משמעותי על קבלת ההחלטות ועל היעילות התפעולית. ללא תובנות בזמן אמת, עסקים נאבקים להסתגל לתנאי שוק דינמיים, לצפות במדויק את דרישת הלקוחות, לייעל את רמות המלאי ולקבל החלטות אסטרטגיות יזומות. תעשיות כגון פיננסים, קמעונאות, ניהול שרשרת אספקה ​​ולוגיסטיקה עומדות בפני הסיכון של החמצת הזדמנויות, עלויות מוגברות, הקצאת משאבים לא יעילה וחוסר יכולת לעמוד בציפיות הלקוחות. על ידי בחינת אתגרים אלו, ארגונים יכולים להכיר בחשיבות של חיזוי בזמן אמת ולחקור פתרונות חדשניים להתגבר על המכשולים הללו, שיאפשרו להם להישאר תחרותיים, לקבל החלטות מושכלות ולשגשג בסביבה העסקית המהירה של היום.

על ידי ניצול הפוטנציאל הטרנספורמטיבי של הילידים של MongoDB סדרת זמן יכולות נתונים ושילובם בעוצמה של אמזון SageMaker Canvas, ארגונים יכולים להתגבר על אתגרים אלה ולפתוח רמות חדשות של זריזות. ניהול נתוני סדרות הזמן החזק של MongoDB מאפשר אחסון ושליפה של כמויות גדולות של נתונים מסדרות זמן בזמן אמת, בעוד אלגוריתמים מתקדמים של למידת מכונה ויכולות חיזוי מספקים מודלים של חיזוי מדויקים ודינאמיים עם SageMaker Canvas.

בפוסט זה, נחקור את הפוטנציאל של שימוש בנתוני סדרות הזמן של MongoDB וב-SageMaker Canvas כפתרון מקיף.

MongoDB אטלס

MongoDB אטלס היא פלטפורמת נתונים למפתחים מנוהלת במלואה המפשטת את הפריסה והקנה מידה של מסדי נתונים MongoDB בענן. זהו אחסון מבוסס מסמכים המספק מסד נתונים מנוהל במלואו, עם טקסט מלא ווקטור מובנים חיפוש, תמיכה ל Geospatial שאילתות, תרשימים ותמיכה מקורית עבור יעיל סדרת זמן יכולות אחסון ושאילתות. MongoDB Atlas מציע פיצול אוטומטי, מדרגיות אופקית ואינדקס גמיש להטמעת נתונים בנפח גבוה. בין הכל, יכולות סדרות הזמן המקוריות הן תכונה בולטת, מה שהופך אותה לאידיאלית לניהול נפח גדול של נתונים מסדרות זמן, כגון נתוני יישומים קריטיים לעסקים, טלמטריה, יומני שרת ועוד. בעזרת שאילתות, צבירה וניתוח יעילים, עסקים יכולים לחלץ תובנות חשובות מנתונים עם חותמת זמן. על ידי שימוש ביכולות אלה, עסקים יכולים לאחסן, לנהל ולנתח נתונים מסדרות זמן ביעילות, מה שמאפשר החלטות מונעות נתונים ולהשיג יתרון תחרותי.

אמזון SageMaker Canvas

אמזון SageMaker Canvas הוא שירות למידת מכונה חזותית (ML) המאפשר לאנליסטים עסקיים ומדעני נתונים לבנות ולפרוס מודלים מותאמים אישית של ML ללא צורך בניסיון ML או צורך לכתוב שורת קוד אחת. SageMaker Canvas תומך במספר מקרי שימוש, כולל חיזוי סדרות זמן, מה שמאפשר לעסקים לחזות ביקוש עתידי, מכירות, דרישות משאבים ונתוני סדרות זמן אחרים במדויק. השירות משתמש בטכניקות למידה עמוקה לטיפול בדפוסי נתונים מורכבים ומאפשר לעסקים לייצר תחזיות מדויקות גם עם נתונים היסטוריים מינימליים. על ידי שימוש ביכולות של Amazon SageMaker Canvas, עסקים יכולים לקבל החלטות מושכלות, לייעל את רמות המלאי, לשפר את היעילות התפעולית ולשפר את שביעות רצון הלקוחות.

ממשק המשתמש של SageMaker Canvas מאפשר לך לשלב בצורה חלקה מקורות נתונים מהענן או המקומי, למזג מערכי נתונים ללא מאמץ, לאמן מודלים מדויקים ולבצע תחזיות עם נתונים מתעוררים - הכל ללא קידוד. אם אתה צריך זרימת עבודה אוטומטית או אינטגרציה ישירה של מודל ML באפליקציות, פונקציות חיזוי Canvas נגישות דרך ממשקי API.

סקירת פתרונות

משתמשים מתמידים בנתוני סדרות הזמן העסקאות שלהם ב- MongoDB Atlas. באמצעות Atlas Data Federation, הנתונים מחולצים לדלי של Amazon S3. Amazon SageMaker Canvas גישה לנתונים כדי לבנות מודלים וליצור תחזיות. תוצאות החיזוי מאוחסנות בדלי S3. באמצעות שירותי MongoDB Data Federation, התחזיות מוצגות בצורה ויזואלית באמצעות תרשימי MongoDB.

התרשים הבא מתאר את ארכיטקטורת הפתרון המוצעת.

תנאים מוקדמים

עבור פתרון זה אנו משתמשים ב-MongoDB Atlas לאחסון נתוני סדרות זמן, ב- Amazon SageMaker Canvas כדי לאמן מודל ולהפיק תחזיות, וב-Amazon S3 לאחסון נתונים שחולצו מ- MongoDB Atlas.

ודא שיש לך את התנאים המוקדמים הבאים:

הגדר את אשכול MongoDB Atlas

צור אשכול MongoDB Atlas בחינם על ידי ביצוע ההוראות ב צור אשכול. הגדר את גישה למסד נתונים ו גישה לרשת.

אכלס אוסף סדרות זמן ב-MongoDB Atlas

למטרות הדגמה זו, אתה יכול להשתמש בערכת נתונים לדוגמה מאת קגל ולהעלות את אותו הדבר ל- MongoDB Atlas עם MongoDB כלים , רצוי מצפן MongoDB.

הקוד הבא מציג ערכת נתונים לדוגמה עבור אוסף סדרות זמן:

{ "store": "1 1", "timestamp": { "2010-02-05T00:00:00.000Z"}, "temperature": "42.31", "target_value": 2.572, "IsHoliday": false
}

צילום המסך הבא מציג את נתוני סדרת הזמן לדוגמה ב- MongoDB Atlas:

צור דלי S3

צור דלי S3 ב-AWS, שבו יש לאחסן ולנתח את נתוני סדרת הזמן. שימו לב שיש לנו שתי תיקיות. sales-train-data משמש לאחסון נתונים שחולצו מ- MongoDB Atlas, בעוד sales-forecast-output מכיל תחזיות מ- Canvas.

צור את פדרציית הנתונים

הגדר את פדרציית נתונים ב-Atlas ורשום את דלי S3 שנוצר בעבר כחלק ממקור הנתונים. שימו לב ששלושת מסדי הנתונים/אוספים השונים נוצרים באיגוד הנתונים עבור אשכול Atlas, דלי S3 עבור נתוני MongoDB Atlas ודלי S3 לאחסון תוצאות ה-Canvas.

צילומי המסך הבאים מציגים את ההגדרה של פדרציית הנתונים.

הגדר את שירות האפליקציה של Atlas

צור את שירותי יישומים של MongoDB לפרוס את הפונקציות להעברת הנתונים מאשכול MongoDB Atlas לדלי S3 באמצעות $ החוצה צבירה.

אמת את תצורת מקור הנתונים

שירותי האפליקציה יוצרים שם שירות חדש של Altas שיש להתייחס אליו כשירותי הנתונים בפונקציה הבאה. ודא ששם השירות של Atlas נוצר וציין אותו לעיון עתידי.

צור את הפונקציה

הגדר את שירותי יישומי אטלס כדי ליצור את טריגר ופונקציות. יש לתזמן את הטריגרים לכתוב את הנתונים ל-S3 בתדירות תקופתית המבוססת על הצורך העסקי באימון המודלים.

הסקריפט הבא מציג את הפונקציה לכתיבה לדלי S3:

exports = function () { const service = context.services.get(""); const db = service.db("") const events = db.collection(""); const pipeline = [ { "$out": { "s3": { "bucket": "<S3_bucket_name>", "region": "<AWS_Region>", "filename": {$concat: ["<S3path>/<filename>_",{"$toString": new Date(Date.now())}]}, "format": { "name": "json", "maxFileSize": "10GB" } } } } ]; return events.aggregate(pipeline);
};

פונקציה לדוגמה

ניתן להפעיל את הפונקציה דרך הכרטיסייה הפעלה וניתן לנפות את השגיאות באמצעות תכונות היומן בשירותי היישומים. בנוסף, ניתן לנפות את השגיאות באמצעות תפריט Logs בחלונית השמאלית.

צילום המסך הבא מציג את ביצוע הפונקציה יחד עם הפלט:

צור מערך נתונים ב- Amazon SageMaker Canvas

השלבים הבאים מניחים שיצרת דומיין ופרופיל משתמש של SageMaker. אם עדיין לא עשית זאת, ודא שאתה מגדיר את SageMaker דומיין ו פרופיל משתמש. בפרופיל המשתמש, עדכן את דלי S3 שלך כך שיהיה מותאם אישית וציין את שם הדלי שלך.

בסיום, נווט אל SageMaker Canvas, בחר את הדומיין והפרופיל שלך ובחר Canvas.

צור מערך נתונים המספק את מקור הנתונים.

בחר את מקור הנתונים כ-S3

בחר את מיקום הנתונים מתוך דלי S3 ובחר צור מערך נתונים.

סקור את הסכימה ולחץ על צור מערך נתונים

עם הייבוא ​​המוצלח, מערך הנתונים יופיע ברשימה כפי שמוצג בצילום המסך הבא.

הרכבת הדגם

לאחר מכן, נשתמש ב-Canvas כדי להגדיר לאימון המודל. בחר את מערך הנתונים ולחץ על צור.

צור שם דגם, בחר ניתוח חזוי ובחר צור.

בחר עמודת יעד

לאחר מכן, לחץ על הגדר מודל סדרת זמן ובחר item_id כעמודה Item ID.

בחר tm עבור עמודת חותמת הזמן

כדי לציין את משך הזמן שברצונך לחזות, בחר 8 שבועות.

כעת אתה מוכן לתצוגה מקדימה של המודל או להפעיל את תהליך הבנייה.

לאחר תצוגה מקדימה של המודל או הפעלת ה-build, המודל שלך ייווצר ויכול להימשך עד ארבע שעות. אתה יכול לעזוב את המסך ולחזור כדי לראות את מצב הכשרת הדגם.

כאשר הדגם מוכן, בחר את הדגם ולחץ על הגרסה העדכנית ביותר

סקור את מדדי המודל והשפעת העמודות ואם אתה מרוצה מביצועי המודל, לחץ על חזה.

לאחר מכן, בחר חיזוי אצווה ולחץ על בחר מערך נתונים.

בחר את מערך הנתונים שלך ולחץ על בחר מערך נתונים.

לאחר מכן, לחץ על התחל חיזויים.

צפה בעבודה שנוצרה או צפה בהתקדמות העבודה ב- SageMaker תחת Inference, Batch transform jobs.

בסיום העבודה, בחר את העבודה ושימו לב לנתיב ה-S3 שבו קנבס אחסן את התחזיות.

הדמיין נתוני תחזית ב- Atlas Charts

כדי להמחיש נתוני תחזית, צור את טבלאות MongoDB Atlas מבוסס על הנתונים המאוחדים (amazon-forecast-data) עבור תחזיות P10, P50 ו-P90 כפי שמוצג בתרשים הבא.

לנקות את

• מחק את אשכול MongoDB Atlas
• מחק את תצורת הפדרציה של Atlas Data
• מחק את אפליקציית שירות האפליקציה של Atlas
• מחק את ה-S3 Bucket
• מחק את מערך הנתונים והדגמים של Amazon SageMaker Canvas
• מחק את תרשימי האטלס
• התנתק מאמזון SageMaker Canvas

סיכום

בפוסט זה חילצנו נתוני סדרות זמן מאוסף סדרות זמן של MongoDB. זהו אוסף מיוחד המותאם למהירות אחסון ושאילתה של נתוני סדרות זמן. השתמשנו באמזון SageMaker Canvas כדי לאמן מודלים וליצור תחזיות ודמיינו את התחזיות ב- Atlas Charts.

למידע נוסף, עיין במשאבים הבאים.

---

על המחברים

איגור אלכסייב הוא ארכיטקט פתרונות שותפים בכיר ב-AWS בתחום הנתונים והאנליטיקס. בתפקידו איגור עובד עם שותפים אסטרטגיים המסייעים להם לבנות ארכיטקטורות מורכבות ומותאמות ל-AWS. לפני שהצטרף ל-AWS, כאדריכל Data/Solution הוא יישם פרויקטים רבים בתחום הביג דאטה, כולל מספר אגמי נתונים באקוסיסטם של Hadoop. כמהנדס נתונים הוא היה מעורב ביישום AI/ML לאיתור הונאה ואוטומציה משרדית.

באבו סריניוואסן הוא אדריכל פתרונות שותפים בכיר ב- MongoDB. בתפקידו הנוכחי, הוא עובד עם AWS כדי לבנות את האינטגרציות הטכניות וארכיטקטורות ההתייחסות לפתרונות AWS ו-MongoDB. יש לו יותר משני עשורים של ניסיון בטכנולוגיות מסדי נתונים וענן. הוא נלהב לספק פתרונות טכניים ללקוחות העובדים עם מספר אינטגרטורים גלובליים (GSIs) ברחבי גיאוגרפיות מרובות.

• הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
• PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
• PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
• PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
• PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
• מקור: https://aws.amazon.com/blogs/machine-learning/accelerating-time-to-insight-with-mongodb-time-series-collections-and-amazon-sagemaker-canvas/