חיזוי סדרות זמן מתייחס לתהליך של חיזוי ערכים עתידיים של נתוני סדרות זמן (נתונים שנאספים במרווחי זמן קבועים לאורך זמן). שיטות פשוטות לחיזוי סדרות זמן משתמשות בערכים היסטוריים של אותו משתנה שצריך לחזות את ערכיו העתידיים, בעוד ששיטות מורכבות יותר, מבוססות למידת מכונה (ML) משתמשות במידע נוסף, כגון נתוני סדרות הזמן של משתנים קשורים.
תחזית אמזון הוא שירות חיזוי סדרות זמן מבוסס ML הכולל אלגוריתמים המבוססים על למעלה מ-20 שנות ניסיון בחיזוי בשימוש על ידי Amazon.com, הבאת אותה טכנולוגיה המשמשת באמזון למפתחים כשירות מנוהל במלואו, ומסיר את הצורך בניהול משאבים. Forecast משתמשת ב-ML כדי ללמוד לא רק את האלגוריתם הטוב ביותר עבור כל פריט, אלא גם את אנסמבל האלגוריתמים הטוב ביותר עבור כל פריט, ויוצר באופן אוטומטי את המודל הטוב ביותר עבור הנתונים שלך.
פוסט זה מתאר כיצד לפרוס עומסי עבודה חוזרים של Forecast (חיזוי עומסי עבודה של סדרות זמן) ללא קוד באמצעות AWS CloudFormation, פונקציות שלב AWS, ו מנהל מערכות AWS. השיטה המוצגת כאן עוזרת לך לבנות צינור המאפשר לך להשתמש באותה זרימת עבודה החל מהיום הראשון של ניסוי חיזוי סדרת הזמן שלך ועד לפריסת המודל לייצור.
חיזוי סדרות זמן באמצעות Forecast
זרימת העבודה עבור Forecast כוללת את המושגים הנפוצים הבאים:
- ייבוא מערכי נתונים – בתחזית, א קבוצת נתונים הוא אוסף של מערכי נתונים, סכימה ותוצאות תחזיות שהולכים יחד. לכל קבוצת מערכי נתונים יכולים להיות עד שלושה מערכי נתונים, אחד מכל אחד מערך נתונים סוג: סדרת זמן יעד (TTS), סדרת זמן קשורה (RTS) ומטא נתונים של פריט. מערך נתונים הוא אוסף של קבצים המכילים נתונים שרלוונטיים למשימת חיזוי. מערך נתונים חייב להתאים לסכימה שהוגדרה בתוך Forecast. לפרטים נוספים, עיין ב ייבוא מערכי נתונים.
- מנבאי אימון - מְנַבֵּא הוא מודל שהוכשר לתחזית המשמש להכנת תחזיות המבוססות על נתוני סדרות זמן. במהלך האימון, Forecast מחשבת מדדי דיוק שבהם אתה משתמש כדי להעריך את המנבא ולהחליט אם להשתמש במנבא כדי ליצור תחזית. למידע נוסף, עיין ב חיזוי אימון.
- הפקת תחזיות - לאחר מכן תוכל להשתמש במודל המאומן להפקת תחזיות עבור אופק זמן עתידי, המכונה אופק חיזוי. תחזית מספקת תחזיות בכמויות שונות שצוינו. לדוגמה, תחזית בקוונטיל 0.90 תעריך ערך הנמוך מהערך הנצפה ב-90% מהזמן. כברירת מחדל, Forecast משתמש בערכים הבאים עבור סוגי התחזיות המנבאות: 0.1 (P10), 0.5 (P50) ו-0.9 (P90). תחזיות בכמויות שונות משמשות בדרך כלל כדי לספק מרווח חיזוי (גבול עליון ותחתון לתחזיות) כדי לקחת בחשבון את אי הוודאות בתחזית.
אתה יכול ליישם זרימת עבודה זו ב-Forecast גם מה- קונסולת הניהול של AWS, ה ממשק שורת הפקודה של AWS (AWS CLI), דרך קריאות API באמצעות מחברות Python, או באמצעות פתרונות אוטומציה. ה לנחם ו AWS CLI השיטות מתאימות ביותר לניסויים מהירים לבדיקת היתכנות של חיזוי סדרות זמן באמצעות הנתונים שלך. שיטת המחברת Python מצוינת עבור מדעני נתונים שכבר מכירים את המחברות והקידוד של Jupyter, ומספקת שליטה וכוונון מקסימליים. עם זאת, השיטה מבוססת המחברת קשה לביצוע. גישת האוטומציה שלנו מאפשרת ניסויים מהירים, מבטלת משימות שחוזרות על עצמן ומאפשרת מעבר קל יותר בין סביבות שונות (פיתוח, בימוי, ייצור).
בפוסט זה, אנו מתארים גישת אוטומציה לשימוש ב-Forecast המאפשרת לך להשתמש בנתונים שלך ומספקת זרימת עבודה אחת שתוכל להשתמש בה בצורה חלקה לאורך כל מחזור החיים של הפיתוח של פתרון החיזוי שלך, מהימים הראשונים של הניסוי ועד לפריסה של הפתרון בסביבת הייצור שלך.
סקירת פתרונות
בסעיפים הבאים, אנו מתארים זרימת עבודה מלאה מקצה לקצה המשמשת כתבנית לעקוב אחר פריסה אוטומטית של מודלים לחיזוי סדרות זמן באמצעות Forecast. זרימת עבודה זו יוצרת נקודות נתונים חזויות ממערך נתונים של קלט בקוד פתוח; עם זאת, אתה יכול להשתמש באותה זרימת עבודה עבור הנתונים שלך, כל עוד אתה יכול לעצב את הנתונים שלך לפי השלבים המתוארים בפוסט זה. לאחר העלאת הנתונים, אנו מדריכים אותך לאורך השלבים ליצירת קבוצות מערך תחזית, ייבוא נתונים, הדרכה של מודלים של ML ויצירת נקודות נתונים חזויות על אופקי זמן בלתי נראים עתידיים מנתונים גולמיים. כל זה אפשרי ללא צורך לכתוב או להדר קוד.
התרשים הבא ממחיש את זרימת העבודה של החיזוי.
הפתרון נפרס באמצעות שתי תבניות CloudFormation: תבנית התלות ותבנית עומס העבודה. CloudFormation מאפשר לך לבצע פריסות תשתית AWS באופן צפוי וחוזר על ידי שימוש בתבניות המתארות את המשאבים שיש לפרוס. תבנית פרוסה מכונה א לערום. דאגנו להגדיר עבורכם את התשתית בפתרון בשתי התבניות המסופקות. תבנית התלות מגדירה משאבים מוקדמים המשמשים את תבנית עומס העבודה, כגון שירות אחסון פשוט של אמזון (Amazon S3) דלי לאחסון חפצים ו AWS זהות וניהול גישה הרשאות (IAM) עבור פעולות AWS API. המשאבים המוגדרים בתבנית התלות עשויים להיות משותפים על ידי תבניות עומס עבודה מרובות. תבנית עומס העבודה מגדירה את המשאבים המשמשים להטמעת נתונים, אימון מנבא ויצירת תחזית.
פרוס את תבנית התלות CloudFormation
ראשית, בואו נפרוס את תבנית התלות כדי ליצור את המשאבים המוקדמים שלנו. תבנית התלות פורסת דלי S3 אופציונלי, AWS למבדה פונקציות ותפקידי IAM. Amazon S3 הוא שירות אחסון חפצים בעלות נמוכה, זמין מאוד, גמיש. אנו משתמשים בדלי S3 בפתרון זה כדי לאחסן נתוני מקור ולהפעיל את זרימת העבודה, וכתוצאה מכך תחזית. Lambda הוא שירות מחשוב נטול שרתים מונע אירועים המאפשר לך להריץ קוד מבלי להקצות או לנהל שרתים. תבנית התלות כוללת פונקציות לביצוע דברים כמו יצירת קבוצת מערך נתונים ב-Forecast וטיהור אובייקטים בתוך דלי S3 לפני מחיקת הדלי. תפקידי IAM מגדירים הרשאות בתוך AWS עבור משתמשים ושירותים. תבנית התלות פורסת תפקיד שישמש את Lambda ואחר עבור Step Functions, שירות ניהול זרימת עבודה שירכז את המשימות של קליטת נתונים ועיבוד, כמו גם אימון מנבאים והסקת מסקנות באמצעות Forecast.
השלם את השלבים הבאים כדי לפרוס את תבנית התלות:
- במסוף, בחר את הרצוי אזור נתמך על ידי Forecast לפריסת פתרונות.
- במסוף CloudFormation של AWS, בחר ערימות בחלונית הניווט.
- בחרו צור ערימה ולבחור עם משאבים חדשים (סטנדרטי).
- בעד מקור התבנית, בחר S3 URL של אמזון.
- הזן את כתובת האתר של התבנית:
https://amazon-forecast-samples.s3.us-west-2.amazonaws.com/ml_ops/forecast-mlops-dependency.yaml
. - בחרו הַבָּא.
- בעד שם ערימה, להיכנס
forecast-mlops-dependency
. - תַחַת פרמטרים, בחר להשתמש בדלי S3 קיים או ליצור אחד חדש, ולאחר מכן ספק את שם הדלי.
- בחרו הַבָּא.
- בחרו הַבָּא כדי לקבל את אפשרויות מחסנית ברירת המחדל.
- בחר בתיבת הסימון כדי לאשר שהמחסנית יוצרת משאבי IAM, ולאחר מכן בחר צור ערימה כדי לפרוס את התבנית.
אתה אמור לראות את פריסת התבנית בתור forecast-mlops-dependency
לַעֲרוֹם. כאשר הסטטוס משתנה ל CREATE_COMPLETE
, תוכל לעבור לשלב הבא.
פרוס את עומס העבודה של תבנית CloudFormation
לאחר מכן, בואו נפרוס את תבנית עומס העבודה כדי ליצור את המשאבים המוקדמים שלנו. תבנית עומס העבודה פורסת מכונות מצב של Step Functions לניהול זרימת עבודה, חנות פרמטרים של מנהל מערכות AWS פרמטרים לאחסון ערכי פרמטרים מ-AWS CloudFormation וליידע את זרימת העבודה, א שירות התראה פשוט של אמזון (Amazon SNS) נושא להתראות על זרימת עבודה, ותפקיד IAM עבור הרשאות שירות זרימת עבודה.
הפתרון יוצר חמש מכונות מדינה:
- CreateDatasetGroupStateMachine – יוצר קבוצת מערכי נתונים של תחזית עבור נתונים שיובא לתוכם.
- CreateImportDatasetStateMachine - מייבא נתוני מקור מאמזון S3 לקבוצת נתונים לצורך הדרכה.
- CreateForecastStateMachine - מנהל את המשימות הנדרשות לאימון מנבא ויצירת תחזית.
- AthenaConnectorStateMachine - מאפשר לך לכתוב שאילתות SQL עם ה אמזונה אתנה מחבר לנתוני קרקע באמזון S3. זהו תהליך אופציונלי להשגת נתונים היסטוריים בפורמט הנדרש עבור Forecast על ידי שימוש ב- Athena במקום הצבת קבצים ידנית באמזון S3.
- StepFunctionWorkflowStateMachine - קואורדינטות מתקשרות לארבעת מכונות המדינה האחרות ומנהלת את זרימת העבודה הכוללת.
Parameter Store, יכולת של Systems Manager, מספקת אחסון מאובטח, היררכי ואחזור פרוגרמטי של ניהול נתוני תצורה וניהול סודות. מאגר פרמטרים משמש לאחסון פרמטרים שהוגדרו בערימת עומס העבודה וכן פרמטרים אחרים המשמשים את זרימת העבודה.
השלם את השלבים הבאים כדי לפרוס את תבנית עומס העבודה:
- במסוף CloudFormation של AWS, בחר ערימות בחלונית הניווט.
- בחרו צור ערימה ולבחור עם משאבים חדשים (סטנדרטי).
- בעד מקור התבנית, בחר S3 URL של אמזון.
- הזן את כתובת האתר של התבנית:
https://amazon-forecast-samples.s3.us-west-2.amazonaws.com/ml_ops/forecast-mlops-solution-guidance.yaml
. - בחרו הַבָּא.
- בעד שם ערימה, הכנס שם.
- קבל את ערכי ברירת המחדל או שנה את הפרמטרים.
הקפד להזין את שם הדלי S3 מחסנית התלות עבור S3 דלי וכתובת אימייל חוקית עבור SNSEndpoint גם אם אתה מקבל את ערכי ברירת המחדל של הפרמטרים.
הטבלה הבאה מתארת כל פרמטר.
פרמטר | תיאור | מידע נוסף |
DatasetGroupFrequencyRTS |
תדירות איסוף הנתונים עבור מערך הנתונים של RTS. | . |
DatasetGroupFrequencyTTS |
תדירות איסוף הנתונים עבור מערך הנתונים של TTS. | . |
DatasetGroupName |
שם קצר לקבוצת הנתונים, עומס עבודה עצמאי. | CreateDatasetGroup |
DatasetIncludeItem |
ציין אם ברצונך לספק מטא נתונים של פריט עבור מקרה שימוש זה. | . |
DatasetIncludeRTS |
ציין אם ברצונך לספק סדרת זמן קשורה למקרה שימוש זה. | . |
ForecastForecastTypes |
כאשר משרת CreateForecast פועלת, הדבר מצהיר עבור אילו קוונטילים להפיק תחזיות. אתה יכול לבחור עד חמישה ערכים במערך זה. ערוך ערך זה כך שיכלול ערכים בהתאם לצורך. | CreateForecast |
PredictorAttributeConfigs |
עבור משתנה היעד ב-TTS וכל שדה מספרי במערך הנתונים של RTS, יש ליצור רשומה עבור כל מרווח זמן עבור כל פריט. תצורה זו עוזרת לקבוע כיצד מילוי רשומות חסרות: עם 0, NaN או אחרת. אנו ממליצים להגדיר את הפערים ב-TTS עם NaN במקום 0. עם 0, המודל עשוי ללמוד בצורה שגויה להטות תחזיות לכיוון 0. NaN היא הדרך שבה ההנחיות מועברות. התייעץ עם אדריכל הפתרונות של AWS שלך בכל שאלה בנושא זה. | צור מנבא אוטומטי |
PredictorExplainPredictor |
ערכים חוקיים הם TRUE או FALSE. אלה קובעים אם יכולת ההסבר מופעלת עבור המנבא שלך. זה יכול לעזור לך להבין כיצד ערכים ב-RTS ומטא נתונים של פריט משפיעים על המודל. | הסבר |
PredictorForecastDimensions |
אולי תרצה לחזות בגרעין עדין יותר מאשר פריט. כאן, אתה יכול לציין מידות כגון מיקום, מרכז עלות, או כל הצרכים שלך. זה צריך להתאים למידות ב-RTS וב-TTS שלך. שים לב שאם אין לך ממד, הפרמטר הנכון הוא null, כשלעצמו ובאותיות קטנות. null היא מילה שמורה המאפשרת למערכת לדעת שאין פרמטר לממד. | צור מנבא אוטומטי |
PredictorForecastFrequency |
מגדיר את סולם הזמן שבו המודל והתחזיות שלך יופקו, כגון יומי, שבועי או חודשי. התפריט הנפתח עוזר לך לבחור ערכים מותרים. זה צריך להסכים עם סולם הזמן של ה-RTS שלך אם אתה משתמש ב-RTS. | צור מנבא אוטומטי |
PredictorForecastHorizon |
מספר שלבי הזמן שהמודל חוזה. אופק התחזית נקרא גם ה אורך חיזוי. | צור מנבא אוטומטי |
PredictorForecastOptimizationMetric |
מגדיר את מדד הדיוק המשמש לאופטימיזציה של המנבא. התפריט הנפתח יעזור לך לבחור יתרות אובדן כמותי משוקלל עבור חיזוי יתר או חסר. RMSE עוסק ביחידות, ו-WAPE/MAPE עוסקים באחוז שגיאות. | צור מנבא אוטומטי |
PredictorForecastTypes |
כאשר ל CreateAutoPredictor ריצות עבודה, זה מצהיר באילו קוונטילים נעשה שימוש לאימון נקודות חיזוי. אתה יכול לבחור עד חמישה ערכים במערך זה, המאפשרים לך לאזן בין חיזוי יתר ותחזית. ערוך ערך זה כך שיכלול ערכים בהתאם לצורך. |
צור מנבא אוטומטי |
S3Bucket |
השם של דלי S3 שבו נכתבים נתוני קלט ונתוני פלט עבור עומס העבודה הזה. | . |
SNSEndpoint |
כתובת דוא"ל חוקית לקבלת הודעות כאשר עבודות החיזוי והתחזית הושלמו. | . |
SchemaITEM |
זה מגדיר את הסדר הפיזי, שמות העמודות וסוגי הנתונים עבור מערך הנתונים של הפריט שלך. זהו קובץ אופציונלי המסופק בדוגמה של הפתרון. | צור מערך נתונים |
SchemaRTS |
זה מגדיר את הסדר הפיזי, שמות העמודות וסוגי הנתונים עבור מערך הנתונים של ה-RTS שלך. המידות חייבות להתאים ל-TTS שלך. גרעין הזמן של קובץ זה קובע את גרגר הזמן שבו ניתן לבצע תחזיות. זהו קובץ אופציונלי המסופק בדוגמה של הפתרון. | צור מערך נתונים |
SchemaTTS |
זה מגדיר את הסדר הפיזי, שמות העמודות וסוגי הנתונים עבור מערך הנתונים של ה-TTS שלך, מערך הנתונים הנדרש היחיד. הקובץ חייב להכיל לפחות ערך יעד, חותמת זמן ופריט. | צור מערך נתונים |
TimestampFormatRTS |
מגדיר את פורמט חותמת הזמן המסופק בקובץ RTS. | CreateDatasetImportJob |
TimestampFormatTTS |
מגדיר את פורמט חותמת הזמן המסופק בקובץ TTS. | CreateDatasetImportJob |
- בחרו הַבָּא כדי לקבל את אפשרויות מחסנית ברירת המחדל.
- בחר בתיבת הסימון כדי לאשר שהמחסנית יוצרת משאבי IAM, ולאחר מכן בחר צור ערימה כדי לפרוס את התבנית.
אתה אמור לראות את פריסת התבנית כשם המחסנית שבחרת קודם לכן. כאשר הסטטוס משתנה ל CREATE_COMPLETE
, תוכל לעבור לשלב העלאת הנתונים.
העלה את הנתונים
בסעיף הקודם, סיפקת שם מחסנית ודלי S3. סעיף זה מתאר כיצד להפקיד את מערך הנתונים הזמין לציבור ביקוש למזון בדלי הזה. אם אתה משתמש במערך נתונים משלך, עיין ב מערכי נתונים להכין את מערך הנתונים שלך בפורמט שהפריסה מצפה לו. מערך הנתונים צריך להכיל לפחות את סדרת הזמן היעד, ולחלופין, את סדרת הזמן הקשורה ואת המטא נתונים של הפריט:
- TTS הוא נתוני סדרת הזמן הכוללים את השדה שברצונך להפיק עבורו תחזית; שדה זה נקרא ה שדה היעד
- RTS הוא נתוני סדרות זמן שאינם כוללים את שדה היעד, אלא כוללים שדה קשור
- קובץ נתוני הפריט אינו נתוני סדרת זמן, אלא כולל מידע מטא נתונים על הפריטים במערך הנתונים של TTS או RTS
בצע את הצעדים הבאים:
- אם אתה משתמש במערך הנתונים לדוגמה שסופק, הורד את מערך הנתונים ביקוש למזון למחשב שלך ופתח את הקובץ, מה שיוצר שלושה קבצים בתוך שלוש ספריות (
rts
,tts
,item
). - בקונסולת Amazon S3, נווט אל הדלי שיצרת קודם לכן.
- בחרו צור תיקיה.
- השתמש באותה מחרוזת כמו שם מחסנית עומס העבודה שלך עבור שם התיקיה.
- בחרו העלה.
- בחר את שלוש תיקיות מערך הנתונים ולאחר מכן בחר העלה.
כאשר ההעלאה תושלם, אתה אמור לראות משהו כמו צילום המסך הבא. עבור דוגמה זו, התיקיה שלנו היא aiml42
.
צור קבוצת מערכי נתונים של תחזית
השלם את השלבים בסעיף זה כדי ליצור קבוצת נתונים כאירוע חד פעמי עבור כל עומס עבודה. בהמשך, עליך לתכנן להפעיל את נתוני הייבוא, ליצור חיזוי וליצור שלבי תחזית לפי הצורך, כסדרה, בהתאם ללוח הזמנים שלך, שיכול להיות יומי, שבועי או אחר.
- במסוף Step Functions, אתר את מכונת המצב המכילה
Create-Dataset-Group
. - בדף הפרטים של מכונת המדינה, בחר התחל בביצוע.
- בחרו התחל בביצוע שוב כדי לאשר.
למכונת המדינה לוקח בערך דקה אחת לפעול. כאשר הוא הושלם, הערך מתחת סטטוס ביצוע צריך לשנות מ ריצה ל הצלחתי
ייבא נתונים לתוך Forecast
בצע את השלבים בסעיף זה כדי לייבא את ערכת הנתונים שהעלית ל-S3 שלך לקבוצת הנתונים שלך:
- במסוף Step Functions, אתר את מכונת המצב המכילה
Import-Dataset
. - בדף הפרטים של מכונת המדינה, בחר התחל ביצוע.
- בחרו התחל בביצוע שוב כדי לאשר.
משך הזמן שלוקח למכונת המצב לפעול תלוי במערך הנתונים המעובד.
- בזמן שזה פועל, בדפדפן שלך, פתח כרטיסייה נוספת ונווט אל מסוף התחזית.
- במסוף התחזית בחר הצג קבוצות של מערכי נתונים ונווט אל קבוצת הנתונים עם השם שצוין עבור
DataGroupName
מחסנית עומס העבודה שלך. - בחרו הצג מערכי נתונים.
אתה אמור לראות את ייבוא הנתונים בתהליך.
כאשר מכונת המדינה עבור Import-Dataset
הושלם, תוכל להמשיך לשלב הבא לבניית מודל נתוני סדרת הזמן שלך.
צור מנבא אוטומטי (אימון מודל של סדרת זמן)
סעיף זה מתאר כיצד לאמן מנבא ראשוני באמצעות Forecast. אתה יכול לבחור ליצור מנבא חדש (המנבא הראשון שלך) או לאמן מחדש מנבא במהלך כל מחזור ייצור, שיכול להיות יומי, שבועי או אחר. אתה יכול גם לבחור לא ליצור מנבא בכל מחזור ולהסתמך על ניטור מנבא שינחה אותך מתי ליצור אחד. האיור הבא מדגים את התהליך של יצירת מנבא תחזית מוכן לייצור.
כדי ליצור מנבא חדש, בצע את השלבים הבאים:
- במסוף Step Functions, אתר את מכונת המצב המכילה
Create-Predictor
. - בדף הפרטים של מכונת המדינה, בחר התחל ביצוע.
- בחרו התחל בביצוע שוב כדי לאשר.
כמות זמן הריצה יכולה להיות תלויה במערך הנתונים המעובד. השלמת פעולה זו עשויה להימשך עד שעה או יותר. - בזמן שזה פועל, בדפדפן שלך, פתח כרטיסייה נוספת ונווט אל מסוף התחזית.
- במסוף התחזית בחר הצג קבוצות של מערכי נתונים ונווט אל קבוצת הנתונים עם השם שצוין עבור
DataGroupName
מחסנית עומס העבודה שלך. - בחרו הצג מנבאים.
אתה אמור לראות את אימון המנבא בתהליך (סטטוס האימון מראה "יצירה בתהליך...").
כאשר מכונת המדינה עבור Create-Predictor
הושלם, תוכל להעריך את הביצועים שלו.
כחלק ממכונת המדינה, המערכת יוצרת מנבא וגם מפעילה א BacktestExport
עבודה שכותבת מדדי מנבא ברמת סדרת זמן לאמזון S3. אלו הם קבצים הממוקמים בשתי תיקיות S3 מתחת ל- backtest-export
תיקייה:
- דיוק-מדדים-ערכים - מספק חישובים מדדי דיוק ברמת הפריט כדי שתוכל להבין את הביצועים של סדרת זמן בודדת. זה מאפשר לך לחקור את ההתפשטות במקום להתמקד במדדים הגלובליים בלבד.
- ערכים חזויים - מספק תחזיות ברמת השלבים עבור כל סדרת זמן בחלון הבדיקה האחורית. זה מאפשר לך להשוות את ערך היעד הממשי מקבוצת מבחן החזקה לערכי הקוונטילים החזויים. סקירה זו עוזרת לגבש רעיונות כיצד לספק תכונות נתונים נוספות ב-RTS או מטא-נתונים של פריטים כדי לעזור להעריך טוב יותר ערכים עתידיים, ולהפחית עוד יותר אובדן. אתה יכול להוריד
backtest-export
קבצים מאמזון S3 או שאילתה אותם במקום עם Athena.
עם הנתונים שלך, עליך לבחון מקרוב את תוצאות המנבאות ולהבטיח שהמדדים עומדים בתוצאות הצפויות שלך על ידי שימוש בנתוני הייצוא האחורי. כשתהיה מרוצה, תוכל להתחיל לייצר תחזיות עתידיות כפי שמתואר בסעיף הבא.
צור תחזית (מסק לגבי אופקי זמן עתידיים)
סעיף זה מתאר כיצד ליצור נקודות נתוני תחזית באמצעות Forecast. בהמשך, עליך לאסוף נתונים חדשים ממערכת המקור, לייבא את הנתונים לתוך Forecast ולאחר מכן ליצור נקודות נתוני תחזית. לחלופין, תוכל גם להוסיף יצירת מנבא חדשה לאחר הייבוא ולפני תחזית. האיור הבא מדגים את התהליך של יצירת תחזיות של סדרות זמן ייצור באמצעות Forecast.
בצע את הצעדים הבאים:
- במסוף Step Functions, אתר את מכונת המצב המכילה
Create-Forecast
. - בדף הפרטים של מכונת המדינה, בחר התחל ביצוע.
- בחרו התחל בביצוע שוב כדי לאשר.
מכונת המצב הזו מסתיימת מהר מאוד מכיוון שהמערכת לא מוגדרת ליצור תחזית. זה לא יודע איזה מודל מנבא אישרת להסיק.
בואו נגדיר את המערכת כך שתשתמש במנבא המיומן שלך. - במסוף Forecast, אתר את ה-ARN עבור המנבא שלך.
- העתק את ה-ARN לשימוש בשלב מאוחר יותר.
- בדפדפן שלך, פתח כרטיסייה נוספת ונווט אל מסוף מנהל המערכות.
- במסוף מנהל המערכות, בחר חנות פרמטרים בחלונית הניווט.
- אתר את הפרמטר הקשור לערימה שלך (
/forecast/<StackName>/Forecast/PredictorArn
). - הזן את ה-ARN שהעתקת עבור המנבא שלך.
כך אתה משייך מנבא מאומן לפונקציית ההסקה של Forecast. - אתר את הפרמטר
/forecast/<StackName>/Forecast/Generate
ולערוך את הערך, להחליףFALSE
עםTRUE
.
כעת אתה מוכן להפעיל עבודת תחזית עבור קבוצת הנתונים הזו. - במסוף Step Functions, הפעל את
Create-Forecast
מכונת מצבים.
הפעם, העבודה מתנהלת כמצופה. כחלק ממכונת המדינה, המערכת יוצרת תחזית וא ForecastExport
job, שכותבת תחזיות של סדרות זמן לאמזון S3. קבצים אלה נמצאים ב- forecast
תיקייה
בתוך forecast
התיקייה, תמצא תחזיות עבור הפריטים שלך, הממוקמות בקבצי CSV או פרקט רבים, בהתאם לבחירתך. התחזיות עבור כל שלב זמן וסדרות זמן נבחרות קיימות עם כל ערכי הקוונטילים שבחרת לרשומה. אתה יכול להוריד את הקבצים האלה מאמזון S3, לשאול אותם במקום עם Athena, או לבחור אסטרטגיה אחרת לשימוש בנתונים.
זה מסכם את כל זרימת העבודה. כעת תוכל להמחיש את הפלט שלך באמצעות כל כלי הדמיה לבחירתך, כגון אמזון קוויקסייט. לחלופין, מדעני נתונים יכולים להשתמש בפנדות כדי ליצור חלקות משלהם. אם תבחר להשתמש ב-QuickSight, תוכל חבר את תוצאות התחזית שלך ל-QuickSight כדי לבצע טרנספורמציות של נתונים, ליצור ניתוח נתונים אחד או יותר, וכן ליצור הדמיות.
תהליך זה מספק תבנית לביצוע. תצטרך להתאים את המדגם לסכמה שלך, להגדיר את אופק התחזית, רזולוציית הזמן וכן הלאה בהתאם למקרה השימוש שלך. כמו כן, יהיה עליך להגדיר לוח זמנים חוזר שבו הנתונים נאספים ממערכת המקור, לייבא את הנתונים ולהפיק תחזיות. אם תרצה, תוכל להוסיף משימת חיזוי בין שלבי הייבוא והתחזית.
אמנו מחדש את המנבא
עברנו תהליך של אימון מנבא חדש, אבל מה לגבי אימון מחדש של מנבא? אימון מחדש של מנבא היא אחת הדרכים להפחית את העלות והזמן הכרוכים באימון מנבא על הנתונים העדכניים ביותר הזמינים. במקום ליצור מנבא חדש ולאמן אותו על כל מערך הנתונים, אנו יכולים לאמן מחדש את המנבא הקיים על ידי אספקת רק את הנתונים המצטברים החדשים שזמינים מאז שהמנבא הוכשר לאחרונה. בואו נעבור דרך כיצד לאמן מחדש מנבא באמצעות פתרון האוטומציה:
- במסוף התחזית בחר הצג קבוצות של מערכי נתונים.
- בחר את קבוצת הנתונים המשויכת למנבא שברצונך לאמן מחדש.
- בחרו הצג מנבאים, ולאחר מכן בחר את המנבא שברצונך לאמן מחדש.
- על הגדרות לשונית, העתק את המנבא ARN.
עלינו לעדכן פרמטר המשמש את זרימת העבודה כדי לזהות את המנבא לאימון מחדש. - במסוף מנהל המערכות, בחר חנות פרמטרים בחלונית הניווט.
- אתר את הפרמטר
/forecast/<STACKNAME>/Forecast/Predictor/ReferenceArn
. - בדף פירוט הפרמטרים, בחר ערוך.
- בעד ערך, הזן את המנבא ARN.
זה מזהה את המנבא הנכון עבור זרימת העבודה לאימון מחדש. לאחר מכן, עלינו לעדכן פרמטר המשמש את זרימת העבודה כדי לשנות את אסטרטגיית האימון. - אתר את הפרמטר
/forecast/<STACKNAME>/Forecast/Predictor/Strategy
. - בדף פרטי הפרמטר, בחר ערוך.
- עבור Value, הזן
RETRAIN
.
זרימת העבודה כברירת מחדל לאימון מנבא חדש; עם זאת, אנו יכולים לשנות את ההתנהגות הזו כדי לאמן מחדש מנבא קיים או פשוט לעשות שימוש חוזר במנבא קיים ללא אימון מחדש על ידי הגדרת ערך זה ל-NONE
. ייתכן שתרצה לוותר על אימון אם הנתונים שלך יציבים יחסית או שאתה משתמש ניטור מנבא אוטומטי להחליט מתי יש צורך בהסבה מקצועית. - העלה את נתוני האימון המצטברים לדלי S3.
- במסוף Step Functions, אתר את מכונת המצב
<STACKNAME>-Create-Predictor
. - בדף הפרטים של מכונת המדינה, בחר התחל בביצוע כדי להתחיל את ההסבה.
כאשר ההכשרה המחודשת תושלם, זרימת העבודה תסתיים ותקבל הודעת דוא"ל SNS לכתובת הדוא"ל שסופקה בפרמטרים של תבנית עומס העבודה.
לנקות את
כשתסיים עם פתרון זה, בצע את השלבים בסעיף זה כדי למחוק משאבים קשורים.
מחק את דלי S3
- במסוף S3 של אמזון בחר דליים בחלונית הניווט.
- בחר את הדלי שאליו הועלו הנתונים ובחר ריק למחוק את כל הנתונים הקשורים לפתרון, כולל נתוני מקור.
- זן
permanently delete
כדי למחוק את תוכן הדלי לצמיתות. - על דליים עמוד, בחר את הדלי ובחר מחק.
- הזן את שם הדלי כדי לאשר את המחיקה ובחר מחק דלי.
מחק משאבי תחזית
- במסוף התחזית בחר הצג קבוצות של מערכי נתונים.
- בחר את שם קבוצת הנתונים המשויך לפתרון ולאחר מכן בחר מחק.
- זן
delete
כדי למחוק את קבוצת מערך הנתונים ואת המנבאים המשויכים, עבודות ייצוא של חיזוי בדיקה חוזרת, תחזיות ועבודות ייצוא תחזיות. - בחרו מחק כדי לאשר.
מחק את ערימות CloudFormation
- במסוף CloudFormation של AWS, בחר ערימות בחלונית הניווט.
- בחר את ערימת עומס העבודה ובחר מחק.
- בחרו מחק ערימה כדי לאשר את מחיקת המחסנית וכל המשאבים הקשורים.
- לאחר השלמת המחיקה, בחר את ערימת התלות ובחר מחק.
- בחרו מחק כדי לאשר.
סיכום
בפוסט זה, דנו בכמה דרכים שונות להתחיל להשתמש ב-Forecast. עברנו על פתרון חיזוי אוטומטי המבוסס על AWS CloudFormation לפריסת פתרון מהירה וניתנת לחזרה של צינור Forecast מקליעת נתונים להסקת מסקנות, עם מעט ידע בתשתית נדרש. לבסוף, ראינו כיצד אנו יכולים להשתמש ב- Lambda כדי להפוך את ההכשרה מחדש של המודל לאוטומטית, תוך הפחתת עלויות וזמן אימון.
אין זמן טוב יותר מהווה להתחיל לחזות עם Forecast. כדי להתחיל לבנות ולפרוס זרימת עבודה אוטומטית, בקר משאבי Amazon Forecast. חיזוי שמח!
על הכותבים
אהרון פייגן הוא אדריכל פתרונות מומחה ראשי ב-AWS הממוקם בניו יורק. הוא מתמחה בסיוע ללקוחות בתכנון פתרונות בתחום למידת מכונה ואבטחת ענן.
ראג'ו פאטיל הוא מדען נתונים בשירותים מקצועיים של AWS. הוא בונה ופורס פתרונות AI/ML כדי לסייע ללקוחות AWS להתגבר על האתגרים העסקיים שלהם. ההתקשרויות שלו ב-AWS כיסו מגוון רחב של מקרי שימוש ב-AI/ML כמו ראייה ממוחשבת, חיזוי סדרות זמן וניתוח חזוי וכו', בתעשיות רבות, כולל שירותים פיננסיים, טלקום, שירותי בריאות ועוד. לפני כן, הוא הוביל צוותי Data Science בטכנולוגיית פרסום, ותרם תרומה משמעותית ליוזמות מחקר ופיתוח רבות בתחום ראייה ממוחשבת ורובוטיקה. מחוץ לעבודה, הוא נהנה מצילום, טיולים רגליים, נסיעות וחקירות קולינריות.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoAiStream. Web3 Data Intelligence. הידע מוגבר. גישה כאן.
- הטבעת העתיד עם אדריאן אשלי. גישה כאן.
- קנה ומכירה של מניות בחברות PRE-IPO עם PREIPO®. גישה כאן.
- מקור: https://aws.amazon.com/blogs/machine-learning/automate-the-deployment-of-an-amazon-forecast-time-series-forecasting-model/
- :יש ל
- :הוא
- :לֹא
- :איפה
- $ למעלה
- 1
- 10
- 100
- 11
- 20
- שנים 20
- 2022
- 7
- 8
- 9
- a
- אודות
- לְקַבֵּל
- גישה
- פי
- חֶשְׁבּוֹן
- דיוק
- הודה
- לרוחב
- פעולות
- להסתגל
- נוסף
- מידע נוסף
- כתובת
- פרסום
- לאחר
- שוב
- AI / ML
- אַלגוֹרִיתְם
- אלגוריתמים
- תעשיות
- מאפשר
- מאפשר
- לבד
- כְּבָר
- גם
- אמזון בעברית
- תחזית אמזון
- כמות
- an
- מנתח
- ניתוח
- ו
- אחר
- כל
- API
- גישה
- מתאים
- מאושר
- ARE
- מערך
- AS
- לעזור
- עמית
- המשויך
- At
- אוטומטי
- אוטומטי
- באופן אוטומטי
- אוטומציה
- זמין
- AWS
- AWS CloudFormation
- שירותים מקצועיים של AWS
- Backtest
- איזון
- יתרות
- מבוסס
- Baseline
- BE
- כי
- לפני
- להתחיל
- להיות
- הטוב ביותר
- מוטב
- בֵּין
- הטיה
- כָּרוּך
- אריזה מקורית
- מביאים
- דפדפן
- לִבנוֹת
- בִּניָן
- בונה
- עסקים
- אבל
- by
- מחשב
- נקרא
- שיחות
- CAN
- אשר
- מקרה
- מקרים
- מרכז
- האתגרים
- שינוי
- שינויים
- לבדוק
- בחירה
- בחרו
- בחר
- נבחר
- מקרוב
- ענן
- אבטחת ענן
- קוד
- סִמוּל
- אוסף
- טור
- COM
- Common
- לְהַשְׁווֹת
- להשלים
- מורכב
- חישובים
- לחשב
- המחשב
- ראייה ממוחשבת
- מושגים
- מודאג
- תְצוּרָה
- לאשר
- קונסול
- להכיל
- תוכן
- תרומות
- לִשְׁלוֹט
- לתאם
- לתקן
- עלות
- יכול
- מכוסה
- לִיצוֹר
- נוצר
- יוצר
- יוצרים
- יצירה
- לקוחות
- מחזור
- מחזורי
- יומי
- נתונים
- ניהול נתונים
- נקודות מידע
- מדע נתונים
- מדען נתונים
- מערך נתונים
- מערכי נתונים
- יְוֹם
- ימים
- להחליט
- מצהיר
- בְּרִירַת מֶחדָל
- מחדל
- מוגדר
- מגדיר
- הגדרה
- נתן
- תלוי
- תלוי
- לפרוס
- פרס
- פריסה
- פריסה
- פריסות
- פורס
- לְהַפְקִיד
- לתאר
- מְתוּאָר
- רצוי
- פרט
- פרטים
- לקבוע
- מפתחים
- צעצועי התפתחות
- אחר
- קשה
- מֵמַד
- ממדים
- ספריות
- נָדוֹן
- do
- לא
- עשה
- להורדה
- בְּמַהֲלָך
- כל אחד
- מוקדם יותר
- קל יותר
- או
- מבטל
- אמייל
- מופעל
- מאפשר
- סוף
- מקצה לקצה
- לְהַבטִיחַ
- זן
- שלם
- סביבה
- סביבות
- שגיאות
- לְהַעֲרִיך
- וכו '
- להעריך
- אֲפִילוּ
- אירוע
- דוגמה
- הוצאת להורג
- להתקיים
- קיימים
- צפוי
- מצפה
- ניסיון
- יצוא
- מקל
- שקר
- מוכר
- תכונות
- שדה
- תרשים
- שלח
- קבצים
- תיוק
- ממולא
- בסופו של דבר
- כספי
- שירותים פיננסיים
- ראשון
- התמקדות
- לעקוב
- הבא
- בעד
- תַחֲזִית
- תחזיות
- פוּרמָט
- הָלְאָה
- קדימה
- ארבע
- תדר
- החל מ-
- לגמרי
- פונקציה
- פונקציות
- נוסף
- עתיד
- ליצור
- נוצר
- יצירת
- לקבל
- גלוֹבָּלִי
- Go
- הולך
- שולט
- גרף
- גדול
- קְבוּצָה
- קבוצה
- הדרכה
- מדריך
- שמח
- קציר
- יש
- יש
- he
- בְּרִיאוּת
- בריאות הציבור
- לעזור
- עזרה
- עוזר
- כאן
- מאוד
- שֶׁלוֹ
- היסטורי
- אופק
- אופקים
- שעה
- איך
- איך
- אולם
- HTML
- http
- HTTPS
- רעיונות
- מזהה
- לזהות
- זהות
- if
- מדגים
- ליישם
- לייבא
- יבוא
- in
- לכלול
- כולל
- כולל
- תעשיות
- להשפיע
- לְהוֹדִיעַ
- מידע
- תשתית
- בתחילה
- יוזמות
- קלט
- במקום
- אל תוך
- לחקור
- מעורב
- IT
- פריטים
- שֶׁלָה
- עצמו
- עבודה
- מקומות תעסוקה
- jpg
- לדעת
- ידע
- ידוע
- מדינה
- אחרון
- מאוחר יותר
- האחרון
- לִלמוֹד
- למידה
- הכי פחות
- הוביל
- Led Data
- מאפשר לי
- מעגל החיים
- כמו
- קו
- קְצָת
- ממוקם
- מיקום
- ארוך
- את
- בעלות נמוכה
- להוריד
- מכונה
- למידת מכונה
- מכונה
- עשוי
- עשייה
- לנהל
- הצליח
- ניהול
- מנהל
- מצליח
- ניהול
- באופן ידני
- רב
- מקסימום
- מאי..
- לִפְגוֹשׁ
- תפריט
- מידע נוסף
- שיטה
- שיטות
- מטרי
- מדדים
- יכול
- מינימום
- דקה
- חסר
- ML
- מודל
- מודלים
- לשנות
- ניטור
- אחת לחודש
- יותר
- המהלך
- מספר
- צריך
- שם
- שמות
- נווט
- ניווט
- הכרחי
- צורך
- צרכי
- חדש
- ניו יורק
- הבא
- לא
- מחברה
- הודעה
- הודעות
- עַכשָׁיו
- מספר
- רב
- אובייקט
- אובייקטים
- להשיג
- of
- on
- ONE
- רק
- לפתוח
- קוד פתוח
- מטב
- אפשרויות
- or
- להזמין
- אחר
- אַחֶרֶת
- שלנו
- הַחוּצָה
- תוצאות
- המתואר
- תפוקה
- בחוץ
- יותר
- מקיף
- שֶׁלוֹ
- עמוד
- דובי פנדה
- זגוגית
- פרמטר
- פרמטרים
- חלק
- אָחוּז
- לְבַצֵעַ
- ביצועים
- לצמיתות
- הרשאות
- צילום
- גופני
- צינור
- מקום
- הַצָבָה
- תכנית
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- נקודות
- אפשרי
- הודעה
- חזה
- ניבוי
- נבואה
- התחזיות
- אנליטי חזוי
- חיזוי
- תחזית
- להכין
- להציג
- מוצג
- קודם
- מנהל
- קודם
- תהליך
- מעובד
- תהליך
- לייצר
- הפקה
- מקצועי
- פרוגרמטית
- התקדמות
- לספק
- ובלבד
- מספק
- מתן
- בפומבי
- פיתון
- שאילתות
- שאלות
- מָהִיר
- מהירות
- רכס
- מהיר
- במקום
- חי
- מוכן
- לקבל
- להמליץ
- שיא
- רשום
- חוזר
- להפחית
- הפחתה
- מכונה
- מתייחס
- רגיל
- קָשׁוּר
- יחסית
- רלוונטי
- לסמוך
- הסרת
- הָדִיר
- שוב ושוב
- חוזר על עצמו
- נדרש
- מחקר
- מחקר ופיתוח
- שמור
- מִתאוֹשֵׁשׁ מַהֵר
- החלטה
- משאבים
- וכתוצאה מכך
- תוצאות
- שימוש חוזר
- ביקורת
- רובוטיקה
- תפקיד
- תפקידים
- הפעלה
- ריצה
- אותו
- מערך נתונים לדוגמה
- מרוצה
- סולם
- לוח זמנים
- מדע
- מַדְעָן
- מדענים
- בצורה חלקה
- סעיף
- סעיפים
- לבטח
- אבטחה
- לִרְאוֹת
- נבחר
- מבחר
- סדרה
- ללא שרת
- שרתים
- משמש
- שרות
- שירותים
- סט
- הצבה
- משותף
- קצר
- צריך
- הופעות
- משמעותי
- פָּשׁוּט
- בפשטות
- since
- יחיד
- So
- פִּתָרוֹן
- פתרונות
- כמה
- משהו
- מָקוֹר
- מומחה
- מתמחה
- מפורט
- התפשטות
- יציב
- לערום
- בימוי
- תֶקֶן
- התחלה
- החל
- החל
- מדינה
- מצב
- שלב
- צעדים
- אחסון
- חנות
- אִסטרָטֶגִיָה
- מחרוזת
- מִבְנֶה
- כזה
- נתמך
- מערכת
- מערכות
- שולחן
- לקחת
- לוקח
- יעד
- המשימות
- משימות
- צוותי
- טכנולוגיה
- טלקום
- תבנית
- תבניות
- מבחן
- מֵאֲשֶׁר
- זֶה
- השמיים
- המקור
- המדינה
- שֶׁלָהֶם
- אותם
- אז
- שם.
- אלה
- דברים
- זֶה
- שְׁלוֹשָׁה
- דרך
- בכל
- זמן
- סדרת זמן
- חותם
- ל
- יַחַד
- כלי
- נושא
- לקראת
- רכבת
- מְאוּמָן
- הדרכה
- טרנספורמציות
- מַעֲבָר
- נסיעות
- להפעיל
- נָכוֹן
- שתיים
- סוג
- סוגים
- בדרך כלל
- אי ודאות
- תחת
- להבין
- יחידות
- עדכון
- נטען
- כתובת האתר
- להשתמש
- במקרה להשתמש
- מְשׁוּמָשׁ
- משתמשים
- באמצעות
- ערך
- ערכים
- שונים
- מאוד
- באמצעות
- חזון
- לְבַקֵר
- ראיה
- הלך
- רוצה
- היה
- דֶרֶך..
- דרכים
- we
- שבועי
- טוֹב
- מה
- מתי
- אם
- אשר
- רָחָב
- טווח רחב
- יצטרך
- עם
- בתוך
- לְלֹא
- Word
- תיק עבודות
- לכתוב
- כתוב
- שנים
- york
- אתה
- זפירנט
- רוכסן