דמיין את תוצאות החריגות של Amazon Lookout for Metrics שלך עם Amazon QuickSight

אחד האתגרים בהם נתקלים צוותים המשתמשים תצפית אמזון למדדים מחבר אותו במהירות וביעילות להדמיה של נתונים. החריגות מוצגות בנפרד בקונסולת Lookout for Metrics, כל אחת עם גרף משלה, מה שמקשה על הצגת הסט כמכלול. דרוש פתרון אוטומטי ומשולב לניתוח מעמיק יותר.

בפוסט זה, אנו משתמשים בגלאי חי של Lookout for Metrics שנבנה בעקבות ה תחילת העבודה קטע מה דוגמאות של AWS, אמזון תצפית על מדדים ריפו של GitHub. לאחר שהגלאי פעיל ונוצרת חריגות ממערך הנתונים, אנו מחברים את Lookout for Metrics אל אמזון קוויקסייט. אנו יוצרים שני מערכי נתונים: אחד על ידי צירוף טבלת הממדים עם טבלת החריגות, ואחר על ידי צירוף טבלת החריגות עם הנתונים החיים. לאחר מכן נוכל להוסיף את שני מערכי הנתונים הללו לניתוח QuickSight, שבו נוכל להוסיף תרשימים בלוח מחוונים יחיד.

אנו יכולים לספק שני סוגי נתונים לגלאי Lookout for Metrics: רציף והיסטורי. ה דוגמאות AWS ל- GitHub repo מציע את שניהם, אם כי אנו מתמקדים בנתונים החיים המתמשכים. הגלאי עוקב אחר הנתונים החיים האלה כדי לזהות חריגות וכותב אליהן את החריגות שירות אחסון פשוט של אמזון (Amazon S3) כפי שהם נוצרים. בתום מרווח מוגדר, הגלאי מנתח את הנתונים. עם הזמן, הגלאי לומד לזהות בצורה מדויקת יותר חריגות על סמך דפוסים שהוא מוצא.

Lookout for Metrics משתמשת בלמידה חישובית (ML) כדי לזהות ולאבחן באופן אוטומטי חריגות בנתונים עסקיים ותפעוליים, כגון ירידה פתאומית בהכנסות ממכירות או שיעורי גיוס לקוחות. השירות זמין כעת באופן כללי החל מה-25 במרץ 2021. הוא בודק ומכין באופן אוטומטי נתונים ממגוון מקורות כדי לזהות חריגות במהירות ובדיוק גבוהים יותר מאשר שיטות מסורתיות המשמשות לזיהוי חריגות. אתה יכול גם לספק משוב על חריגות שזוהו כדי לכוון את התוצאות ולשפר את הדיוק לאורך זמן. Lookout for Metrics מקל על אבחון חריגות שזוהו על ידי קיבוץ חריגות הקשורות לאותו אירוע ושליחת התראה הכוללת סיכום של גורם השורש הפוטנציאלי. זה גם מדרג חריגות לפי סדר חומרה, כך שתוכל לתעדף את תשומת הלב שלך למה שהכי חשוב לעסק שלך.

QuickSight הוא שירות בינה עסקית (BI) מנוהל במלואו, המאפשר להתחבר בקלות לנתונים שלך כדי ליצור ולפרסם לוחות מחוונים אינטראקטיביים. בנוסף, אתה יכול להשתמש אמזון קוויקסייט כדי לקבל תשובות מיידיות באמצעות שאילתות בשפה טבעית.

אתה יכול לגשת ללוחות המחוונים של QuickSight ללא שרתים וניתנים להרחבה מכל מכשיר, ולהטמיע אותם בצורה חלקה באפליקציות, בפורטלים ובאתרי האינטרנט שלך. צילום המסך הבא הוא דוגמה למה שתוכל להשיג בסוף הפוסט הזה.

סקירה כללית של הפיתרון

הפתרון הוא שילוב של שירותי AWS, בעיקר Lookout for Metrics, QuickSight, AWS למבדה, אמזונה אתנה, דבק AWS, ואמזון S3.

התרשים הבא ממחיש את ארכיטקטורת הפתרון. Lookout for Metrics מזהה ושולח את החריגות אל Lambda באמצעות התראה. פונקציית Lambda מייצרת את תוצאות החריגות כקבצי CSV ושומרת אותן באמזון S3. סורק AWS Glue מנתח את המטא נתונים ויוצר טבלאות באתנה. QuickSight משתמשת ב- Athena כדי לבצע שאילתות בנתוני Amazon S3, מה שמאפשר לבנות לוחות מחוונים כדי להמחיש הן את תוצאות החריגות והן את הנתונים החיים.

פתרון זה מרחיב את המשאבים שנוצרו ב- תחילת העבודה קטע של ריפו של GitHub. עבור כל שלב, אנו כוללים אפשרויות ליצירת המשאבים באמצעות ה קונסולת הניהול של AWS או השקה של המסופק AWS CloudFormation לַעֲרוֹם. אם יש לך גלאי Lookout for Metrics מותאם אישית, תוכל להשתמש בו ולהתאים אותו כדלקמן מחברה כדי להגיע לאותן תוצאות.

שלבי היישום הם כדלקמן:

1. צור את אמזון SageMaker מופע מחברת (ALFMTestNotebook) ומחברות באמצעות הערימה המסופקת ב- הגדרה ראשונית קטע מה GitHub ריפו.
2. פתח את מופע המחברת בקונסולת SageMaker ונווט אל amazon-lookout-for-metrics-samples/getting_started תיקייה.
3. צור את דלי S3 והשלם את הכנת הנתונים באמצעות הראשון מחברה (1.PrereqSetupData.ipynb). פתח את המחברת עם ה conda_python3 קרנל, אם תתבקש.

אנחנו מדלגים על השני מחברה מכיוון שהוא מתמקד בבדיקת נתונים אחורית.

4. אם אתה עובר על הדוגמה באמצעות הקונסולה, צור את הגלאי החי של Lookout for Metrics ואת ההתראה שלו באמצעות הגלאי השלישי מחברה (3.GettingStartedWithLiveData.ipynb).

אם אתה משתמש בערימות CloudFormation המסופקות, המחברת השלישית אינה נדרשת. הגלאי והתראה שלו נוצרים כחלק מהמחסנית.

5. לאחר שתיצור את הגלאי החי של Lookout for Metrics, עליך להפעיל אותו מהמסוף.

זה יכול לקחת עד שעתיים כדי לאתחל את המודל ולזהות חריגות.

6. פרוס פונקציית Lambda, באמצעות Python עם שכבת ספריית Pandas, וצור התראה המצורפת לגלאי החי כדי להפעיל אותו.
7. השתמש בשילוב של Athena ו-AWS Glue כדי לגלות ולהכין את הנתונים עבור QuickSight.
8. צור את מקור הנתונים ואת מערכי הנתונים של QuickSight.
9. לבסוף, צור ניתוח QuickSight להדמיה, באמצעות מערכי הנתונים.

הסקריפטים של CloudFormation מופעלים בדרך כלל כקבוצה של ערימות מקוננות בסביבת ייצור. הם מסופקים בנפרד בפוסט זה כדי להקל על הדרכה שלב אחר שלב.

תנאים מוקדמים

כדי לעבור את ההדרכה הזו, אתה צריך חשבון AWS שבו הפתרון יתפרס. ודא שכל המשאבים שאתה פורס נמצאים באותו אזור. אתה צריך גלאי Lookout for Metrics פועל בנוי ממחברות 1 ו-3 מה- GitHub ריפו. אם אין לך גלאי Lookout for Metrics פועל, יש לך שתי אפשרויות:

• הפעל את המחברות 1 ו-3, והמשך משלב 1 של פוסט זה (יצירת פונקציית Lambda והתראה)
• הפעל מחברת 1 ולאחר מכן השתמש בתבנית CloudFormation ליצירת גלאי Lookout for Metrics

צור את הגלאי החי באמצעות AWS CloudFormation

אל האני L4MLiveDetector.yaml סקריפט CloudFormation יוצר את גלאי החריגות של Lookout for Metrics כשהמקור שלו מצביע על הנתונים החיים בדלי S3 שצוין. כדי ליצור את הגלאי, בצע את השלבים הבאים:

1. הפעל את הערימה מהקישור הבא:

2. על צור ערימה עמוד, בחר הַבָּא.
3. על ציין פרטי ערימה עמוד, ספק את המידע הבא:
   1. שם מחסנית. לדוגמה, L4MLiveDetector.
   2. הדלי S3, <Account Number>-lookoutmetrics-lab.
   3. התפקיד ARN, arn:aws:iam::<Account Number>:role/L4MTestRole.
   4. תדירות זיהוי אנומליות. בחר PT1H (כל שעה).
4. לבחור הַבָּא.
5. על הגדר אפשרויות ערימה עמוד, השאר הכל כפי שהוא ובחר הַבָּא.
6. על סקירה עמוד, השאר הכל כפי שהוא ובחר צור ערימה.

צור את התראת SMS של גלאי חי באמצעות AWS CloudFormation (אופציונלי)

שלב זה הוא אופציונלי. ההתראה מוצגת כדוגמה, ללא השפעה על יצירת מערך הנתונים. ה L4MLiveDetectorAlert.yaml סקריפט CloudFormation יוצר את התראת גלאי החריגות של Lookout for Metrics עם יעד SMS.

1. הפעל את הערימה מהקישור הבא:

2. על צור ערימה עמוד, בחר הַבָּא.
3. על ציין פרטי ערימה עמוד, עדכן את מספר הטלפון ב-SMS והזן שם לערימה (לדוגמה, L4MLiveDetectorAlert).
4. לבחור הַבָּא.
5. על הגדר אפשרויות ערימה עמוד, השאר הכל כפי שהוא ובחר הַבָּא.
6. על סקירה עמוד, סמן את תיבת הסימון אישור, השאר את כל השאר כפי שהוא ובחר צור ערימה.

ניקוי משאבים

לפני שתמשיך לשלב הבא, הפסק את מופע המחברת של SageMaker כדי להבטיח שלא ייגרמו עלויות מיותרות. זה כבר לא נחוץ.

צור את פונקציית Lambda והתראה

בסעיף זה, אנו מספקים הוראות ליצירת פונקציית Lambda שלך והתראה דרך הקונסולה או AWS CloudFormation.

צור את הפונקציה והתראה עם המסוף

אתה צריך למבדה AWS זהות וניהול גישה (אני) תפקיד לאחר שיטות עבודה מומלצות לפחות פריבילגיה כדי לגשת לדלי שבו ברצונך לשמור את התוצאות.

1. 1. במסוף למבה, צור פונקציה חדשה.
   2. בחר מחבר מאפס.
   3. בעד שם פונקציההכנס שם.
   4. בעד זמן ריצה, בחר פייתון 3.8.
   5. בעד תפקיד ביצוע, בחר השתמש בתפקיד קיים וציין את התפקיד שיצרת.
   6. לבחור צור פונקציה.
2. 
   7. הורדה קובץ ה-ZIP המכיל את הקוד הדרוש לפונקציית Lambda.
   8. בקונסולת Lambda, פתח את הפונקציה.
   9. על קופונים בחר, בחר העלה מ, בחר קובץ zip, והעלה את הקובץ שהורדת.
   10. לבחור שמור.

עץ הקבצים שלך צריך להישאר זהה לאחר העלאת קובץ ה-ZIP.

11. ב שכבות סעיף, בחר הוסף שכבה.
12. בחר ציין ARN.
13. בהמשך GitHub ריפו, בחר את ה-CSV המתאים לאזור שבו אתה עובד והעתק את ה-ARN מהגרסה האחרונה של Pandas.
14. בעד ציין ARN, הזן את ה-ARN שהעתקת.
15. לבחור להוסיף.

16. כדי להתאים את הפונקציה לסביבה שלך, בתחתית הקוד מקובץ lambda_function.py, הקפד לעדכן את שם הדלי עם הדלי שלך שבו ברצונך לשמור את תוצאות החריגות, ואת DataSet_ARN מגלאי האנומליות שלך.
17. לבחור לפרוס כדי להפוך את השינויים לפעילים.

כעת עליך לחבר את גלאי ה- Lookout for Metrics לפונקציה שלך.

18. במסוף Lookout for Metrics, נווט אל הגלאי שלך ובחר הוסף התראה.
19. הזן את שם ההתראה ואת סף החומרה המועדף עליך.
20. מרשימת הערוצים, בחר למבדה.
21. בחר את הפונקציה שיצרת וודא שיש לך את התפקיד הנכון להפעיל אותה.
22. לבחור הוסף התראה.

כעת אתה מחכה להתראה שלך. הזמן משתנה בהתאם למועד שבו הגלאי מוצא חריגה.

כאשר מזוהה חריגה, Lookout for Metrics מפעיל את פונקציית Lambda. הוא מקבל את המידע הדרוש מ- Lookout for Metrics ובודק אם כבר יש קובץ CSV שמור באמזון S3 בחותמת הזמן המתאימה של האנומליה. אם אין קובץ, Lambda מייצרת את הקובץ ומוסיפה את נתוני החריגות. אם הקובץ כבר קיים, Lambda מעדכנת את הקובץ עם הנתונים הנוספים שהתקבלו. הפונקציה מייצרת קובץ CSV נפרד עבור כל חותמת זמן שונה.

צור את הפונקציה והתראה באמצעות AWS CloudFormation

בדומה להוראות המסוף, אתה הורד את קובץ ה-ZIP המכיל את הקוד הדרוש לפונקציית Lambda. עם זאת, במקרה זה יש להעלות אותו לדלי S3 כדי שקוד AWS CloudFormation יטען אותו במהלך יצירת הפונקציה.

בדלי S3 שצוין ביצירת גלאי ה-Lookout for Metrics, צור תיקייה בשם lambda-code, והעלה את קובץ ה-ZIP.

פונקציית Lambda טוענת את זה כקוד שלה במהלך היצירה.

אל האני L4MLambdaFunction.yaml סקריפט CloudFormation יוצר את פונקציית Lambda ומשאבי התראות ומשתמש בארכיון קוד הפונקציות המאוחסן באותו דלי S3.

1. הפעל את הערימה מהקישור הבא:

2. על צור ערימה עמוד, בחר הַבָּא.
3. על ציין פרטי ערימה עמוד, ציין שם מחסנית (לדוגמה, L4MLambdaFunction).
4. בהמשך GitHub ריפו, פתח את ה-CSV המתאים לאזור שבו אתה עובד והעתק את ה-ARN מהגרסה האחרונה של Pandas.
5. הזן את ה-ARN כפרמטר Pandas Lambda שכבת ARN.
6. לבחור הַבָּא.
7. על הגדר אפשרויות ערימה עמוד, השאר הכל כפי שהוא ובחר הַבָּא.
8. על סקירה עמוד, סמן את תיבת הסימון אישור, השאר את כל השאר כפי שהוא ובחר צור ערימה.

הפעל את הגלאי

לפני שתמשיך לשלב הבא, עליך להפעיל את הגלאי מהמסוף.

1. במסוף Lookout for Metrics, בחר גלאים בחלונית הניווט.
2. בחר את הגלאי החדש שיצרת.
3. לבחור הפעל, ואז לבחור הפעל שוב כדי לאשר.

הפעלה מאתחלת את הגלאי; זה נגמר כשהמודל סיים את מחזור הלמידה שלו. זה יכול לקחת עד שעתיים.

הכן את הנתונים עבור QuickSight

לפני שתשלים שלב זה, תן לגלאי זמן למצוא חריגות. פונקציית Lambda שיצרת שומרת את תוצאות החריגות בקטגוריית Lookout for Metrics ב- anomalyResults מַדרִיך. כעת אנו יכולים לעבד נתונים אלה כדי להכין אותם ל-QuickSight.

צור את הסורק AWS Glue בקונסולה

לאחר שנוצרו כמה קובצי CSV חריגים, אנו משתמשים בסורק AWS Glue כדי ליצור את טבלאות המטא נתונים.

1. במסוף הדבק של AWS בחר סורקים בחלונית הניווט.
2. לבחור הוסף סורק.

3. הזן שם עבור הסורק (לדוגמה, L4MCrawler).
4. לבחור הַבָּא.
5. בעד סוג מקור הסורק, בחר חנויות נתונים.
6. בעד סריקה חוזרת של מאגרי נתונים S3, בחר סרוק את כל התיקיות.
7. לבחור הַבָּא.

8. בדף התצורה של מאגר הנתונים, עבור סרוק נתונים פנימה, בחר נתיב שצוין בחשבוני.
9. בעד כלול מסלול, היכנס לנתיב שלך dimensionContributions קובץ (s3://YourBucketName/anomalyResults/dimensionContributions).
10. לבחור הַבָּא.
11. לבחור יש כדי להוסיף מאגר נתונים נוסף ולחזור על ההוראות עבור metricValue_AnomalyScore(s3://YourBucketName/anomalyResults/metricValue_AnomalyScore).
12. חזור על ההוראות שוב כדי שהנתונים החיים ינותחו על ידי גלאי החריגות של Lookout for Metrics (זהו מיקום הנתונים של S3 מגלאי Lookout for Metrics שלך).

כעת אמורים להיות לך שלושה מאגרי נתונים עבור הסורק לעיבוד.

כעת עליך לבחור את התפקיד כדי לאפשר לסורק לעבור על מיקומי S3 של הנתונים שלך.

13. לפוסט זה בחר צור תפקיד IAM והזן שם לתפקיד.
14. לבחור הַבָּא.

15. בעד תדר, השאר כמו הפעל לפי דרישה ולבחור הַבָּא.
16. ב הגדר את הפלט של הסורק סעיף, בחר הוסף מסד נתונים.

זה יוצר את מסד הנתונים של Athena שבו טבלאות המטא נתונים שלך ממוקמות לאחר השלמת הסורק.

17. הזן שם למסד הנתונים שלך ובחר צור.
18. לבחור הַבָּא, ואז לבחור סיום.

19. על סורקים בעמוד של מסוף הדבק של AWS, בחר את הסורק שיצרת ובחר הפעל סורק.

ייתכן שתצטרך להמתין מספר דקות, בהתאם לגודל הנתונים. כאשר הוא הושלם, סטטוס הסורק יראה כ מוכן. כדי לראות את טבלאות המטא נתונים, נווט אל מסד הנתונים שלך ב- מאגרי מידע דף ובחר לוחות בחלונית הניווט.

בדוגמה זו, טבלת המטא-נתונים הנקראת live מייצגת את מערך הנתונים S3 מגלאי ה-Lookout for Metrics חי. בתור שיטות עבודה מומלצות, מומלץ לעשות זאת הצפין את המטא נתונים של קטלוג הנתונים של AWS Glue.

Athena מזהה אוטומטית את טבלאות המטא-נתונים, ו-QuickSight משתמש ב-Athena כדי לבצע שאילתות על הנתונים ולהמחיש את התוצאות.

צור את הסורק AWS Glue באמצעות AWS CloudFormation

אל האני L4MGlueCrawler.yaml סקריפט CloudFormation יוצר את הסורק AWS Glue, את תפקיד IAM המשויך לו ואת מסד הנתונים של Athena.

1. הפעל את הערימה מהקישור הבא:

2. על צור ערימה עמוד, בחר הַבָּא.
3. על ציין פרטי ערימה עמוד, הזן שם עבור הערימה שלך (לדוגמה, L4MGlueCrawler), ובחר הַבָּא.
4. על הגדר אפשרויות ערימה עמוד, השאר הכל כפי שהוא ובחר הַבָּא.
5. על סקירה עמוד, סמן את תיבת הסימון אישור, השאר את כל השאר כפי שהוא ובחר צור ערימה.

הפעל את סורק הדבק של AWS

לאחר יצירת הסורק, עליך להפעיל אותו לפני שתעבור לשלב הבא. אתה יכול להפעיל אותו מהמסוף או מה ממשק שורת הפקודה של AWS (AWS CLI). כדי להשתמש במסוף, בצע את השלבים הבאים:

1. במסוף הדבק של AWS בחר סורקים בחלונית הניווט.
2. בחר את הסורק שלך (L4MCrawler).
3. לבחור הפעל סורק.

כאשר הסורק הושלם, הוא מציג את הסטטוס מוכן.

צור חשבון QuickSight

לפני שתתחיל את השלב הבא, נווט אל מסוף QuickSight וצור חשבון אם עדיין אין לך. כדי לוודא שיש לך גישה לשירותים המתאימים (אתנה ו-S3 bucket), בחר את שם החשבון שלך בצד ימין למעלה, בחר נהל את QuickSight, ולבחור אבטחה והרשאות, שבו אתה יכול להוסיף את השירותים הדרושים. בעת הגדרת גישת Amazon S3 שלך, הקפד לבחור הרשאת כתיבה עבור Athena Workgroup.

כעת אתה מוכן להמחיש את הנתונים שלך ב-QuickSight.

צור את מערכי הנתונים של QuickSight במסוף

אם זו הפעם הראשונה שאתה משתמש ב- Athena, עליך להגדיר את מיקום הפלט של השאילתות. להנחיות, עיין בשלבים 1-6 ב צור מסד נתונים. לאחר מכן השלם את השלבים הבאים:

1. במסוף QuickSight, בחר מערכי נתונים.
2. לבחור מערך נתונים חדש.
3. בחר אתנה כמקור שלך.
4. הזן שם עבור מקור הנתונים שלך.
5. לבחור צור מקור נתונים.

6. עבור מסד הנתונים שלך, ציין את זה שיצרת קודם לכן עם הסורק AWS Glue.
7. ציין את הטבלה המכילה את הנתונים החיים שלך (לא את החריגות).
8. לבחור ערוך/תצוגה מקדימה של נתונים.

אתה מופנה לממשק הדומה לצילום המסך הבא.

השלב הבא הוא להוסיף ולשלב את metricValue_AnomalyScore נתונים עם הנתונים החיים.

9. לבחור הוסף נתונים.
10. לבחור הוסף מקור נתונים.
11. ציין את מסד הנתונים שיצרת ואת ה metricValue_AnomalyScore השולחן.
12. לבחור בחר.

כעת עליך להגדיר את החיבור של שתי הטבלאות.

13. בחר את הקישור בין שתי הטבלאות.
14. השאר את סוג ההצטרפות בתור שמאל, הוסף את חותמת הזמן וכל מימד שיש לך כסעיף הצטרפות ובחר החל.

בדוגמה הבאה, אנו משתמשים בחותמת זמן, בפלטפורמה ובשוק כסעיפי הצטרפות.

בחלונית הימנית, תוכל להסיר את השדות שאינך מעוניין לשמור.

15. הסר את חותמת הזמן מה- metricValue_AnomalyScore בטבלה לא תהיה עמודה משוכפלת.
16. שנה את סוג הנתונים של חותמת הזמן (של טבלת הנתונים הפעילים) ממחרוזת לתאריך, וציין את הנכון פוּרמָט. במקרה שלנו, זה צריך להיות yyyy-MM-dd HH:mm:ss.

צילום המסך הבא מציג את התצוגה שלך לאחר הסרת שדות מסוימים והתאמת סוג הנתונים.

17. לבחור שמור ודמיין.
18. בחר בסמל העיפרון שליד מערך הנתונים.
19. לבחור הוסף מערך נתונים ולבחור dimensioncontributions.

צור את מערכי הנתונים של QuickSight באמצעות AWS CloudFormation

שלב זה מכיל שלוש ערימות CloudFormation.

הסקריפט הראשון של CloudFormation, L4MQuickSightDataSource.yaml, יוצר את מקור הנתונים QuickSight Athena.

1. הפעל את הערימה מהקישור הבא:

2. על צור ערימה עמוד, בחר הַבָּא.
3. על ציין פרטי ערימה עמוד, הזן את שם המשתמש שלך ב-QuickSight, אזור חשבון QuickSight (צוין בעת ​​יצירת חשבון QuickSight), ושם מחסנית (לדוגמה, L4MQuickSightDataSource).
4. לבחור הַבָּא.
5. על הגדר אפשרויות ערימה עמוד, השאר הכל כפי שהוא ובחר הַבָּא.
6. על סקירה עמוד, השאר הכל כפי שהוא ובחר צור ערימה.

הסקריפט השני של CloudFormation, L4MQuickSightDataSet1.yaml, יוצר מערך נתונים של QuickSight המחבר את טבלת המידות עם טבלת החריגות.

1. הפעל את הערימה מהקישור הבא:

2. על צור ערימה עמוד, בחר הַבָּא.
3. על ציין פרטי ערימה, הזן שם מחסנית (לדוגמה, L4MQuickSightDataSet1).
4. לבחור הַבָּא.
5. על הגדר אפשרויות ערימה עמוד, השאר הכל כפי שהוא ובחר הַבָּא.
6. על סקירה עמוד, השאר הכל כפי שהוא ובחר צור ערימה.

הסקריפט השלישי של CloudFormation, L4MQuickSightDataSet2.yaml, יוצר את מערך הנתונים של QuickSight שמצטרף לטבלת החריגות עם טבלת הנתונים הפעילים.

1. הפעל את הערימה מהקישור הבא:

2. על צור דף ערימהבחר הַבָּא.
3. על ציין פרטי ערימה עמוד, הזן שם מחסנית (לדוגמה, L4MQuickSightDataSet2).
4. לבחור הַבָּא.
5. על הגדר אפשרויות ערימה עמוד, השאר הכל כפי שהוא ובחר הַבָּא.
6. על סקירה עמוד, השאר הכל כפי שהוא ובחר צור ערימה.

צור את ניתוח QuickSight ליצירת לוח המחוונים

ניתן להשלים שלב זה רק בקונסולה. לאחר שיצרת את מערכי הנתונים של QuickSight, בצע את השלבים הבאים:

1. במסוף QuickSight, בחר אָנָלִיזָה בחלונית הניווט.
2. לבחור ניתוח חדש.
3. בחר את מערך הנתונים הראשון, L4MQuickSightDataSetWithLiveData.

4. לבחור צור ניתוח.

ניתוח QuickSight נוצר בתחילה רק עם מערך הנתונים הראשון.

5. כדי להוסיף את מערך הנתונים השני, בחר בסמל העיפרון שליד מערך נתונים ולבחור הוסף מערך נתונים.
6. בחר את מערך הנתונים השני ובחר בחר.

לאחר מכן תוכל להשתמש בכל מערך הנתונים ליצירת תרשימים על ידי בחירתו ב- מערך נתונים בתפריט הנפתח.

מדדי מערך נתונים

יצרת בהצלחה ניתוח QuickSight מתוצאות ההסקה של Lookout for Metrics והנתונים החיים. שני מערכי נתונים נמצאים ב-QuickSight לשימושכם: L4M_Visualization_dataset_with_liveData ו L4M_Visualization_dataset_with_dimensionContribution.

אל האני L4M_Visualization_dataset_with_liveData מערך הנתונים כולל את המדדים הבאים:

• חותם – התאריך והשעה של הנתונים החיים שהועברו ל- Lookout for Metrics
• נופים – הערך של מדד הצפיות
• הכנסה – הערך של מדד ההכנסה
• פלטפורמה, שוק, revenueAnomalyMetricValue, viewsAnomalyMetricValue, revenueGroupScore ו-viewGroupScore - מדדים אלה הם חלק משני מערכי הנתונים

אל האני L4M_Visualization_dataset_with_dimensionContribution מערך הנתונים כולל את המדדים הבאים:

• חותם – התאריך והשעה שבהם זוהתה האנומליה
• metricName - המדדים שאתה עוקב אחריהם
• dimensionName – הממד בתוך המדד
• dimensionValue – ערך הממד
• valueContribution – האחוז על כמה dimensionValue משפיע על האנומליה בעת זיהוי

צילום המסך הבא מציג את חמשת המדדים הללו בלוח המחוונים של חריגות של גלאי Lookout for Metrics.

המדדים הבאים הם חלק משני מערכי הנתונים:

• פלטפורמה – הפלטפורמה שבה התרחשה האנומליה
• שוק – השוק שבו התרחשה האנומליה
• revenueAnomalyMetricValue וצפיותAnomalyMetricValue – הערכים התואמים של המדד כאשר האנומליה זוהתה (במצב זה, המדדים הם הכנסה או צפיות)
• revenueGroupScore וצפיותGroupScore - ציוני החומרה עבור כל מדד עבור האנומליה שזוהתה

כדי להבין טוב יותר את המדדים האחרונים האלה, אתה יכול לסקור את קבצי ה-CSV שנוצרו על ידי פונקציית Lambda בדלי S3 שלך שבו שמרת anomalyResults/metricValue_AnomalyScore.

השלבים הבא

השלב הבא הוא לבנות את לוחות המחוונים עבור הנתונים שאתה רוצה לראות. פוסט זה אינו כולל הסבר על יצירת תרשימי QuickSight. אם אתה חדש ב-QuickSight, עיין ב תחילת העבודה עם ניתוח נתונים באמזון QuickSight להקדמה. צילומי המסך הבאים מציגים דוגמאות ללוחות מחוונים בסיסיים. למידע נוסף, בדוק את סדנאות QuickSight.

סיכום

החריגות מוצגות בנפרד בקונסולת Lookout for Metrics, כל אחת עם גרף משלה, מה שמקשה על הצגת הסט כמכלול. דרוש פתרון אוטומטי ומשולב לניתוח מעמיק יותר. בפוסט הזה, השתמשנו בגלאי Lookout for Metrics כדי ליצור חריגות, וחיברנו את הנתונים ל-QuickSight כדי ליצור הדמיות. פתרון זה מאפשר לנו לבצע ניתוח מעמיק יותר של חריגות ולהכניס את כולן למקום/לוח מחוונים אחד.

כשלב הבא, ניתן להרחיב את הפתרון הזה על ידי הוספת מערך נתונים נוסף ולשלב חריגות ממספר גלים. אתה יכול גם להתאים את פונקציית Lambda. הפונקציה Lambda מכילה את הקוד שיוצר את מערכי הנתונים ושמות המשתנים שבהם אנו משתמשים עבור לוחות המחוונים של QuickSight. אתה יכול להתאים את הקוד הזה למקרה השימוש הספציפי שלך על ידי שינוי מערכי הנתונים עצמם או שמות המשתנים הגיוניים יותר עבורך.

אם יש לך משוב או שאלות, אנא השאר אותם בתגובות.

---

על הכותבים

בנואה דה פאטול הוא אדריכל פתרונות AI/ML מומחה ב-AWS. הוא עוזר ללקוחות על ידי מתן הדרכה וסיוע טכני לבניית פתרונות הקשורים ל-AI/ML בעת שימוש ב-AWS.

פול טרויאנו הוא אדריכל פתרונות בכיר ב-AWS, שבסיסו באטלנטה, ג'ורג'יה. הוא עוזר ללקוחות על ידי מתן הדרכה לגבי אסטרטגיות ופתרונות טכנולוגיים ב-AWS. הוא נלהב מכל מה שקשור ל-AI/ML ואוטומציה של פתרונות.