תצפית אמזון למדדים הוא שירות AWS המשתמש בלמידה חישובית (ML) כדי לנטר אוטומטית את המדדים החשובים ביותר לעסקים במהירות ובדיוק גבוהים יותר. השירות גם מקל על אבחון שורשי חריגות, כגון ירידות בלתי צפויות בהכנסות, שיעורים גבוהים של עגלות קניות נטושות, עליות בכשלים בעסקאות תשלום, עלייה בהרשמות משתמשים חדשים ועוד רבים אחרים. Lookout for Metrics חורג מזיהוי אנומליות פשוט. זה מאפשר למפתחים להגדיר ניטור אוטונומי אחר מדדים חשובים כדי לזהות חריגות ולזהות את שורשן בכמה קליקים כדי לזהות חריגות במדדים שלה - כל זאת ללא צורך בניסיון ב-ML.
אמזונה אתנה הוא שירות שאילתות אינטראקטיבי המקל על ניתוח הנתונים שירות אחסון פשוט של אמזון (Amazon S3) באמצעות SQL רגיל. כל שעליך לעשות הוא להצביע על הנתונים שלך ב-Amazon S3, להגדיר את הסכימה ולהתחיל לבצע שאילתות באמצעות SQL רגיל. רוב התוצאות מתקבלות תוך שניות. עם Athena, אין צורך בעבודות ETL מורכבות כדי להכין את הנתונים שלך לניתוח. זה מקל על כל מי שיש לו כישורי SQL לנתח במהירות מערכי נתונים בקנה מידה גדול.
עם ההשקה של היום, Lookout for Metrics יכול כעת להתחבר בצורה חלקה לנתונים שלך באתנה כדי להגדיר גלאי אנומליות מדויקים ביותר. זה מאפשר לך לפרוס במהירות זיהוי אנומליות מתקדם באמצעות ML עם Lookout for Metrics כנגד כל מערכי הנתונים הזמינים באתנה.
קישוריות Athena מרחיבה את היכולות של Lookout for Metrics על ידי הבאת היתרונות הבאים:
- זה מרחיב את היכולות של Lookout for Metrics במונחים של תמיכה בסוג קובץ. לפני כן, Lookout for Metrics תמך בקבצים בפורמט CSV ו-JSONLines, אך עם Athena זה הורחב ל-Parquet, Avro, Plaintext ועוד. אם אתה יכול לנתח את זה דרך Athena, עכשיו זה אפשרי לייבא ולמנף עם Lookout for Metrics.
- זה גם מציג תמיכה בנתונים עם שאילתות מאוחדות. לפני השקה זו, אם הנתונים שלך אוחסנו במספר מסדי נתונים או מקורות, תצטרך להגדיר תהליך ETL מורכב שלם וכן לנהל את מאפייני הביצועים שלו לפני שתוכל לייצא את כל הנתונים לקובץ CSV או JSONLines ולהזין אותם אל תצפית על מדדים לזיהוי אנומליות. עם שאילתות מאוחדות מאתנה, אתה מגדיר את המקורות הנבדלים כמו גם כיצד יש לבצע את ההצטרפות וכאשר הנתונים עברו עיבוד וניתן לבצע שאילתות על ידי Athena, הוא מוכן מיד ל- Lookout for Metrics. זה מאפשר לך להעביר את הנטל על טרנספורמציה של נתונים, צבירה ומיקום מסירה לאטהנה ופשוט להתמקד בחריגות שזוהו מ- Lookout for Metrics.
סקירת פתרונות
בפוסט זה, אנו מדגימים כיצד לשלב טבלת אתנה ולזהות חריגות במדדי ההכנסה. אנו עוקבים גם אחר האופן שבו מושפעים מדדי ההזמנה ומדדי המלאי. נתוני המקור נמצאים ב-Amazon S3 והגדרנו טבלאות אתנה כך שיוכלו לבצע שאילתות על הנתונים שבה. א AWS למבדה אחראי על עדכון המחיצות בתוך Athena, המשמשות את Lookout for Metrics כדי לזהות חריגות. פתרון זה מאפשר לך להשתמש במקור נתונים של Athena עבור Lookout for Metrics.
אתה יכול להשתמש במסופק AWS CloudFormation מחסנית כדי להגדיר משאבים עבור ההליכה. הוא מכיל משאבים ליצירת נתונים חיים באופן רציף והופך אותם לאפשרי שאילתות באתנה.
- הפעל את הערימה מהקישור הבא ובחר הבא בדף צור ערימה.
- על ציין פרטי ערימה עמוד, הוסף את הערכים מלמעלה, תן לו שם מחסנית (לדוגמה,
L4MAthenaDetector
) ובחר הַבָּא. - על הגדר אפשרויות ערימה עמוד, השאר הכל כפי שהוא ובחר הַבָּא.
הגדר גלאי חדש עם אתנה כמקור הנתונים
שלב 1
התחבר על מנת קונסולת AWS כדי להתחיל ביצירת גלאי אנומליות עם Lookout for Metrics. השלב הראשון הוא לבחור בלחצן "צור גלאי".
שלב 2
מלא את שדות הגלאי החובה כמו שם. בחר את מרווח הזיהוי עבור הגלאי, אשר נקבע על פי התדירות שבה אתה רוצה ש- Lookout for Metrics יבצע שאילתה על הנתונים שלך וינטר אותם לאיתור חריגות. מידע ההצפנה אינו חובה. מידע ההצפנה מאפשר ל- Lookout for Metrics להצפין את הנתונים שלך באמצעות שלך שירות ניהול מפתחות של AWS (KMS) מַפְתֵחַ. בדוגמה זו, נדלג על הוספת מפתח הצפנה, Lookout for Metrics ישתמש בהצפנת ברירת מחדל כדי להצפין את הנתונים שלך אם לא יסופק מידע הצפנה, ונמשיך בבחירה בלחצן "צור".
שלב 3
עם יצירת גלאי האנומליה, תראה אישור בבאנר בחלק העליון. אתה יכול להמשיך על ידי בחירת "הוסף מערך נתונים" דרך הבאנר או הלחצן תחת "הוסף מערך נתונים".
מלא את המידע הבסיסי עבור מקור הנתונים. אזור זמן הוא שדה אופציונלי. בחר בתפריט הנפתח כדי לבחור מקור נתונים.
Lookout for Metrics תומך במקורות נתונים מרובים כנוחות ללקוחות. עבור דוגמה זו, נבחר אתנה.
לאחר בחירת Athena כמקור הנתונים, תהיה לך אפשרות לבחור במצב Backtest או Continuous mode עבור הגלאי. עבור דוגמה זו, נמשיך על ידי שימוש במצב רציף. המשך על ידי הוספת פרטים עבור טבלת Athena שברצונך לעקוב אחר חריגות.
אתה יכול לאפשר לשירות ליצור תפקיד שירות או להשתמש בתפקיד קיים AWS זהות וניהול גישה (IAM) תפקיד בחשבון שלך עבור שאילתות מאוחדות. שימו לב כי Lookout for Metrics אינו תומך ביצירה אוטומטית של תפקידי IAM עבור שאילתות מאוחדות. לכן, תצטרך ליצור תפקיד IAM חדש כדי לאפשר לאטהנה לבצע את הפעולות הבאות על הנתונים שלך,
CreatePreparedStatement
GetPreparedStatement
GetQueryResultsStream
DeletePreparedStatement
GetDatabase
GetQueryResults
GetWorkGroup
GetTableMetadata
StartQueryExecution
GetQueryExecution
תפקיד IAM שנוצר על ידי השירות נראה כך:
שלב 4
כעת נגדיר מדדים רלוונטיים עבור הגלאי. Lookout for Metrics יאכלס את התפריטים הנפתחים בעמודות הקיימות בטבלת Athena שסופקה. אתה יכול לבחור עד חמישה מדדים וחמישה מימדים. Lookout for Metrics דורש שהנתונים בטבלה שלך יהיו מחולקים כחותמות זמן עבור העמודה חותמת זמן. תהיה לך גם אפשרות להעריך את העלות עבור גלאי זה על ידי הוספת מספר הערכים על פני הממדים שלך.
לאחר שבחרת את כל המדדים, המשך בבחירת כפתור "הבא". עיין בפרטים ובחר בלחצן "שמור מערך נתונים" כדי לשמור את מערך הנתונים.
שלב 5
לאחר יצירת מערך הנתונים, נפעיל את הגלאי על ידי בחירה בלחצן "הפעל" בחלק העליון או בלחצן "הפעל גלאי" בקטע "איך זה עובד".
תתבקש לאשר אם ברצונך להפעיל את הגלאי לזיהוי מתמשך. בחר "הפעל" כדי לאשר.
תראה אישור המודיע שהגלאי מופעל.
שלב 6
לאחר שגלאי האנומליה פעיל, תוכל להשתמש בלשונית "יומן גלאי" בדף פרטי הגלאי כדי לסקור את ביצועי הזיהוי שבוצעו על ידי השירות.
שלב 7
אתה יכול לבחור בלחצן "הצג חריגות" מדף פרטי הגלאי כדי לבדוק באופן ידני חריגות שאולי זוהו על ידי השירות.
שלב 8
בדף סקירת חריגות, תוכל להתאים את סף ציון החומרה בחוגת הסף כדי לסנן חריגות מעל ציון נבחר.
סקור ונתח את התוצאות
בעת זיהוי חריגה, Lookout for Metrics עוזר לך להתמקד במה שחשוב ביותר על ידי הקצאת ציון חומרה כדי לסייע בתעדוף. כדי לעזור לך למצוא את הסיבה השורשית, הוא מקבץ בצורה חכמה חריגות שעשויות להיות קשורות לאותו אירוע, ולאחר מכן מסכם את מקורות ההשפעה השונים.
Lookout for Metrics מאפשרת לך גם לספק משוב בזמן אמת על הרלוונטיות של חריגות שזוהו, ובכך לאפשר מנגנון אנושי רב עוצמה. מידע זה מוזן בחזרה למודל זיהוי החריגות כדי לשפר את דיוקו בזמן כמעט אמת.
לנקות את
כדי להימנע מחיובים נוספים עבור המשאב שהוגדר עבור ההדגמה, אתה יכול למחוק את הגלאי שנוצר תחת Lookout for Metrics ואת המחסנית שנוצרה באמצעות CloudFormation.
סיכום
אתה יכול להתחבר בצורה חלקה לנתונים שלך ב- Athena ל- Lookout for Metrics כדי להגדיר גלאי אנומליות מדויק ביותר על פני מדדים וממדים בטבלאות Athena שלך. כדי להתחיל עם יכולת זו, ראה שימוש ב-Amazon Athena עם Lookout for Metrics. אתה יכול להשתמש ביכולת זו בכל האזורים שבהם Lookout for Metrics זמין לציבור. למידע נוסף על זמינות אזור, ראה שירותים אזוריים של AWS.
על הכותבים
דבש ראתו הוא מהנדס פיתוח תוכנה בצוות Lookout for Metrics. האינטרסים שלו טמונים בבניית מערכות מבוזרות ניתנות להרחבה. בזמנו הפנוי, הוא נהנה מרוצי סים.
כריס קינג הוא אדריכל פתרונות בכיר בבינה מלאכותית יישומית עם AWS. יש לו עניין מיוחד בהשקת שירותי AI ועזר לגדול ולבנות את Amazon Personalize ו-Amazon Forecast לפני שהתמקד באמזון Lookout for Metrics. בזמנו הפנוי הוא נהנה לבשל, לקרוא, לאגרוף ולבנות מודלים לחזות את התוצאות של ספורט קרבי.
- "
- 100
- אודות
- גישה
- חֶשְׁבּוֹן
- מדויק
- לרוחב
- פעולה
- פעולות
- פעיל
- נוסף
- AI
- שירותי AI
- תעשיות
- אמזון בעברית
- אנליזה
- כל אחד
- אוטומטי
- אוטונומי
- זמינות
- זמין
- AWS
- באנר
- לפני
- הטבות
- מעבר
- גבול
- אִגרוּף
- לִבנוֹת
- בִּניָן
- עסקים
- יכולות
- לגרום
- חיובים
- טור
- להילחם
- מורכב
- מצב
- לְחַבֵּר
- קישוריות
- מכיל
- נוחות
- יכול
- לִיצוֹר
- נוצר
- יוצרים
- יצירה
- לקוחות
- נתונים
- מאגרי מידע
- נתן
- מסירה
- להפגין
- לפרוס
- פרטים
- זוהה
- איתור
- מפתחים
- צעצועי התפתחות
- אחר
- מופץ
- לא
- השפעה
- מה שמאפשר
- הצף
- מהנדס
- לְהַעֲרִיך
- הכל
- דוגמה
- קיימים
- מורחב
- ניסיון
- הפד
- מָשׁוֹב
- שדות
- ראשון
- להתמקד
- התמקדות
- הבא
- ליצור
- יותר
- קבוצה
- לגדול
- לעזור
- עוזר
- גָבוֹהַ
- מאוד
- איך
- איך
- HTTPS
- לזהות
- זהות
- פְּגִיעָה
- חשוב
- לשפר
- מידע
- קלט
- לשלב
- אינטראקטיבי
- אינטרס
- אינטרסים
- מלאי
- IT
- מקומות תעסוקה
- להצטרף
- מפתח
- המלך
- לשגר
- השקה
- למידה
- יציאה
- תנופה
- קשר
- מיקום
- מכונה
- למידת מכונה
- עושה
- לנהל
- ניהול
- מנדטורי
- באופן ידני
- דבר
- עניינים
- מדדים
- ML
- מודל
- מודלים
- צג
- ניטור
- יותר
- רוב
- מספר
- מספר
- אפשרות
- להזמין
- תשלום
- ביצועים
- אישית
- נקודה
- אפשרי
- חזק
- לחזות
- להכין
- להציג
- תהליך
- לספק
- מהירות
- מירוץ
- תעריפים
- קריאה
- זמן אמת
- אזורי
- רלוונטי
- נדרש
- דורש
- משאב
- משאבים
- אחראי
- תוצאות
- הכנסה
- סקירה
- להרחבה
- בצורה חלקה
- שניות
- נבחר
- שרות
- שירותים
- סט
- קניות
- כן
- פָּשׁוּט
- מיומנויות
- תוכנה
- פיתוח תוכנה
- מוצק
- פִּתָרוֹן
- פתרונות
- מיוחד
- מְהִירוּת
- ספורט
- לערום
- תֶקֶן
- התחלה
- החל
- מדינה-of-the-art
- הצהרה
- אחסון
- תמיכה
- נתמך
- תומך
- מערכות
- נבחרת
- המקור
- לכן
- סף
- דרך
- זמן
- של היום
- חלק עליון
- לעקוב
- עסקה
- טרנספורמציה
- תחת
- עדכון
- להשתמש
- גרסה
- מה
- בתוך
- היה