تصور نتائج الشذوذ في Amazon Lookout for Metrics باستخدام Amazon QuickSight

أحد التحديات التي واجهتها فرق استخدام أمازون لوك أوت للقياسات يتم توصيله بسرعة وكفاءة بتصور البيانات. يتم تقديم الحالات الشاذة بشكل فردي على وحدة التحكم في Lookout for Metrics ، ولكل منها رسم بياني خاص بها ، مما يجعل من الصعب عرض المجموعة ككل. هناك حاجة إلى حل آلي متكامل لإجراء تحليل أعمق.

في هذا المنشور ، نستخدم كاشف مباشر لـ Metrics تم إنشاؤه بعد كيف تبدأ قسم من عينات AWS ، Amazon Lookout for Metrics جيثب ريبو. بعد تنشيط الكاشف وإنشاء الحالات الشاذة من مجموعة البيانات ، نربط Lookout for Metrics بـ أمازون QuickSight. نقوم بإنشاء مجموعتي بيانات: واحدة من خلال ضم جدول الأبعاد مع جدول الحالات الشاذة ، والأخرى من خلال ضم جدول الحالات الشاذة بالبيانات الحية. يمكننا بعد ذلك إضافة مجموعتي البيانات هاتين إلى تحليل QuickSight ، حيث يمكننا إضافة مخططات في لوحة معلومات واحدة.

يمكننا توفير نوعين من البيانات لجهاز الكشف عن المقاييس: مستمر وتاريخي. ال نماذج AWS GitHub repo يقدم كلاهما ، على الرغم من أننا نركز على البيانات الحية المستمرة. يقوم الكاشف بمراقبة هذه البيانات الحية لتحديد الحالات الشاذة وكتابة الحالات الشاذة إليها خدمة تخزين أمازون البسيطة (Amazon S3) كما تم إنشاؤها. في نهاية فترة زمنية محددة ، يقوم الكاشف بتحليل البيانات. بمرور الوقت ، يتعلم الكاشف تحديد الحالات الشاذة بدقة أكبر بناءً على الأنماط التي يكتشفها.

يستخدم Lookout for Metrics التعلم الآلي (ML) لاكتشاف وتشخيص الحالات الشاذة في بيانات الأعمال والبيانات التشغيلية ، مثل الانخفاض المفاجئ في إيرادات المبيعات أو معدلات اكتساب العملاء. الخدمة متاحة الآن بشكل عام اعتبارًا من 25 مارس 2021. وهي تقوم تلقائيًا بفحص وإعداد البيانات من مجموعة متنوعة من المصادر لاكتشاف الحالات الشاذة بسرعة ودقة أكبر من الطرق التقليدية المستخدمة لاكتشاف الشذوذ. يمكنك أيضًا تقديم ملاحظات حول الحالات الشاذة المكتشفة لضبط النتائج وتحسين الدقة بمرور الوقت. تسهل ميزة Lookout for Metrics تشخيص الحالات الشاذة المكتشفة عن طريق تجميع الحالات الشاذة المرتبطة بالحدث نفسه معًا وإرسال تنبيه يتضمن ملخصًا للسبب الجذري المحتمل. كما أنه يصنف الحالات الشاذة بترتيب الخطورة حتى تتمكن من إعطاء الأولوية لاهتمامك بما هو أكثر أهمية لعملك.

QuickSight هي خدمة ذكاء أعمال (BI) مُدارة بالكامل ومُدارة بالكامل تُسهل الاتصال ببياناتك لإنشاء لوحات معلومات تفاعلية ونشرها. بالإضافة إلى ذلك ، يمكنك استخدام ملفات أمازون QuickSight للحصول على إجابات فورية من خلال استفسارات اللغة الطبيعية.

يمكنك الوصول إلى لوحات معلومات QuickSight بدون خادم وقابلة للتطوير بدرجة كبيرة من أي جهاز ، وتضمينها بسلاسة في تطبيقاتك وبواباتك ومواقعك على الويب. لقطة الشاشة التالية هي مثال لما يمكنك تحقيقه بنهاية هذا المنشور.

نظرة عامة على الحل

الحل هو مزيج من خدمات AWS ، في المقام الأول Lookout for Metrics و QuickSight و AWS لامدا, أمازون أثينا, غراء AWS، و Amazon S3.

يوضح الرسم البياني التالي بنية الحل. يكتشف تطبيق Lookout for Metrics الانحرافات ويرسلها إلى Lambda عبر تنبيه. تقوم وظيفة Lambda بإنشاء نتائج الشذوذ كملفات CSV وحفظها في Amazon S3. يقوم برنامج تتبع الارتباطات AWS Glue بتحليل البيانات الوصفية وإنشاء جداول في أثينا. يستخدم QuickSight تطبيق Athena للاستعلام عن بيانات Amazon S3 ، مما يسمح بإنشاء لوحات المعلومات لتصور كل من نتائج الانحراف والبيانات الحية.

يتوسع هذا الحل في الموارد التي تم إنشاؤها في كيف تبدأ قسم من مستودع جيثب. لكل خطوة ، نقوم بتضمين خيارات لإنشاء الموارد إما باستخدام وحدة تحكم إدارة AWS أو إطلاق المقدمة تكوين سحابة AWS كومة. إذا كان لديك مرصد مخصص للكشف عن المقاييس ، فيمكنك استخدامه وتكييفه على النحو التالي مفكرة لتحقيق نفس النتائج.

خطوات التنفيذ هي كما يلي:

1. إنشاء الأمازون SageMaker مثيل دفتر الملاحظات (ALFMTestNotebook) وأجهزة الكمبيوتر المحمولة التي تستخدم المكدس المتوفر في ملف الإعداد الأولي قسم من جيثب ريبو.
2. افتح مثيل الكمبيوتر الدفتري على وحدة تحكم SageMaker وانتقل إلى ملف amazon-lookout-for-metrics-samples/getting_started المجلد.
3. أنشئ حاوية S3 وأكمل إعداد البيانات باستخدام الأول مفكرة (1.PrereqSetupData.ipynb). افتح دفتر الملاحظات بملحق conda_python3 kernel ، إذا طُلب منك ذلك.

نتخطى الثانية مفكرة لأنه يركز على الاختبار العكسي للبيانات.

4. إذا كنت تمشي عبر المثال باستخدام وحدة التحكم ، فقم بإنشاء كاشف مباشر لـ Lookout for Metrics وتنبيهه باستخدام الثالث مفكرة (3.GettingStartedWithLiveData.ipynb).

إذا كنت تستخدم حزم CloudFormation المتوفرة ، فلن يكون الكمبيوتر المحمول الثالث مطلوبًا. يتم إنشاء الكاشف والتنبيه الخاص به كجزء من المكدس.

5. بعد إنشاء الكاشف المباشر لـ Lookout for Metrics ، تحتاج إلى تنشيطه من وحدة التحكم.

قد يستغرق هذا ما يصل إلى ساعتين لتهيئة النموذج واكتشاف الحالات الشاذة.

6. انشر وظيفة Lambda ، باستخدام Python مع طبقة مكتبة Pandas ، وأنشئ تنبيهًا مرفقًا بالكاشف المباشر لتشغيله.
7. استخدم مزيجًا من Athena و AWS Glue لاكتشاف البيانات وإعدادها لـ QuickSight.
8. قم بإنشاء مصدر بيانات QuickSight ومجموعات البيانات.
9. أخيرًا ، قم بإنشاء تحليل QuickSight للتصور باستخدام مجموعات البيانات.

يتم تشغيل البرامج النصية CloudFormation عادةً كمجموعة من الحزم المتداخلة في بيئة الإنتاج. يتم توفيرها بشكل فردي في هذا المنشور لتسهيل الإرشادات خطوة بخطوة.

المتطلبات الأساسية المسبقة

لتصفح هذه الإرشادات ، تحتاج إلى حساب AWS حيث سيتم نشر الحل. تأكد من أن جميع الموارد التي تنشرها موجودة في نفس المنطقة. أنت بحاجة إلى جهاز كشف يعمل بالمرصد للمقاييس تم إنشاؤه من دفاتر الملاحظات 1 و 3 من جيثب ريبو. إذا لم يكن لديك كاشف مرصد للمقاييس قيد التشغيل ، فلديك خياران:

• قم بتشغيل دفاتر الملاحظات 1 و 3 ، وتابع من الخطوة 1 من هذا المنشور (إنشاء وظيفة Lambda والتنبيه)
• قم بتشغيل دفتر الملاحظات 1 ثم استخدم قالب CloudFormation لإنشاء مرصد للكشف عن المقاييس

أنشئ الكاشف المباشر باستخدام AWS CloudFormation

• L4MLiveDetector.yaml يقوم البرنامج النصي CloudFormation بإنشاء كاشف الشذوذ في Lookout for Metrics حيث يشير مصدره إلى البيانات الحية في حاوية S3 المحددة. لإنشاء الكاشف ، أكمل الخطوات التالية:

1. قم بتشغيل المكدس من الرابط التالي:

2. على إنشاء مكدس الصفحة ، اختر التالى.
3. على حدد تفاصيل المكدس الصفحة ، قدم المعلومات التالية:
   1. اسم المكدس. فمثلا، L4MLiveDetector.
   2. دلو S3 ، <Account Number>-lookoutmetrics-lab.
   3. دور ARN ، arn:aws:iam::<Account Number>:role/L4MTestRole.
   4. تردد الكشف عن الشذوذ. يختار PT1H (ساعيا).
4. اختار التالى.
5. على تكوين خيارات المكدس الصفحة ، اترك كل شيء كما هو واختر التالى.
6. على التقيم الصفحة ، اترك كل شيء كما هو واختر إنشاء مكدس.

إنشاء تنبيه SMS مباشر للكاشف باستخدام AWS CloudFormation (اختياري)

هذه الخطوة اختيارية. يتم تقديم التنبيه كمثال ، دون أي تأثير على إنشاء مجموعة البيانات. ال L4MLiveDetectorAlert.yaml يقوم البرنامج النصي CloudFormation بإنشاء تنبيه كاشف الشذوذ عن المقاييس مع هدف SMS.

1. قم بتشغيل المكدس من الرابط التالي:

2. على إنشاء مكدس الصفحة ، اختر التالى.
3. على حدد تفاصيل المكدس الصفحة ، قم بتحديث رقم هاتف SMS وأدخل اسمًا للمكدس (على سبيل المثال ، L4MLiveDetectorAlert).
4. اختار التالى.
5. على تكوين خيارات المكدس الصفحة ، اترك كل شيء كما هو واختر التالى.
6. على التقيم الصفحة ، حدد خانة اختيار الإقرار ، اترك كل شيء آخر كما هو ، واختر إنشاء مكدس.

تنظيف الموارد

قبل متابعة الخطوة التالية ، قم بإيقاف مثيل دفتر ملاحظات SageMaker لضمان عدم تكبد تكاليف غير ضرورية. لم يعد هناك حاجة إليها.

قم بإنشاء وظيفة Lambda والتنبيه

في هذا القسم ، نقدم إرشادات حول إنشاء وظيفة Lambda وتنبيهك عبر وحدة التحكم أو AWS CloudFormation.

قم بإنشاء الوظيفة والتنبيه باستخدام وحدة التحكم

أنت بحاجة إلى Lambda إدارة الهوية والوصول AWS (انا) دور بعد أفضل ممارسة من حيث الامتياز للوصول إلى الحاوية حيث تريد حفظ النتائج.

1. 1. على وحدة تحكم Lambda ، قم بإنشاء وظيفة جديدة.
   2. أختار مؤلف من الصفر.
   3. في حالة اسم وظيفةإدخال اسم.
   4. في حالة وقت التشغيل، اختر بيثون 3.8.
   5. في حالة دور التنفيذ، حدد استخدم دورًا موجودًا وحدد الدور الذي قمت بإنشائه.
   6. اختار خلق وظيفة.
2. 
   7. تحميل ملف ZIP الذي يحتوي على الكود اللازم لوظيفة Lambda.
   8. في وحدة تحكم Lambda ، افتح الوظيفة.
   9. على رمز علامة التبويب، اختر تحميل من، اختر .ملف مضغوط، وقم بتحميل الملف الذي قمت بتنزيله.
   10. اختار حفظ.

يجب أن تظل شجرة الملفات كما هي بعد تحميل ملف ZIP.

11. في مجلة طبقات القسم، اختر أضف طبقة.
12. أختار حدد ARN.
13. في ما يلي جيثب ريبو، اختر ملف CSV المطابق للمنطقة التي تعمل بها وانسخ ARN من أحدث إصدار من Pandas.
14. في حالة حدد ARN، أدخل ARN الذي نسخته.
15. اختار أضف.

16. لتكييف الوظيفة مع بيئتك ، في الجزء السفلي من الكود من ملف lambda_function.py ، تأكد من تحديث اسم الحاوية مع الحاوية الخاصة بك حيث تريد حفظ نتائج الشذوذ ، و DataSet_ARN من كاشف الشذوذ.
17. اختار نشر لجعل التغييرات نشطة.

تحتاج الآن إلى توصيل كاشف المرصد عن المقاييس بوظيفتك.

18. في وحدة التحكم في Lookout for Metrics ، انتقل إلى الكاشف الخاص بك واختر إضافة تنبيه.
19. أدخل اسم التنبيه وعتبة الخطورة المفضلة لديك.
20. من قائمة القنوات ، اختر لامدا.
21. اختر الوظيفة التي قمت بإنشائها وتأكد من أن لديك الدور الصحيح لتشغيلها.
22. اختار إضافة تنبيه.

أنت الآن تنتظر تشغيل التنبيه. يختلف الوقت اعتمادًا على الوقت الذي يكتشف فيه الكاشف شذوذًا.

عند اكتشاف حالة شاذة ، يقوم Lookout for Metrics بتشغيل وظيفة Lambda. يتلقى المعلومات الضرورية من Lookout for Metrics ويتحقق مما إذا كان هناك ملف CSV محفوظ بالفعل في Amazon S3 في الطابع الزمني المقابل للشذوذ. إذا لم يكن هناك ملف ، فإن Lambda تنشئ الملف وتضيف بيانات الشذوذ. إذا كان الملف موجودًا بالفعل ، تقوم Lambda بتحديث الملف بالبيانات الإضافية المستلمة. تقوم الوظيفة بإنشاء ملف CSV منفصل لكل طابع زمني مختلف.

قم بإنشاء الوظيفة والتنبيه باستخدام AWS CloudFormation

على غرار تعليمات وحدة التحكم ، أنت قم بتنزيل ملف ZIP يحتوي على الكود الضروري لوظيفة Lambda. ومع ذلك ، في هذه الحالة ، يجب تحميله إلى حاوية S3 حتى يتم تحميل رمز AWS CloudFormation أثناء إنشاء الوظيفة.

في دلو S3 المحدد في إنشاء أداة الكشف عن المقاييس ، أنشئ مجلدًا يسمى رمز lambda ، وقم بتحميل ملف ZIP.

تقوم وظيفة Lambda بتحميل هذا ككود أثناء الإنشاء.

• L4ML ينشئ البرنامج النصي CloudFormation وظيفة Lambda وموارد التنبيه ويستخدم أرشيف كود الوظيفة المخزن في نفس حاوية S3.

1. قم بتشغيل المكدس من الرابط التالي:

2. على إنشاء مكدس الصفحة ، اختر التالى.
3. على حدد تفاصيل المكدس الصفحة ، حدد اسم المكدس (على سبيل المثال ، L4MLambdaFunction).
4. في ما يلي جيثب ريبو، افتح ملف CSV المطابق للمنطقة التي تعمل بها وانسخ ARN من أحدث إصدار من Pandas.
5. أدخل ARN كمعامل ARN لطبقة Pandas Lambda.
6. اختار التالى.
7. على تكوين خيارات المكدس الصفحة ، اترك كل شيء كما هو واختر التالى.
8. على التقيم الصفحة ، حدد خانة اختيار الإقرار ، اترك كل شيء آخر كما هو ، واختر إنشاء مكدس.

قم بتنشيط الكاشف

قبل الانتقال إلى الخطوة التالية ، تحتاج إلى تنشيط الكاشف من وحدة التحكم.

1. في وحدة التحكم في Lookout for Metrics ، اختر كاشف في جزء التنقل.
2. اختر الكاشف الذي تم إنشاؤه حديثًا.
3. اختار تفعيل، ثم اختر تفعيل مرة أخرى للتأكيد.

التنشيط يهيئ الكاشف ؛ يتم الانتهاء منه عندما يكمل النموذج دورة التعلم الخاصة به. قد يستغرق هذا ما يصل إلى ساعتين.

تحضير البيانات لبرنامج QuickSight

قبل إكمال هذه الخطوة ، امنح الكاشف الوقت الكافي للعثور على الحالات الشاذة. تعمل وظيفة Lambda التي أنشأتها على حفظ نتائج الانحراف في حاوية Lookout for Metrics في ملف anomalyResults الدليل. يمكننا الآن معالجة هذه البيانات لإعدادها لـ QuickSight.

أنشئ برنامج تتبع الارتباطات AWS Glue على وحدة التحكم

بعد إنشاء بعض ملفات CSV الشاذة ، نستخدم متتبع ارتباطات AWS Glue لإنشاء جداول البيانات الوصفية.

1. في وحدة تحكم AWS Glue ، اختر الزواحف في جزء التنقل.
2. اختار أضف الزاحف.

3. أدخل اسمًا للزاحف (على سبيل المثال ، L4MCrawler).
4. اختار التالى.
5. في حالة نوع مصدر الزاحف، حدد مخازن البيانات.
6. في حالة كرر عمليات الزحف إلى مخازن بيانات S3، حدد الزحف إلى جميع المجلدات.
7. اختار التالى.

8. في صفحة تكوين مخزن البيانات ، لـ بيانات الزحف بتنسيق، حدد المسار المحدد في حسابي.
9. في حالة تضمين المسار، أدخل مسار dimensionContributions ملف (s3://YourBucketName/anomalyResults/dimensionContributions).
10. اختار التالى.
11. اختار نعم لإضافة مخزن بيانات آخر وتكرار التعليمات الخاصة بـ metricValue_AnomalyScore(s3://YourBucketName/anomalyResults/metricValue_AnomalyScore).
12. كرر التعليمات مرة أخرى ليتم تحليل البيانات الحية بواسطة كاشف شذوذ القياسات (هذا هو موقع مجموعة بيانات S3 من جهاز كشف المقاييس).

يجب أن يكون لديك الآن ثلاثة مخازن بيانات ليقوم الزاحف بمعالجتها.

أنت الآن بحاجة إلى تحديد الدور للسماح للزاحف بالمرور عبر مواقع S3 لبياناتك.

13. لهذه الوظيفة ، حدد إنشاء دور IAM وأدخل اسمًا للدور.
14. اختار التالى.

15. في حالة تردد، اترك بصيغة تعمل حسب الطلب واختر التالى.
16. في مجلة هيئ ناتج الزاحف القسم، اختر أضف قاعدة البيانات.

يؤدي هذا إلى إنشاء قاعدة بيانات أثينا حيث توجد جداول البيانات الوصفية بعد اكتمال الزاحف.

17. أدخل اسمًا لقاعدة البيانات الخاصة بك واختر إنشاء.
18. اختار التالى، ثم اختر نهاية.

19. على الزواحف صفحة من وحدة تحكم AWS Glue ، حدد الزاحف الذي أنشأته واختره تشغيل الزاحف.

قد تحتاج إلى الانتظار بضع دقائق ، حسب حجم البيانات. عندما يكتمل ، تظهر حالة الزاحف كـ استعداد. لمشاهدة جداول البيانات الوصفية ، انتقل إلى قاعدة البيانات الخاصة بك على ملف قواعد بيانات الصفحة واختيار طاولات الطعام في جزء التنقل.

في هذا المثال ، يمثل جدول البيانات الوصفية المسمى "مباشر" مجموعة بيانات S3 من جهاز الكشف المباشر عن المقاييس. كأفضل ممارسة ، يوصى بذلك تشفير البيانات الوصفية الخاصة بك في AWS Glue Data Catalog.

يتعرف Athena تلقائيًا على جداول البيانات الوصفية ، ويستخدم QuickSight برنامج Athena للاستعلام عن البيانات وتصور النتائج.

أنشئ متتبع ارتباطات AWS Glue باستخدام AWS CloudFormation

• L4MGlueCrawler.yaml يُنشئ البرنامج النصي CloudFormation برنامج الزاحف AWS Glue ودور IAM المرتبط به وقاعدة بيانات أثينا الناتجة.

1. قم بتشغيل المكدس من الرابط التالي:

2. على إنشاء مكدس الصفحة ، اختر التالى.
3. على حدد تفاصيل المكدس الصفحة ، أدخل اسمًا للمكدس الخاص بك (على سبيل المثال ، L4MGlueCrawler)، و اختار التالى.
4. على تكوين خيارات المكدس الصفحة ، اترك كل شيء كما هو واختر التالى.
5. على التقيم الصفحة ، حدد خانة اختيار الإقرار ، اترك كل شيء آخر كما هو ، واختر إنشاء مكدس.

قم بتشغيل برنامج تتبع الارتباطات AWS Glue

بعد إنشاء الزاحف ، تحتاج إلى تشغيله قبل الانتقال إلى الخطوة التالية. يمكنك تشغيله من وحدة التحكم أو واجهة سطر الأوامر AWS (AWS CLI). لاستخدام وحدة التحكم ، أكمل الخطوات التالية:

1. في وحدة تحكم AWS Glue ، اختر الزواحف في جزء التنقل.
2. حدد الزاحف الخاص بك (L4MCrawler).
3. اختار تشغيل الزاحف.

عندما يكتمل الزاحف ، فإنه يعرض الحالة استعداد.

قم بإنشاء حساب QuickSight

قبل البدء في هذه الخطوة التالية ، انتقل إلى وحدة تحكم QuickSight وأنشئ حسابًا إذا لم يكن لديك حساب بالفعل. للتأكد من أن لديك حق الوصول إلى الخدمات المقابلة (دلو Athena و S3) ، اختر اسم حسابك في الجزء العلوي الأيمن ، واختر إدارة QuickSight، و اختار الأمان والأذوناتحيث يمكنك إضافة الخدمات الضرورية. عند إعداد وصول Amazon S3 الخاص بك ، تأكد من تحديد إذن كتابة لـ Athena Workgroup.

أنت الآن جاهز لتصور بياناتك في QuickSight.

قم بإنشاء مجموعات بيانات QuickSight على وحدة التحكم

إذا كانت هذه هي المرة الأولى التي تستخدم فيها Athena ، فيجب عليك تكوين موقع إخراج الاستعلامات. للحصول على إرشادات ، راجع الخطوات من 1 إلى 6 في أنشئ قاعدة بيانات. ثم أكمل الخطوات التالية:

1. في وحدة تحكم QuickSight ، اختر قواعد البيانات.
2. اختار مجموعة بيانات جديدة.
3. اختر أثينا كمصدرك.
4. أدخل اسمًا لمصدر البيانات الخاص بك.
5. اختار إنشاء مصدر بيانات.

6. بالنسبة لقاعدة البيانات الخاصة بك ، حدد تلك التي قمت بإنشائها مسبقًا باستخدام زاحف AWS Glue.
7. حدد الجدول الذي يحتوي على بياناتك الحية (وليس الحالات الشاذة).
8. اختار تحرير / معاينة البيانات.

ستتم إعادة توجيهك إلى واجهة مشابهة لتلك الموجودة في لقطة الشاشة التالية.

الخطوة التالية هي إضافة ودمج ملف metricValue_AnomalyScore البيانات مع البيانات الحية.

9. اختار إضافة البيانات.
10. اختار أضف مصدر البيانات.
11. حدد قاعدة البيانات التي أنشأتها و metricValue_AnomalyScore الجدول.
12. اختار أختار.

تحتاج الآن إلى تكوين صلة الجدولين.

13. اختر الارتباط بين الجدولين.
14. اترك نوع الصلة كـ اليسار، أضف الطابع الزمني وكل بُعد لديك كشرط ربط ، واختر التقديم.

في المثال التالي ، نستخدم الطابع الزمني والنظام الأساسي والسوق كبنود الانضمام.

في الجزء الأيسر ، يمكنك إزالة الحقول التي لا ترغب في الاحتفاظ بها.

15. قم بإزالة الطابع الزمني من ملف metricValue_AnomalyScore الجدول لا يحتوي على عمود مكرر.
16. قم بتغيير نوع بيانات الطابع الزمني (لجدول البيانات الحية) من سلسلة إلى تاريخ ، وحدد الصحيح شكل. في حالتنا ، يجب أن يكون yyyy-MM-dd HH:mm:ss.

تُظهر لقطة الشاشة التالية وجهة نظرك بعد إزالة بعض الحقول وضبط نوع البيانات.

17. اختار احفظ وتصور.
18. اختر رمز القلم الرصاص بجوار مجموعة البيانات.
19. اختار أضف مجموعة البيانات واختر dimensioncontributions.

أنشئ مجموعات بيانات QuickSight باستخدام AWS CloudFormation

تحتوي هذه الخطوة على ثلاث حزم CloudFormation.

أول نص برمجي CloudFormation ، L4MQuickSightDataSource.yaml، يقوم بإنشاء مصدر بيانات QuickSight Athena.

1. قم بتشغيل المكدس من الرابط التالي:

2. على إنشاء مكدس الصفحة ، اختر التالى.
3. على حدد تفاصيل المكدس الصفحة ، أدخل اسم مستخدم QuickSight الخاص بك ، ومنطقة حساب QuickSight (المحددة عند إنشاء حساب QuickSight) ، واسم المكدس (على سبيل المثال ، L4MQuickSightDataSource).
4. اختار التالى.
5. على تكوين خيارات المكدس الصفحة ، اترك كل شيء كما هو واختر التالى.
6. على التقيم الصفحة ، اترك كل شيء كما هو واختر إنشاء مكدس.

البرنامج النصي الثاني CloudFormation ، L4MQuickSightDataSet1.yaml، ينشئ مجموعة بيانات QuickSight تربط جدول الأبعاد بجدول الانحرافات.

1. قم بتشغيل المكدس من الرابط التالي:

2. على إنشاء مكدس الصفحة ، اختر التالى.
3. على حدد تفاصيل المكدس، أدخل اسم المكدس (على سبيل المثال ، L4MQuickSightDataSet1).
4. اختار التالى.
5. على تكوين خيارات المكدس الصفحة ، اترك كل شيء كما هو واختر التالى.
6. على التقيم الصفحة ، اترك كل شيء كما هو واختر إنشاء مكدس.

سكربت CloudFormation الثالث ، L4MQuickSightDataSet2.yaml، ينشئ مجموعة بيانات QuickSight التي تربط جدول الانحرافات بجدول البيانات الحية.

1. قم بتشغيل المكدس من الرابط التالي:

2. على إنشاء صفحة مكدسأختر التالى.
3. على حدد تفاصيل المكدس الصفحة ، أدخل اسم المكدس (على سبيل المثال ، L4MQuickSightDataSet2).
4. اختار التالى.
5. على تكوين خيارات المكدس الصفحة ، اترك كل شيء كما هو واختر التالى.
6. على التقيم الصفحة ، اترك كل شيء كما هو واختر إنشاء مكدس.

قم بإنشاء تحليل QuickSight لإنشاء لوحة المعلومات

لا يمكن إكمال هذه الخطوة إلا على وحدة التحكم. بعد إنشاء مجموعات بيانات QuickSight ، أكمل الخطوات التالية:

1. في وحدة تحكم QuickSight ، اختر تحليل الأداء في جزء التنقل.
2. اختار تحليل جديد.
3. اختر مجموعة البيانات الأولى ، L4MQuickSightDataSetWithLiveData.

4. اختار إنشاء التحليل.

يتم إنشاء تحليل QuickSight مبدئيًا باستخدام مجموعة البيانات الأولى فقط.

5. لإضافة مجموعة البيانات الثانية ، اختر رمز القلم الرصاص بجوار بيانات واختر أضف مجموعة البيانات.
6. اختر مجموعة البيانات الثانية واختر أختار.

يمكنك بعد ذلك استخدام أي من مجموعتي البيانات لإنشاء مخططات باختيارها من ملف بيانات القائمة المنسدلة.

مقاييس مجموعة البيانات

لقد نجحت في إنشاء تحليل QuickSight من نتائج الاستدلال من Lookout for Metrics والبيانات الحية. توجد مجموعتا بيانات في QuickSight لتستخدمهما: L4M_Visualization_dataset_with_liveData و L4M_Visualization_dataset_with_dimensionContribution.

• L4M_Visualization_dataset_with_liveData تتضمن مجموعة البيانات المقاييس التالية:

• الطابع الزمني - تاريخ ووقت البيانات الحية التي تم تمريرها إلى Lookout for Metrics
• الرؤى - قيمة مقياس المشاهدات
• إيرادات - قيمة مقياس الإيرادات
• المنصة والسوق والإيرادات AnomalyMetricValue و viewsAnomalyMetricValue والإيرادات GroupScore and viewsGroupScore - هذه المقاييس جزء من مجموعتي البيانات

• L4M_Visualization_dataset_with_dimensionContribution تتضمن مجموعة البيانات المقاييس التالية:

• الطابع الزمني - تاريخ ووقت اكتشاف الانحراف
• الاسم - المقاييس التي تراقبها
• الاسم - البُعد داخل المقياس
• البعد القيمة - قيمة البعد
• قيمة المساهمة - النسبة المئوية لمدى تأثير قيمة البعد على الانحراف عند اكتشافه

تُظهر لقطة الشاشة التالية هذه المقاييس الخمسة على لوحة معلومات الشذوذ في جهاز الكشف عن المقاييس.

المقاييس التالية جزء من مجموعتي البيانات:

• المنصة - المنصة التي حدث فيها الشذوذ
• السوق - السوق الذي حدث فيه الشذوذ
• الإيراداتAnomalyMetricValue and viewsAnomalyMetricValue - القيم المقابلة للمقياس عند اكتشاف الانحراف (في هذه الحالة ، تكون المقاييس عبارة عن أرباح أو مشاهدات)
• RevenueGroupScore and viewsGroupScore - درجات الشدة لكل مقياس للشذوذ المكتشف

لفهم هذه المقاييس الأخيرة بشكل أفضل ، يمكنك مراجعة ملفات CSV التي تم إنشاؤها بواسطة وظيفة Lambda في حاوية S3 حيث حفظت anomalyResults/metricValue_AnomalyScore.

الخطوات التالية

تتمثل الخطوة التالية في إنشاء لوحات معلومات للبيانات التي تريد رؤيتها. لا يتضمن هذا المنشور شرحًا حول إنشاء مخططات QuickSight. إذا كنت جديدًا في QuickSight ، فارجع إلى الشروع في تحليل البيانات في Amazon QuickSight للحصول على مقدمة. تعرض لقطات الشاشة التالية أمثلة على لوحات المعلومات الأساسية. لمزيد من المعلومات ، تحقق من ورش عمل QuickSight.

وفي الختام

يتم تقديم الحالات الشاذة بشكل فردي على وحدة التحكم في Lookout for Metrics ، ولكل منها رسم بياني خاص بها ، مما يجعل من الصعب عرض المجموعة ككل. هناك حاجة إلى حل آلي متكامل لإجراء تحليل أعمق. في هذا المنشور ، استخدمنا أداة الكشف عن المقاييس لإنشاء حالات شاذة ، وربطنا البيانات بـ QuickSight لإنشاء تصورات. يتيح لنا هذا الحل إجراء تحليل أعمق للحالات الشاذة ووضعها جميعًا في مكان واحد / لوحة معلومات.

كخطوة تالية ، يمكن أيضًا توسيع هذا الحل عن طريق إضافة مجموعة بيانات إضافية والجمع بين الحالات الشاذة من أجهزة الكشف المتعددة. يمكنك أيضًا تكييف وظيفة Lambda. تحتوي وظيفة Lambda على الكود الذي يُنشئ مجموعات البيانات وأسماء المتغيرات التي نستخدمها في لوحات معلومات QuickSight. يمكنك تكييف هذا الرمز مع حالة الاستخدام الخاصة بك عن طريق تغيير مجموعات البيانات نفسها أو أسماء المتغيرات التي تجعلك أكثر منطقية.

إذا كان لديك أي ملاحظات أو أسئلة ، فيرجى تركها في التعليقات.

---

حول المؤلف

بينوا دي باتول هو مهندس حلول متخصص في الذكاء الاصطناعي / التعلم الآلي في AWS. يساعد العملاء من خلال توفير التوجيه والمساعدة التقنية لبناء الحلول المتعلقة بالذكاء الاصطناعي / تعلم الآلة عند استخدام AWS.

بول ترويانو هو مهندس حلول أول في AWS ، ومقرها في أتلانتا ، جورجيا. يساعد العملاء من خلال تقديم إرشادات حول استراتيجيات وحلول التكنولوجيا على AWS. إنه شغوف بكل ما يتعلق بالذكاء الاصطناعي / التعلم الآلي وأتمتة الحلول.