أمازون لوك أوت للقياسات هي خدمة AWS تستخدم التعلم الآلي (ML) للمراقبة التلقائية للمقاييس الأكثر أهمية للشركات بسرعة ودقة أكبر. تسهل الخدمة أيضًا تشخيص السبب الجذري للحالات الشاذة ، مثل الانخفاضات غير المتوقعة في الإيرادات ، والمعدلات المرتفعة لعربات التسوق المتروكة ، والارتفاعات الحادة في إخفاقات معاملات الدفع ، والزيادات في اشتراكات المستخدمين الجدد ، وغير ذلك الكثير. يتجاوز برنامج Lookout for Metrics اكتشاف الشذوذ البسيط. يسمح للمطورين بإعداد المراقبة الذاتية للمقاييس المهمة لاكتشاف الحالات الشاذة وتحديد سببها الجذري في بضع نقرات لاكتشاف الحالات الشاذة في مقاييسها - وكل ذلك دون الحاجة إلى خبرة في تعلم الآلة.
أمازون أثينا هي خدمة استعلام تفاعلية تسهل تحليل البيانات بتنسيق خدمة Amazon Simple Storage (Amazon S3) باستخدام معيار SQL. ما عليك سوى الإشارة إلى بياناتك في Amazon S3 ، وتحديد المخطط ، والبدء في الاستعلام باستخدام معيار SQL. يتم تسليم معظم النتائج في غضون ثوان. مع أثينا ، ليست هناك حاجة لوظائف ETL المعقدة لإعداد بياناتك للتحليل. هذا يجعل من السهل على أي شخص لديه مهارات SQL لتحليل مجموعات البيانات واسعة النطاق بسرعة.
مع إطلاق اليوم ، يمكن لـ Lookout for Metrics الآن الاتصال ببياناتك في أثينا بسلاسة لإعداد أجهزة كشف الشذوذ عالية الدقة. يتيح لك هذا النشر السريع لأحدث اكتشاف الشذوذ عبر ML باستخدام Lookout for Metrics مقابل أي مجموعات بيانات متاحة في أثينا.
يعمل اتصال Athena على توسيع قدرات Lookout for Metrics من خلال جلب الفوائد التالية:
- إنه يوسع قدرات Lookout for Metrics من حيث دعم نوع الملف. قبل ذلك ، دعم Lookout for Metrics الملفات بتنسيق CSV و JSONLines ، ولكن مع Athena تم توسيع هذا إلى Parquet و Avro و Plaintext والمزيد. إذا كان بإمكانك تحليلها عبر Athena ، فمن الممكن الآن استيرادها والاستفادة منها باستخدام Lookout for Metrics.
- يقدم أيضًا دعمًا للبيانات ذات الاستفسارات الموحدة. قبل هذا الإطلاق ، إذا تم تخزين بياناتك في قواعد بيانات أو مصادر متعددة ، فستحتاج إلى تحديد عملية ETL معقدة كاملة بالإضافة إلى إدارة خصائص أدائها قبل أن تتمكن من تصدير جميع البيانات إلى ملف CSV أو JSONLines وإدخالها في Lookout for Metrics لاكتشاف الشذوذ. باستخدام الاستعلامات الموحدة من أثينا ، يمكنك تحديد المصادر المتباينة وكذلك كيفية تنفيذ الصلة وعندما تتم معالجة البيانات ويمكن أن تستعلم عنها أثينا ، فهي جاهزة على الفور لـ Lookout for Metrics. يمكّنك هذا من تسليم عبء تحويل البيانات وتجميعها وموقع التسليم إلى أثينا والتركيز فقط على الحالات الشاذة المحددة من Lookout for Metrics.
حل نظرة عامة
في هذا المنشور ، نوضح كيفية دمج جدول أثينا واكتشاف الانحرافات في مقاييس الإيرادات. نتتبع أيضًا كيفية تأثر معدل الطلب ومقاييس المخزون. تكمن بيانات المصدر في Amazon S3 وقمنا بتكوين جداول Athena لتتمكن من الاستعلام عن البيانات الموجودة فيها. ان AWS لامدا مسؤول عن تحديث الأقسام داخل أثينا ، والتي تستخدمها Lookout for Metrics لاكتشاف الحالات الشاذة. يمكّنك هذا الحل من استخدام مصدر بيانات Athena لـ Lookout for Metrics.
يمكنك استخدام المقدمة تكوين سحابة AWS كومة لإعداد الموارد للتجول. يحتوي على موارد لإنشاء بيانات حية بشكل مستمر ويجعلها قادرة على الاستعلام في أثينا.
- قم بتشغيل المكدس من الرابط التالي وحدد التالي في صفحة إنشاء مكدس.
- على حدد تفاصيل المكدس الصفحة ، أضف القيم من أعلاه ، أعطها اسم Stack (على سبيل المثال ،
L4MAthenaDetector
) واختر التالى. - على تكوين خيارات المكدس الصفحة ، اترك كل شيء كما هو وحدد التالى.
قم بإعداد كاشف جديد مع أثينا كمصدر للبيانات
الخطوة1
تسجيل الدخول إلى وحدة تحكم AWS لتبدأ في إنشاء كاشف الشذوذ باستخدام Lookout for Metrics. الخطوة الأولى هي تحديد زر "إنشاء الكاشف".
الخطوة2
املأ الحقول الإلزامية للكاشف مثل الاسم. حدد الفاصل الزمني للكشف عن الكاشف ، والذي يتم تحديده حسب التردد الذي تريد من Lookout for Metrics الاستعلام عن بياناتك ومراقبتها بحثًا عن الحالات الشاذة. معلومات التشفير ليست إلزامية. تسمح معلومات التشفير لـ Lookout for Metrics بتشفير بياناتك باستخدام ملف خدمة إدارة المفاتيح AWS (KMS) مفتاح. في هذا المثال ، سنتخطى إضافة مفتاح تشفير ، سيستخدم Lookout for Metrics التشفير الافتراضي لتشفير بياناتك إذا لم يتم توفير معلومات تشفير ، والمتابعة عن طريق تحديد الزر "إنشاء".
الخطوة3
عند إنشاء كاشف الشذوذ ، سترى تأكيدًا في لافتة بالأعلى. يمكنك المتابعة بتحديد "إضافة مجموعة بيانات" إما من خلال الشعار أو الزر الموجود ضمن "إضافة مجموعة بيانات".
قم بتعبئة المعلومات الأساسية لمصدر البيانات. المنطقة الزمنية هي حقل اختياري. حدد القائمة المنسدلة لتحديد مصدر البيانات.
يدعم Lookout for Metrics مصادر بيانات متعددة لراحة العملاء. في هذا المثال ، سنختار أثينا.
بمجرد تحديد Athena كمصدر للبيانات ، سيكون لديك خيار تحديد الوضع Backtest أو Continuous للكاشف. في هذا المثال ، سنتابع باستخدام الوضع المستمر. تابع بإضافة تفاصيل لجدول أثينا الذي تريد مراقبته بحثًا عن الانحرافات.
يمكنك السماح للخدمة بإنشاء دور خدمة أو يمكنك استخدام ملف إدارة الهوية والوصول (IAM) AWS دور في حسابك للاستعلامات الموحدة. لاحظ أن Lookout for Metrics لا يدعم الإنشاء التلقائي لأدوار IAM للاستعلامات الموحدة. لذلك ، سيتعين عليك إنشاء دور IAM جديد للسماح لـ Athena بتنفيذ الإجراءات التالية على بياناتك ،
CreatePreparedStatement
GetPreparedStatement
GetQueryResultsStream
DeletePreparedStatement
GetDatabase
GetQueryResults
GetWorkGroup
GetTableMetadata
StartQueryExecution
GetQueryExecution
يبدو دور IAM الذي أنشأته الخدمة كما يلي:
الخطوة4
الآن سنحدد المقاييس ذات الصلة للكاشف. ستعمل ميزة Lookout for Metrics على ملء القوائم المنسدلة بالأعمدة الموجودة في جدول أثينا المزود. يمكنك تحديد ما يصل إلى خمسة مقاييس وخمسة أبعاد. يتطلب Lookout for Metrics تقسيم البيانات الموجودة في جدولك كطوابع زمنية لعمود الطابع الزمني. سيكون لديك أيضًا خيار لتقدير تكلفة هذا الكاشف عن طريق إضافة عدد القيم عبر الأبعاد الخاصة بك.
بمجرد تحديد جميع المقاييس ، تابع عن طريق تحديد زر "التالي". راجع التفاصيل وحدد الزر "حفظ مجموعة البيانات" لحفظ مجموعة البيانات.
الخطوة5
بمجرد إنشاء مجموعة البيانات ، سنقوم بتنشيط الكاشف إما عن طريق تحديد زر "تنشيط" في الأعلى أو زر "تنشيط الكاشف" ضمن قسم "كيف يعمل".
سيُطلب منك تأكيد ما إذا كنت تريد تنشيط الكاشف للكشف المستمر. حدد "تنشيط" للتأكيد.
سترى تأكيدًا يخبرك بأن الكاشف قيد التنشيط.
الخطوة6
بمجرد تنشيط كاشف الشذوذ ، يمكنك استخدام علامة التبويب "سجل الكاشف" في صفحة تفاصيل الكاشف لمراجعة عمليات الكشف التي تم تنفيذها بواسطة الخدمة.
الخطوة7
يمكنك تحديد زر "عرض الحالات الشاذة" من صفحة تفاصيل الكاشف لفحص الحالات الشاذة يدويًا التي ربما تم اكتشافها بواسطة الخدمة.
الخطوة8
في صفحة مراجعة الحالات الشاذة ، يمكنك ضبط حد درجة الخطورة على قرص الحد لتصفية الحالات الشاذة فوق النتيجة المحددة.
مراجعة وتحليل النتائج
عند اكتشاف حالة شاذة ، يساعدك Lookout for Metrics في التركيز على الأمور الأكثر أهمية عن طريق تعيين درجة خطورة للمساعدة في تحديد الأولويات. لمساعدتك في العثور على السبب الجذري ، يقوم بذكاء بتجميع الحالات الشاذة التي قد تكون مرتبطة بالحادثة نفسها ، ثم يلخص المصادر المختلفة للتأثير.
يتيح لك Lookout for Metrics أيضًا تقديم ملاحظات في الوقت الفعلي حول أهمية الحالات الشاذة المكتشفة ، وبالتالي تمكين آلية بشرية قوية في الحلقة. يتم إرجاع هذه المعلومات إلى نموذج اكتشاف الشذوذ لتحسين دقتها في الوقت الفعلي تقريبًا.
تنظيف
لتجنب تكبد رسوم إضافية للمورد الذي تم إعداده للعرض التوضيحي ، يمكنك حذف الكاشف الذي تم إنشاؤه ضمن Lookout for Metrics والمكدس الذي تم إنشاؤه عبر CloudFormation.
وفي الختام
يمكنك الاتصال ببياناتك في أثينا بسلاسة مع Lookout for Metrics لإعداد كاشف شذوذ عالي الدقة عبر المقاييس والأبعاد داخل جداول أثينا. لتبدأ بهذه الإمكانية ، انظر استخدام Amazon Athena مع Lookout for Metrics. يمكنك استخدام هذه الإمكانية في جميع المناطق حيث يكون Lookout for Metrics متاحًا للجمهور. لمزيد من المعلومات حول توفر المنطقة ، راجع خدمات AWS الإقليمية.
حول المؤلف
ديفيش راثو هو مهندس تطوير برمجيات في فريق Lookout for Metrics. تكمن اهتماماته في بناء أنظمة موزعة قابلة للتطوير. في أوقات فراغه ، يستمتع بسباق سيم.
كريس كينج هو مهندس حلول أول في الذكاء الاصطناعي التطبيقي مع AWS. لديه اهتمام خاص بإطلاق خدمات الذكاء الاصطناعي وساعد في النمو وبناء Amazon Personalize و Amazon Forecast قبل التركيز على Amazon Lookout for Metrics. يستمتع في أوقات فراغه بالطهي والقراءة والملاكمة وبناء النماذج للتنبؤ بنتائج الرياضات القتالية.
- كوينسمارت. أفضل بورصة للبيتكوين والعملات المشفرة في أوروبا.
- بلاتوبلوكشين. Web3 Metaverse Intelligence. تضخيم المعرفة. دخول مجاني.
- كريبتوهوك. الرادار. تجربة مجانية.
- المصدر: https://aws.amazon.com/blogs/machine-learning/seamless-connect-amazon-athena-with-amazon-lookout-for-metrics-to-detect-anomalies/
- "
- 100
- من نحن
- الوصول
- حسابي
- دقيق
- في
- اكشن
- الإجراءات
- نشط
- إضافي
- AI
- خدمات الذكاء الاصطناعي
- الكل
- أمازون
- تحليل
- أي شخص
- الآلي
- مستقل
- توفر
- متاح
- AWS
- لوحة الاعلان
- قبل
- الفوائد
- Beyond
- الحدود
- ملاكمة
- نساعدك في بناء
- ابني
- الأعمال
- قدرات
- سبب
- اسعارنا محددة من قبل وزارة العمل
- عمود
- مكافحة
- مجمع
- حالة
- التواصل
- الإتصال
- يحتوي
- ملاءمة
- استطاع
- خلق
- خلق
- خلق
- خلق
- العملاء
- البيانات
- قواعد البيانات
- تم التوصيل
- التوصيل
- شرح
- نشر
- تفاصيل
- الكشف عن
- كشف
- المطورين
- التطوير التجاري
- مختلف
- وزعت
- لا
- تأثير
- تمكين
- التشفير
- مهندس
- تقدير
- كل شىء
- مثال
- القائمة
- موسع
- الخبره في مجال الغطس
- بنك الاحتياطي الفيدرالي
- ردود الفعل
- مجال
- الاسم الأول
- تركز
- التركيز
- متابعيك
- توليد
- أكبر
- مجموعات
- النمو
- مساعدة
- يساعد
- مرتفع
- جدا
- كيفية
- كيفية
- HTTPS
- تحديد
- هوية
- التأثير
- أهمية
- تحسن
- معلومات
- إدخال
- دمج
- التفاعلية
- مصلحة
- السريرية
- المخزون
- IT
- المشــاريــع
- الانضمام
- القفل
- ملك
- إطلاق
- إطلاق
- تعلم
- يترك
- الرافعة المالية
- LINK
- موقع
- آلة
- آلة التعلم
- يصنع
- إدارة
- إدارة
- إلزامي
- يدويا
- أمر
- المسائل
- المقاييس
- ML
- نموذج
- عارضات ازياء
- مراقبة
- مراقبة
- الأكثر من ذلك
- أكثر
- متعدد
- عدد
- خيار
- طلب
- وسائل الدفع
- أداء
- إضفاء الطابع الشخصي
- البوينت
- ممكن
- قوي
- تنبأ
- إعداد
- يقدم
- عملية المعالجة
- تزود
- بسرعة
- سباق
- الأجور
- نادي القراءة
- في الوقت الحقيقي
- إقليمي
- ذات الصلة
- مطلوب
- يتطلب
- مورد
- الموارد
- مسؤول
- النتائج
- إيرادات
- مراجعة
- تحجيم
- بسلاسة
- ثواني
- مختار
- الخدمة
- خدمات
- طقم
- التسوق والترفيه
- الشريحة
- الاشارات
- مهارات
- تطبيقات الكمبيوتر
- تطوير البرمجيات
- الصلبة
- حل
- الحلول
- تختص
- سرعة
- رياضة
- كومة
- معيار
- بداية
- بدأت
- دولة من بين الفن
- ملخص الحساب
- تخزين
- الدعم
- مدعومة
- الدعم
- أنظمة
- فريق
- المصدر
- وبالتالي
- عتبة
- عبر
- الوقت
- اليوم
- تيشرت
- مسار
- صفقة
- تحول
- مع
- تحديث
- تستخدم
- الإصدار
- ابحث عن
- في غضون
- سوف