نتایج ناهنجاری آمازون Lookout for Metrics را با Amazon QuickSight تجسم کنید

یکی از چالش هایی که تیم ها با آن مواجه می شوند آمازون مواظب معیارها به سرعت و کارآمد آن را به تجسم داده ها متصل می کند. ناهنجاری‌ها به‌صورت جداگانه در کنسول Lookout for Metrics ارائه می‌شوند، که هرکدام نمودار خاص خود را دارند و مشاهده مجموعه را به‌عنوان یک کل دشوار می‌کنند. یک راه حل خودکار و یکپارچه برای تجزیه و تحلیل عمیق تر مورد نیاز است.

در این پست، ما از یک آشکارساز زنده Lookout for Metrics استفاده می کنیم که به دنبال آن ساخته شده است شروع شدن بخش از AWS Samples، آمازون مواظب معیارها مخزن GitHub. پس از فعال شدن آشکارساز و ایجاد ناهنجاری از مجموعه داده، Lookout for Metrics را به آن متصل می کنیم آمازون QuickSight. ما دو مجموعه داده ایجاد می کنیم: یکی با پیوستن جدول ابعاد به جدول ناهنجاری و دیگری با پیوستن جدول ناهنجاری به داده های زنده. سپس می‌توانیم این دو مجموعه داده را به تجزیه و تحلیل QuickSight اضافه کنیم، جایی که می‌توانیم نمودارها را در یک داشبورد اضافه کنیم.

ما می توانیم دو نوع داده را به آشکارساز Lookout for Metrics ارائه دهیم: پیوسته و تاریخی. این AWS Samples مخزن GitHub هر دو را ارائه می دهد، اگرچه ما روی داده های زنده مداوم تمرکز می کنیم. آشکارساز این داده های زنده را برای شناسایی ناهنجاری ها نظارت می کند و ناهنجاری ها را در آن می نویسد سرویس ذخیره سازی ساده آمازون (Amazon S3) همانطور که آنها تولید می شوند. در پایان یک بازه زمانی مشخص، آشکارساز داده ها را تجزیه و تحلیل می کند. با گذشت زمان، آشکارساز یاد می گیرد که با دقت بیشتری ناهنجاری ها را بر اساس الگوهایی که پیدا می کند، شناسایی کند.

Lookout for Metrics از یادگیری ماشینی (ML) برای شناسایی و تشخیص خودکار ناهنجاری‌ها در داده‌های تجاری و عملیاتی، مانند کاهش ناگهانی درآمد فروش یا نرخ جذب مشتری، استفاده می‌کند. این سرویس اکنون به طور کلی از 25 مارس 2021 در دسترس است. به طور خودکار داده ها را از منابع مختلف بازرسی و آماده می کند تا ناهنجاری ها را با سرعت و دقت بیشتری نسبت به روش های سنتی که برای تشخیص ناهنجاری استفاده می شود، شناسایی کند. همچنین می توانید بازخوردی در مورد ناهنجاری های شناسایی شده برای تنظیم نتایج و بهبود دقت در طول زمان ارائه دهید. Lookout for Metrics تشخیص ناهنجاری‌های شناسایی‌شده را با گروه‌بندی ناهنجاری‌های مربوط به یک رویداد و ارسال هشداری که شامل خلاصه‌ای از علت اصلی بالقوه است، آسان می‌کند. همچنین ناهنجاری‌ها را به ترتیب شدت رتبه‌بندی می‌کند تا بتوانید توجه خود را به آنچه برای کسب‌وکارتان اهمیت دارد، اولویت‌بندی کنید.

QuickSight یک سرویس هوش تجاری (BI) کاملاً مدیریت شده و بومی ابری است که اتصال به داده های خود را برای ایجاد و انتشار داشبوردهای تعاملی آسان می کند. علاوه بر این، می توانید استفاده کنید آمازون QuickSight برای دریافت پاسخ های فوری از طریق پرسش های زبان طبیعی.

می توانید از هر دستگاهی به داشبوردهای QuickSight بدون سرور و بسیار مقیاس پذیر دسترسی داشته باشید و آنها را به طور یکپارچه در برنامه ها، پورتال ها و وب سایت های خود جاسازی کنید. اسکرین شات زیر نمونه ای از آنچه می توانید تا پایان این پست به دست آورید است.

بررسی اجمالی راه حل

راه حل ترکیبی از خدمات AWS است، در درجه اول Lookout for Metrics، QuickSight، AWS لامبدا, آمازون آتنا, چسب AWS، و آمازون S3.

نمودار زیر معماری راه حل را نشان می دهد. Lookout for Metrics ناهنجاری ها را از طریق یک هشدار به لامبدا شناسایی و ارسال می کند. تابع Lambda نتایج ناهنجاری را به صورت فایل های CSV تولید می کند و آنها را در Amazon S3 ذخیره می کند. یک خزنده AWS Glue ابرداده ها را تجزیه و تحلیل می کند و جداول را در Athena ایجاد می کند. QuickSight از Athena برای جست‌وجوی داده‌های Amazon S3 استفاده می‌کند و به داشبوردهایی اجازه می‌دهد تا هم نتایج غیرعادی و هم داده‌های زنده را تجسم کنند.

این راه حل در منابع ایجاد شده در شروع شدن بخش مخزن GitHub. برای هر مرحله، گزینه هایی برای ایجاد منابع یا با استفاده از کنسول مدیریت AWS یا راه اندازی ارائه شده AWS CloudFormation پشته. اگر یک آشکارساز Lookout for Metrics سفارشی دارید، می‌توانید از آن استفاده کنید و آن را مطابق زیر تنظیم کنید دفتر یادداشت برای رسیدن به نتایج مشابه

مراحل اجرا به شرح زیر است:

1. ایجاد آمازون SageMaker نمونه نوت بوک (ALFMTestNotebook) و نوت بوک با استفاده از پشته ارائه شده در راه اندازی اولیه بخش از GitHub repo.
2. نمونه نوت بوک را در کنسول SageMaker باز کنید و به آن بروید amazon-lookout-for-metrics-samples/getting_started پوشه.
3. سطل S3 را ایجاد کنید و آماده سازی داده ها را با استفاده از اولی کامل کنید دفتر یادداشت (1.PrereqSetupData.ipynb). نوت بوک را با conda_python3 هسته، در صورت درخواست

از دومی می گذریم دفتر یادداشت زیرا بر روی بک تست کردن داده ها متمرکز شده است.

4. اگر با استفاده از کنسول در حال بررسی مثال هستید، آشکارساز زنده Lookout for Metrics و هشدار آن را با استفاده از سوم ایجاد کنید. دفتر یادداشت (3.GettingStartedWithLiveData.ipynb).

اگر از پشته های CloudFormation ارائه شده استفاده می کنید، نوت بوک سوم مورد نیاز نیست. آشکارساز و هشدار آن به عنوان بخشی از پشته ایجاد می شود.

5. پس از ایجاد آشکارساز زنده Lookout for Metrics، باید آن را از کنسول فعال کنید.

این می تواند تا 2 ساعت طول بکشد تا مدل اولیه و تشخیص ناهنجاری ها.

6. یک تابع لامبدا را با استفاده از پایتون با لایه کتابخانه پاندا اجرا کنید و یک هشدار متصل به آشکارساز زنده برای راه‌اندازی آن ایجاد کنید.
7. از ترکیب Athena و چسب AWS برای کشف و آماده سازی داده ها برای QuickSight استفاده کنید.
8. منبع داده و مجموعه داده های QuickSight را ایجاد کنید.
9. در نهایت، با استفاده از مجموعه داده ها، یک تحلیل QuickSight برای تجسم ایجاد کنید.

اسکریپت های CloudFormation معمولاً به صورت مجموعه ای از پشته های تو در تو در یک محیط تولید اجرا می شوند. آنها به صورت جداگانه در این پست ارائه شده اند تا گام به گام قدم به قدم را تسهیل کنند.

پیش نیازها

برای عبور از این راه حل، به یک حساب AWS نیاز دارید که راه حل در آن مستقر شود. مطمئن شوید که تمام منابعی که مستقر می کنید در همان منطقه هستند. به یک آشکارساز Lookout for Metrics در حال اجرا نیاز دارید که از نوت بوک 1 و 3 ساخته شده است GitHub repo. اگر آشکارساز Lookout for Metrics در حال اجرا ندارید، دو گزینه دارید:

• نوت بوک های 1 و 3 را اجرا کنید و از مرحله 1 این پست (ایجاد تابع لامبدا و هشدار) ادامه دهید.
• Notebook 1 را اجرا کنید و سپس از الگوی CloudFormation برای تولید آشکارساز Lookout for Metrics استفاده کنید.

آشکارساز زنده را با استفاده از AWS CloudFormation ایجاد کنید

La L4MLiveDetector.yaml اسکریپت CloudFormation آشکارساز ناهنجاری Lookout for Metrics را با منبع آن به داده‌های زنده در سطل S3 مشخص شده ایجاد می‌کند. برای ایجاد آشکارساز، مراحل زیر را انجام دهید:

1. پشته را از لینک زیر راه اندازی کنید:

2. بر پشته ایجاد کنید صفحه ، انتخاب کنید بعدی.
3. بر جزئیات پشته را مشخص کنید صفحه، اطلاعات زیر را ارائه دهید:
   1. یک نام پشته مثلا، L4MLiveDetector.
   2. سطل S3، <Account Number>-lookoutmetrics-lab.
   3. نقش ARN، arn:aws:iam::<Account Number>:role/L4MTestRole.
   4. فرکانس تشخیص ناهنجاری انتخاب کنید PT1H (ساعتی).
4. را انتخاب کنید بعدی.
5. بر پیکربندی گزینه های پشته صفحه، همه چیز را همانطور که هست رها کنید و انتخاب کنید بعدی.
6. بر مرور صفحه، همه چیز را همانطور که هست رها کنید و انتخاب کنید پشته ایجاد کنید.

هشدار SMS آشکارساز زنده را با استفاده از AWS CloudFormation (اختیاری) ایجاد کنید

این مرحله اختیاری است. هشدار به عنوان یک مثال ارائه می شود، بدون تاثیر بر ایجاد مجموعه داده. را L4MLiveDetectorAlert.yaml اسکریپت CloudFormation هشدار آشکارساز ناهنجاری Lookout for Metrics را با هدف پیامکی ایجاد می کند.

1. پشته را از لینک زیر راه اندازی کنید:

2. بر پشته ایجاد کنید صفحه ، انتخاب کنید بعدی.
3. بر جزئیات پشته را مشخص کنید صفحه، شماره تلفن SMS را به روز کنید و یک نام برای پشته وارد کنید (به عنوان مثال، L4MLiveDetectorAlert).
4. را انتخاب کنید بعدی.
5. بر پیکربندی گزینه های پشته صفحه، همه چیز را همانطور که هست رها کنید و انتخاب کنید بعدی.
6. بر مرور صفحه را انتخاب کنید، کادر تأیید تأیید را انتخاب کنید، همه چیز را همانطور که هست رها کنید و انتخاب کنید پشته ایجاد کنید.

پاکسازی منابع

قبل از ادامه مرحله بعدی، نمونه نوت بوک SageMaker خود را متوقف کنید تا مطمئن شوید که هزینه های غیرضروری متحمل نمی شوند. دیگر نیازی به آن نیست.

تابع Lambda و هشدار را ایجاد کنید

در این بخش، دستورالعمل‌هایی در مورد ایجاد عملکرد Lambda و هشدار از طریق کنسول یا AWS CloudFormation ارائه می‌کنیم.

ایجاد تابع و هشدار با کنسول

شما به یک لامبدا نیاز دارید هویت AWS و مدیریت دسترسی (من هستم) نقش پس از حداقل امتیاز بهترین عمل برای دسترسی به سطلی که می خواهید نتایج در آن ذخیره شوند.

1. 1. در کنسول Lambda، یک تابع جدید ایجاد کنید.
   2. انتخاب کنید نویسنده از ابتدا.
   3. برای نام عملکرد¸ یک نام وارد کنید.
   4. برای زمان اجرا، انتخاب کنید پایتون 3.8.
   5. برای نقش اجرا، انتخاب کنید از نقش موجود استفاده کنید و نقشی که ایجاد کردید را مشخص کنید.
   6. را انتخاب کنید ایجاد تابع.
2. 
   7. دانلود فایل ZIP حاوی کد لازم برای تابع Lambda است.
   8. در کنسول Lambda، تابع را باز کنید.
   9. بر رمز برگه ، انتخاب کنید آپلود از، انتخاب کنید .فایل فشردهو فایلی را که دانلود کرده اید آپلود کنید.
   10. را انتخاب کنید ذخیره.

درخت فایل شما باید پس از آپلود فایل ZIP ثابت بماند.

11. در لایه ها بخش، را انتخاب کنید لایه را اضافه کنید.
12. انتخاب کنید یک ARN را مشخص کنید.
13. در زیر GitHub repo، CSV مربوط به منطقه ای را که در آن کار می کنید انتخاب کنید و ARN را از آخرین نسخه Pandas کپی کنید.
14. برای یک ARN را مشخص کنید، ARN را که کپی کرده اید وارد کنید.
15. را انتخاب کنید اضافه کردن.

16. برای تطبیق تابع با محیط خود، در پایین کد فایل lambda_function.py، مطمئن شوید که نام سطل را با سطل خود به روز کنید، جایی که می خواهید نتایج ناهنجاری را ذخیره کنید، و DataSet_ARN از آشکارساز ناهنجاری شما
17. را انتخاب کنید گسترش برای فعال کردن تغییرات

اکنون باید آشکارساز Lookout for Metrics را به عملکرد خود متصل کنید.

18. در کنسول Lookout for Metrics، به آشکارساز خود بروید و انتخاب کنید هشدار اضافه کنید.
19. نام هشدار و آستانه شدت ترجیحی خود را وارد کنید.
20. از لیست کانال، را انتخاب کنید یازدهمین حرف الفبای یونانی.
21. تابعی را که ایجاد کردید انتخاب کنید و مطمئن شوید که نقش مناسبی برای فعال کردن آن دارید.
22. را انتخاب کنید هشدار اضافه کنید.

اکنون منتظر می‌مانید تا هشدار شما فعال شود. زمان بسته به زمانی که آشکارساز یک ناهنجاری پیدا می کند متفاوت است.

هنگامی که یک ناهنجاری شناسایی می شود، Lookout for Metrics تابع Lambda را فعال می کند. اطلاعات لازم را از Lookout for Metrics دریافت می‌کند و بررسی می‌کند که آیا قبلاً یک فایل CSV ذخیره شده در آمازون S3 در مُهر زمانی مربوط به ناهنجاری وجود دارد یا خیر. اگر فایلی وجود نداشته باشد، Lambda فایل را تولید می کند و داده های ناهنجاری را اضافه می کند. اگر فایل از قبل وجود داشته باشد، لامبدا فایل را با داده های اضافی دریافتی به روز می کند. این تابع یک فایل CSV مجزا برای هر مهر زمانی متفاوت تولید می کند.

با استفاده از AWS CloudFormation تابع و هشدار را ایجاد کنید

مشابه دستورالعمل های کنسول، شما فایل ZIP را دانلود کنید حاوی کد لازم برای تابع Lambda است. با این حال، در این مورد باید در سطل S3 آپلود شود تا کد AWS CloudFormation آن را در طول ایجاد تابع بارگذاری کند.

در سطل S3 مشخص شده در ایجاد آشکارساز Lookout for Metrics، یک پوشه به نام lambda-code ایجاد کنید و فایل ZIP را آپلود کنید.

تابع Lambda این را به عنوان کد خود در هنگام ایجاد بارگیری می کند.

La L4MLambdaFunction.yaml اسکریپت CloudFormation تابع Lambda و منابع هشدار را ایجاد می کند و از آرشیو کد تابع ذخیره شده در همان سطل S3 استفاده می کند.

1. پشته را از لینک زیر راه اندازی کنید:

2. بر پشته ایجاد کنید صفحه ، انتخاب کنید بعدی.
3. بر جزئیات پشته را مشخص کنید صفحه، نام پشته را مشخص کنید (به عنوان مثال، L4MLambdaFunction).
4. در زیر GitHub repo، CSV مربوط به منطقه ای را که در آن کار می کنید باز کنید و ARN را از آخرین نسخه Pandas کپی کنید.
5. ARN را به عنوان پارامتر ARN لایه Pandas Lambda وارد کنید.
6. را انتخاب کنید بعدی.
7. بر پیکربندی گزینه های پشته صفحه، همه چیز را همانطور که هست رها کنید و انتخاب کنید بعدی.
8. بر مرور صفحه را انتخاب کنید، کادر تأیید تأیید را انتخاب کنید، همه چیز را همانطور که هست رها کنید و انتخاب کنید پشته ایجاد کنید.

آشکارساز را فعال کنید

قبل از رفتن به مرحله بعدی، باید آشکارساز را از کنسول فعال کنید.

1. در کنسول Lookout for Metrics، را انتخاب کنید آشکارسازها در صفحه ناوبری
2. آشکارساز تازه ایجاد شده خود را انتخاب کنید.
3. را انتخاب کنید فعال کردن، پس از آن را انتخاب کنید فعال کردن دوباره تایید کنید

فعال سازی آشکارساز را مقداردهی اولیه می کند. زمانی که مدل چرخه یادگیری خود را کامل کرد، تمام می شود. این می تواند تا 2 ساعت طول بکشد.

داده ها را برای QuickSight آماده کنید

قبل از تکمیل این مرحله، به آشکارساز زمان دهید تا ناهنجاری ها را پیدا کند. تابع Lambda که ایجاد کردید، نتایج ناهنجاری را در سطل Lookout for Metrics ذخیره می‌کند anomalyResults فهرست راهنما. اکنون می‌توانیم این داده‌ها را پردازش کنیم تا برای QuickSight آماده شوند.

خزنده AWS Glue را روی کنسول ایجاد کنید

پس از ایجاد برخی فایل‌های CSV غیرعادی، از خزنده چسب AWS برای تولید جداول فراداده استفاده می‌کنیم.

1. در کنسول AWS Glue، را انتخاب کنید خزنده ها در صفحه ناوبری
2. را انتخاب کنید خزنده را اضافه کنید.

3. یک نام برای خزنده وارد کنید (به عنوان مثال، L4MCrawler).
4. را انتخاب کنید بعدی.
5. برای نوع منبع خزنده، انتخاب کنید ذخیره سازی داده ها.
6. برای خزیدن های ذخیره شده داده S3 را تکرار کنید، انتخاب کنید خزیدن همه پوشه ها.
7. را انتخاب کنید بعدی.

8. در صفحه پیکربندی فروشگاه داده، برای خزیدن داده در، انتخاب کنید مسیر مشخص شده در حساب کاربری من.
9. برای شامل مسیر، وارد مسیر خود شوید dimensionContributions فایل (s3://YourBucketName/anomalyResults/dimensionContributions).
10. را انتخاب کنید بعدی.
11. را انتخاب کنید بله برای افزودن یک فروشگاه داده دیگر و تکرار دستورالعمل ها برای metricValue_AnomalyScore(s3://YourBucketName/anomalyResults/metricValue_AnomalyScore).
12. دوباره دستورالعمل‌ها را برای تجزیه و تحلیل داده‌های زنده توسط آشکارساز ناهنجاری Lookout for Metrics تکرار کنید (این مکان مجموعه داده S3 از آشکارساز Lookout for Metrics شما است).

اکنون باید سه انبار داده برای خزنده برای پردازش داشته باشید.

اکنون باید نقشی را انتخاب کنید تا به خزنده اجازه دهد از مکان های S3 داده های شما عبور کند.

13. برای این پست، انتخاب کنید یک نقش IAM ایجاد کنید و یک نام برای نقش وارد کنید.
14. را انتخاب کنید بعدی.

15. برای فرکانس، ترک به عنوان اجرا بر اساس تقاضا و انتخاب کنید بعدی.
16. در خروجی خزنده را پیکربندی کنید بخش، را انتخاب کنید افزودن پایگاه داده.

با این کار پایگاه داده Athena ایجاد می شود که جداول ابرداده شما پس از تکمیل خزنده در آن قرار دارند.

17. یک نام برای پایگاه داده خود وارد کنید و انتخاب کنید ساختن.
18. را انتخاب کنید بعدی، پس از آن را انتخاب کنید پایان.

19. بر خزنده ها صفحه کنسول AWS Glue، خزنده ای را که ایجاد کرده اید انتخاب کرده و انتخاب کنید خزنده را اجرا کنید.

بسته به اندازه داده ها، ممکن است لازم باشد چند دقیقه صبر کنید. وقتی کامل شد، وضعیت خزنده به صورت نشان داده می شود آماده تحویل. برای دیدن جداول فراداده، به پایگاه داده خود در روی پایگاه داده ها صفحه و انتخاب کنید جداول در صفحه ناوبری

در این مثال، جدول فراداده به نام live مجموعه داده S3 را از آشکارساز زنده Lookout for Metrics نشان می دهد. به عنوان بهترین عمل، توصیه می شود ابرداده های AWS Glue Data Catalog خود را رمزگذاری کنید.

آتنا به طور خودکار جداول فراداده را تشخیص می دهد و QuickSight از آتنا برای جستجو در داده ها و تجسم نتایج استفاده می کند.

خزنده AWS Glue را با استفاده از AWS CloudFormation ایجاد کنید

La L4MGlueCrawler.yaml اسکریپت CloudFormation خزنده AWS Glue، نقش IAM مرتبط با آن و پایگاه داده خروجی Athena را ایجاد می کند.

1. پشته را از لینک زیر راه اندازی کنید:

2. بر پشته ایجاد کنید صفحه ، انتخاب کنید بعدی.
3. بر جزئیات پشته را مشخص کنید صفحه، یک نام برای پشته خود وارد کنید (به عنوان مثال، L4MGlueCrawler) و انتخاب کنید بعدی.
4. بر پیکربندی گزینه های پشته صفحه، همه چیز را همانطور که هست رها کنید و انتخاب کنید بعدی.
5. بر مرور صفحه را انتخاب کنید، کادر تأیید تأیید را انتخاب کنید، همه چیز را همانطور که هست رها کنید و انتخاب کنید پشته ایجاد کنید.

خزنده AWS Glue را اجرا کنید

پس از ایجاد خزنده، باید قبل از رفتن به مرحله بعدی آن را اجرا کنید. می‌توانید آن را از کنسول یا از روی کنسول اجرا کنید رابط خط فرمان AWS (AWS CLI). برای استفاده از کنسول مراحل زیر را انجام دهید:

1. در کنسول AWS Glue، را انتخاب کنید خزنده ها در صفحه ناوبری
2. خزنده خود را انتخاب کنید (L4MCrawler).
3. را انتخاب کنید خزنده را اجرا کنید.

هنگامی که خزنده کامل شد، وضعیت را نشان می دهد آماده تحویل.

یک حساب QuickSight ایجاد کنید

قبل از شروع این مرحله بعدی، به کنسول QuickSight بروید و اگر قبلاً ندارید یک حساب کاربری ایجاد کنید. برای اطمینان از دسترسی به خدمات مربوطه (سطل آتنا و S3)، نام حساب خود را در بالا سمت راست انتخاب کنید، QuickSight را مدیریت کنید، و انتخاب کنید امنیت و مجوزها، جایی که می توانید خدمات لازم را اضافه کنید. هنگام تنظیم دسترسی Amazon S3 خود، مطمئن شوید که آن را انتخاب کنید اجازه نوشتن برای گروه کاری آتنا.

اکنون آماده تجسم داده های خود در QuickSight هستید.

مجموعه داده های QuickSight را در کنسول ایجاد کنید

اگر اولین باری است که از Athena استفاده می کنید، باید محل خروجی کوئری ها را پیکربندی کنید. برای دستورالعمل ها، به مراحل 1-6 مراجعه کنید یک پایگاه داده ایجاد کنید. سپس مراحل زیر را انجام دهید:

1. در کنسول QuickSight، را انتخاب کنید مجموعه داده ها.
2. را انتخاب کنید مجموعه داده جدید.
3. آتنا را به عنوان منبع خود انتخاب کنید.
4. یک نام برای منبع داده خود وارد کنید.
5. را انتخاب کنید ایجاد منبع داده.

6. برای پایگاه داده خود، دیتابیسی را که قبلاً با خزنده چسب AWS ایجاد کرده اید، مشخص کنید.
7. جدولی را که حاوی داده های زنده شماست (نه ناهنجاری ها) مشخص کنید.
8. را انتخاب کنید ویرایش/پیش نمایش داده ها.

شما به رابطی مشابه تصویر زیر هدایت می شوید.

مرحله بعدی اضافه کردن و ترکیب کردن است metricValue_AnomalyScore داده ها با داده های زنده

9. را انتخاب کنید داده ها را اضافه کنید.
10. را انتخاب کنید منبع داده را اضافه کنید.
11. پایگاه داده ای را که ایجاد کرده اید و metricValue_AnomalyScore جدول.
12. را انتخاب کنید انتخاب کنید.

اکنون باید اتصال دو جدول را پیکربندی کنید.

13. پیوند بین دو جدول را انتخاب کنید.
14. نوع join را به عنوان باقی بگذارید ترک کرد، مهر زمانی و هر بعد را که دارید به عنوان بند پیوست اضافه کنید و انتخاب کنید درخواست.

در مثال زیر، ما از مهر زمانی، پلتفرم و بازار به عنوان بندهای پیوستن استفاده می کنیم.

در قسمت سمت راست، می توانید فیلدهایی را که علاقه ای به نگه داشتن آنها ندارید حذف کنید.

15. مهر زمان را از metricValue_AnomalyScore جدول برای اینکه ستون تکراری نداشته باشد.
16. نوع داده مهر زمان (جدول داده زنده) را از رشته به تاریخ تغییر دهید و درست را مشخص کنید قالب. در مورد ما، باید باشد yyyy-MM-dd HH:mm:ss.

تصویر زیر پس از حذف برخی از فیلدها و تنظیم نوع داده، نمای شما را نشان می دهد.

17. را انتخاب کنید ذخیره و تجسم کنید.
18. نماد مداد در کنار مجموعه داده را انتخاب کنید.
19. را انتخاب کنید افزودن مجموعه داده و انتخاب کنید dimensioncontributions.

مجموعه داده های QuickSight را با استفاده از AWS CloudFormation ایجاد کنید

این مرحله شامل سه پشته CloudFormation است.

اولین اسکریپت CloudFormation، L4MQuickSightDataSource.yaml، منبع داده QuickSight Athena را ایجاد می کند.

1. پشته را از لینک زیر راه اندازی کنید:

2. بر پشته ایجاد کنید صفحه ، انتخاب کنید بعدی.
3. بر جزئیات پشته را مشخص کنید صفحه، نام کاربری QuickSight خود، منطقه حساب QuickSight (که هنگام ایجاد حساب QuickSight مشخص شده است) و نام پشته (به عنوان مثال، L4MQuickSightDataSource).
4. را انتخاب کنید بعدی.
5. بر پیکربندی گزینه های پشته صفحه، همه چیز را همانطور که هست رها کنید و انتخاب کنید بعدی.
6. بر مرور صفحه، همه چیز را همانطور که هست رها کنید و انتخاب کنید پشته ایجاد کنید.

دومین اسکریپت CloudFormation، L4MQuickSightDataSet1.yaml، یک مجموعه داده QuickSight ایجاد می کند که جدول ابعاد را به جدول ناهنجاری می پیوندد.

1. پشته را از لینک زیر راه اندازی کنید:

2. بر پشته ایجاد کنید صفحه ، انتخاب کنید بعدی.
3. بر جزئیات پشته را مشخص کنید، یک نام پشته وارد کنید (به عنوان مثال، L4MQuickSightDataSet1).
4. را انتخاب کنید بعدی.
5. بر پیکربندی گزینه های پشته صفحه، همه چیز را همانطور که هست رها کنید و انتخاب کنید بعدی.
6. بر مرور صفحه، همه چیز را همانطور که هست رها کنید و انتخاب کنید پشته ایجاد کنید.

سومین اسکریپت CloudFormation، L4MQuickSightDataSet2.yaml، مجموعه داده QuickSight را ایجاد می کند که جدول ناهنجاری را به جدول داده های زنده می پیوندد.

1. پشته را از لینک زیر راه اندازی کنید:

2. بر ایجاد صفحه پشتهانتخاب کنید بعدی.
3. بر جزئیات پشته را مشخص کنید صفحه، نام پشته را وارد کنید (به عنوان مثال، L4MQuickSightDataSet2).
4. را انتخاب کنید بعدی.
5. بر پیکربندی گزینه های پشته صفحه، همه چیز را همانطور که هست رها کنید و انتخاب کنید بعدی.
6. بر مرور صفحه، همه چیز را همانطور که هست رها کنید و انتخاب کنید پشته ایجاد کنید.

تجزیه و تحلیل QuickSight را برای ایجاد داشبورد ایجاد کنید

این مرحله فقط در کنسول قابل انجام است. پس از ایجاد مجموعه داده های QuickSight، مراحل زیر را کامل کنید:

1. در کنسول QuickSight، را انتخاب کنید تحلیل و بررسی در صفحه ناوبری
2. را انتخاب کنید تجزیه و تحلیل جدید.
3. اولین مجموعه داده را انتخاب کنید، L4MQuickSightDataSetWithLiveData.

4. را انتخاب کنید تحلیل ایجاد کنید.

تجزیه و تحلیل QuickSight در ابتدا تنها با اولین مجموعه داده ایجاد می شود.

5. برای افزودن مجموعه داده دوم، نماد مداد در کنار آن را انتخاب کنید مجموعه داده و انتخاب کنید افزودن مجموعه داده.
6. مجموعه داده دوم را انتخاب کرده و انتخاب کنید انتخاب کنید.

سپس می توانید با انتخاب هر یک از مجموعه داده ها برای ایجاد نمودارها از آن استفاده کنید مجموعه داده فهرست کشویی.

معیارهای مجموعه داده

شما با موفقیت یک تجزیه و تحلیل QuickSight از نتایج استنتاج Lookout for Metrics و داده های زنده ایجاد کردید. دو مجموعه داده در QuickSight برای استفاده شما وجود دارد: L4M_Visualization_dataset_with_liveData و L4M_Visualization_dataset_with_dimensionContribution.

La L4M_Visualization_dataset_with_liveData مجموعه داده شامل معیارهای زیر است:

• برچسب زمان - تاریخ و زمان داده های زنده ارسال شده به Lookout for Metrics
• نمایش ها - ارزش متریک views
• درامد - ارزش معیار درآمد
• پلتفرم، بازار، درآمدAnomalyMetricValue، viewsAnomalyMetricValue، gainGroupScore و viewsGroupScore - این معیارها بخشی از هر دو مجموعه داده است

La L4M_Visualization_dataset_with_dimensionContribution مجموعه داده شامل معیارهای زیر است:

• برچسب زمان - تاریخ و زمان تشخیص ناهنجاری
• MetricName - معیارهایی که شما نظارت می کنید
• نام ابعاد - بعد درون متریک
• بعد ارزش - ارزش ابعاد
• ارزش مشارکت - درصدی که در هنگام شناسایی چه مقدار dimensionValue بر ناهنجاری تأثیر می گذارد

تصویر زیر این پنج معیار را در داشبورد ناهنجاری آشکارساز Lookout for Metrics نشان می‌دهد.

معیارهای زیر بخشی از هر دو مجموعه داده هستند:

• سکو - سکوی که در آن ناهنجاری رخ داد
• بازار - بازاری که در آن ناهنجاری رخ داده است
• درآمدAnomalyMetricValue و viewsAnomalyMetricValue - مقادیر متناظر معیار زمانی که ناهنجاری تشخیص داده شد (در این شرایط، معیارها درآمد یا بازدید هستند)
• درآمدGroupScore و viewsGroupScore - امتیازهای شدت برای هر معیار برای ناهنجاری شناسایی شده

برای درک بهتر این آخرین معیارها، می توانید فایل های CSV ایجاد شده توسط تابع Lambda را در سطل S3 خود که در آن ذخیره کرده اید، مرور کنید. anomalyResults/metricValue_AnomalyScore.

مراحل بعدی

مرحله بعدی ساخت داشبورد برای داده هایی است که می خواهید ببینید. این پست توضیحی در مورد ایجاد نمودارهای QuickSight ندارد. اگر در QuickSight تازه کار هستید، مراجعه کنید شروع کار با تجزیه و تحلیل داده ها در Amazon QuickSight برای معرفی اسکرین شات های زیر نمونه هایی از داشبوردهای اولیه را نشان می دهند. برای اطلاعات بیشتر، بررسی کنید کارگاه های QuickSight.

نتیجه

ناهنجاری‌ها به‌صورت جداگانه در کنسول Lookout for Metrics ارائه می‌شوند، که هرکدام نمودار خاص خود را دارند و مشاهده مجموعه را به‌عنوان یک کل دشوار می‌کنند. یک راه حل خودکار و یکپارچه برای تجزیه و تحلیل عمیق تر مورد نیاز است. در این پست، ما از آشکارساز Lookout for Metrics برای ایجاد ناهنجاری‌ها استفاده کردیم و داده‌ها را به QuickSight وصل کردیم تا تصاویر را ایجاد کنیم. این راه حل ما را قادر می سازد تا تجزیه و تحلیل عمیق تری را در مورد ناهنجاری ها انجام دهیم و همه آنها را در یک مکان / داشبورد واحد قرار دهیم.

به عنوان گام بعدی، این راه حل نیز می تواند با افزودن یک مجموعه داده اضافی و ترکیب ناهنجاری ها از آشکارسازهای متعدد گسترش یابد. شما همچنین می توانید تابع Lambda را تطبیق دهید. تابع Lambda حاوی کدی است که مجموعه داده ها و نام متغیرهایی را که برای داشبوردهای QuickSight استفاده می کنیم تولید می کند. می‌توانید با تغییر خود مجموعه داده‌ها یا نام متغیرهایی که برای شما منطقی‌تر است، این کد را با استفاده خاص خود تطبیق دهید.

اگر بازخورد یا سوالی دارید، لطفاً آنها را در نظرات مطرح کنید.

---

درباره نویسنده

بنویت دو پاتول یک معمار راه حل های تخصصی AI/ML در AWS است. او با ارائه راهنمایی و کمک فنی به مشتریان برای ایجاد راه حل های مرتبط با AI/ML در هنگام استفاده از AWS کمک می کند.

پل ترویانو یک معمار ارشد راه حل در AWS، مستقر در آتلانتا، GA است. او با ارائه راهنمایی در مورد استراتژی ها و راه حل های فناوری در AWS به مشتریان کمک می کند. او به همه چیز AI/ML و اتوماسیون راه حل علاقه دارد.