Amazon QuickSight کے ساتھ میٹرکس کے بے ضابطگی کے نتائج کے لیے اپنے Amazon Lookout کا تصور کریں۔

استعمال کرنے والی ٹیموں کو درپیش چیلنجوں میں سے ایک میٹرکس کے لیے ایمیزون کی تلاش تیزی سے اور مؤثر طریقے سے اسے ڈیٹا ویژولائزیشن سے جوڑ رہا ہے۔ بے ضابطگیوں کو انفرادی طور پر Lookout for Metrics کنسول پر پیش کیا جاتا ہے، ہر ایک اپنے اپنے گراف کے ساتھ، مجموعی طور پر سیٹ کو دیکھنا مشکل بناتا ہے۔ گہرے تجزیہ کے لیے ایک خودکار، مربوط حل کی ضرورت ہے۔

اس پوسٹ میں، ہم میٹرکس لائیو ڈیٹیکٹر کے لیے ایک تلاش کا استعمال کرتے ہیں جس کے بعد بنایا گیا ہے۔ شروع سے سیکشن AWS نمونے، میٹرکس کے لیے Amazon Lookout گٹ ہب ریپو۔ ڈیٹیکٹر کے فعال ہونے اور ڈیٹاسیٹ سے بے ضابطگیوں کے پیدا ہونے کے بعد، ہم لُک آؤٹ فار میٹرکس سے منسلک کرتے ہیں۔ ایمیزون کوئیک سائٹ. ہم دو ڈیٹاسیٹس بناتے ہیں: ایک ڈائمینشن ٹیبل کو بے ضابطگی ٹیبل کے ساتھ جوائن کرکے، اور دوسرا لائیو ڈیٹا کے ساتھ انوملی ٹیبل میں شامل ہوکر۔ اس کے بعد ہم ان دو ڈیٹاسیٹس کو QuickSight تجزیہ میں شامل کر سکتے ہیں، جہاں ہم ایک ہی ڈیش بورڈ میں چارٹ شامل کر سکتے ہیں۔

ہم لک آؤٹ فار میٹرکس ڈیٹیکٹر کو دو قسم کے ڈیٹا فراہم کر سکتے ہیں: مسلسل اور تاریخی۔ دی AWS نمونے GitHub ریپو دونوں کو پیش کرتا ہے، حالانکہ ہم مسلسل لائیو ڈیٹا پر توجہ مرکوز کرتے ہیں۔ ڈیٹیکٹر بے ضابطگیوں کی نشاندہی کرنے کے لیے اس لائیو ڈیٹا کی نگرانی کرتا ہے اور بے ضابطگیوں کو لکھتا ہے۔ ایمیزون سادہ اسٹوریج سروس (ایمیزون S3) جیسا کہ وہ تیار کیا گیا ہے۔ ایک مخصوص وقفہ کے اختتام پر، ڈیٹیکٹر ڈیٹا کا تجزیہ کرتا ہے۔ وقت گزرنے کے ساتھ، پتہ لگانے والے پیٹرن کی بنیاد پر بے ضابطگیوں کو زیادہ درست طریقے سے پہچاننا سیکھتا ہے۔

Lookout for Metrics کاروبار اور آپریشنل ڈیٹا میں بے ضابطگیوں کا خود بخود پتہ لگانے اور تشخیص کرنے کے لیے مشین لرننگ (ML) کا استعمال کرتا ہے، جیسے کہ سیلز کی آمدنی میں اچانک کمی یا کسٹمر کے حصول کی شرح۔ یہ سروس اب عام طور پر 25 مارچ 2021 سے دستیاب ہے۔ یہ بے ضابطگیوں کا پتہ لگانے کے لیے استعمال کیے جانے والے روایتی طریقوں سے زیادہ رفتار اور درستگی کے ساتھ بے ضابطگیوں کا پتہ لگانے کے لیے متعدد ذرائع سے خود بخود معائنہ اور ڈیٹا تیار کرتی ہے۔ آپ نتائج کو ٹیون کرنے اور وقت کے ساتھ ساتھ درستگی کو بہتر بنانے کے لیے پتہ چلنے والی بے ضابطگیوں پر بھی رائے دے سکتے ہیں۔ میٹرکس کی تلاش ایک ہی واقعہ سے متعلق بے ضابطگیوں کو اکٹھا کر کے اور ایک الرٹ بھیج کر جس میں ممکنہ بنیادی وجہ کا خلاصہ شامل ہو، دریافت شدہ بے ضابطگیوں کی تشخیص کرنا آسان بناتا ہے۔ یہ بے ضابطگیوں کی شدت کے لحاظ سے بھی درجہ بندی کرتا ہے تاکہ آپ اپنی توجہ اس بات پر ترجیح دے سکیں جو آپ کے کاروبار کے لیے سب سے اہم ہے۔

QuickSight ایک مکمل طور پر منظم، کلاؤڈ-نیٹیو بزنس انٹیلی جنس (BI) سروس ہے جو انٹرایکٹو ڈیش بورڈز بنانے اور شائع کرنے کے لیے آپ کے ڈیٹا سے جڑنا آسان بناتی ہے۔ اس کے علاوہ، آپ استعمال کر سکتے ہیں ایمیزون کوئیک سائٹ قدرتی زبان کے سوالات کے ذریعے فوری جوابات حاصل کرنے کے لیے۔

آپ کسی بھی ڈیوائس سے بغیر سرور کے، انتہائی قابل توسیع QuickSight ڈیش بورڈز تک رسائی حاصل کر سکتے ہیں، اور انہیں بغیر کسی رکاوٹ کے اپنی ایپلیکیشنز، پورٹلز اور ویب سائٹس میں شامل کر سکتے ہیں۔ مندرجہ ذیل اسکرین شاٹ اس کی ایک مثال ہے کہ آپ اس پوسٹ کے اختتام تک کیا حاصل کرسکتے ہیں۔

حل کا جائزہ

حل AWS خدمات کا ایک مجموعہ ہے، بنیادی طور پر میٹرکس کے لیے تلاش، QuickSight، او ڈبلیو ایس لامبڈا۔, ایمیزون ایتینا, AWS گلو، اور ایمیزون S3۔

مندرجہ ذیل خاکہ حل کے فن تعمیر کی وضاحت کرتا ہے۔ میٹرکس کے لیے تلاش ایک الرٹ کے ذریعے لیمبڈا کو بے ضابطگیوں کا پتہ لگاتا ہے اور بھیجتا ہے۔ Lambda فنکشن CSV فائلوں کے طور پر بے ضابطگی کے نتائج پیدا کرتا ہے اور انہیں Amazon S3 میں محفوظ کرتا ہے۔ AWS Glue کرالر میٹا ڈیٹا کا تجزیہ کرتا ہے، اور ایتھینا میں میزیں بناتا ہے۔ QuickSight Amazon S3 ڈیٹا سے استفسار کرنے کے لیے Athena کا استعمال کرتا ہے، جس سے بے ضابطگی کے نتائج اور لائیو ڈیٹا دونوں کو دیکھنے کے لیے ڈیش بورڈز بنائے جا سکتے ہیں۔

یہ حل میں بنائے گئے وسائل پر پھیلتا ہے۔ شروع GitHub ریپو کا سیکشن۔ ہر قدم کے لیے، ہم وسائل کو یا تو استعمال کرتے ہوئے تخلیق کرنے کے اختیارات شامل کرتے ہیں۔ AWS مینجمنٹ کنسول یا فراہم کردہ لانچ کرنا AWS کلاؤڈ فارمیشن اسٹیک اگر آپ کے پاس میٹرکس ڈیٹیکٹر کے لیے حسب ضرورت تلاش کرنے والا ہے، تو آپ اسے استعمال کر سکتے ہیں اور اسے درج ذیل کے مطابق ڈھال سکتے ہیں۔ نوٹ بک اسی نتائج حاصل کرنے کے لئے.

عمل درآمد کے اقدامات درج ذیل ہیں:

1. بنائیں ایمیزون سیج میکر نوٹ بک مثال (ALFMTestNotebook) اور میں فراہم کردہ اسٹیک کا استعمال کرتے ہوئے نوٹ بک ابتدائی ڈھانچہ سے سیکشن GitHub repo.
2. سیج میکر کنسول پر نوٹ بک مثال کھولیں اور پر جائیں۔ amazon-lookout-for-metrics-samples/getting_started فولڈر.
3. S3 بالٹی بنائیں اور پہلے کا استعمال کرتے ہوئے ڈیٹا کی تیاری مکمل کریں۔ نوٹ بک (1.PrereqSetupData.ipynb)۔ کے ساتھ نوٹ بک کھولیں۔ conda_python3 کرنل، اگر اشارہ کیا جائے۔

ہم دوسرا چھوڑ دیتے ہیں۔ نوٹ بک کیونکہ یہ بیک ٹیسٹنگ ڈیٹا پر مرکوز ہے۔

4. اگر آپ کنسول کا استعمال کرتے ہوئے مثال سے گزر رہے ہیں تو، لک آؤٹ فار میٹرکس لائیو ڈیٹیکٹر بنائیں اور تیسرے کا استعمال کرتے ہوئے اس کا الرٹ بنائیں نوٹ بک (3.GettingStartedWithLiveData.ipynb).

اگر آپ فراہم کردہ CloudFormation اسٹیک استعمال کر رہے ہیں، تو تیسری نوٹ بک کی ضرورت نہیں ہے۔ ڈیٹیکٹر اور اس کا الرٹ اسٹیک کے حصے کے طور پر بنایا گیا ہے۔

5. لو آؤٹ فار میٹرکس لائیو ڈیٹیکٹر بنانے کے بعد، آپ کو اسے کنسول سے فعال کرنے کی ضرورت ہے۔

ماڈل کو شروع کرنے اور بے ضابطگیوں کا پتہ لگانے میں 2 گھنٹے تک لگ سکتے ہیں۔

6. پانڈاس لائبریری کی پرت کے ساتھ ازگر کا استعمال کرتے ہوئے، لیمبڈا فنکشن تعینات کریں، اور اسے لانچ کرنے کے لیے لائیو ڈیٹیکٹر سے منسلک ایک الرٹ بنائیں۔
7. QuickSight کے لیے ڈیٹا کو دریافت کرنے اور تیار کرنے کے لیے Athena اور AWS Glue کے امتزاج کا استعمال کریں۔
8. QuickSight ڈیٹا سورس اور ڈیٹا سیٹس بنائیں۔
9. آخر میں، ڈیٹا سیٹس کا استعمال کرتے ہوئے، تصور کے لیے ایک QuickSight تجزیہ بنائیں۔

کلاؤڈ فارمیشن اسکرپٹس کو عام طور پر پیداواری ماحول میں نیسٹڈ اسٹیکس کے سیٹ کے طور پر چلایا جاتا ہے۔ قدم بہ قدم واک تھرو کی سہولت کے لیے انہیں انفرادی طور پر اس پوسٹ میں فراہم کیا گیا ہے۔

شرائط

اس واک تھرو سے گزرنے کے لیے، آپ کو AWS اکاؤنٹ کی ضرورت ہے جہاں حل تعینات کیا جائے گا۔ اس بات کو یقینی بنائیں کہ آپ جتنے بھی وسائل تعینات کرتے ہیں وہ ایک ہی علاقے میں ہیں۔ آپ کو رننگ لُک آؤٹ فار میٹرکس ڈیٹیکٹر کی ضرورت ہے جو نوٹ بک 1 اور 3 سے بنایا گیا ہے۔ GitHub repo. اگر آپ کے پاس Luckout for Metrics ڈیٹیکٹر نہیں ہے، تو آپ کے پاس دو اختیارات ہیں:

• نوٹ بک 1 اور 3 چلائیں، اور اس پوسٹ کے مرحلہ 1 سے جاری رکھیں (لیمبڈا فنکشن اور الرٹ بنانا)
• نوٹ بک 1 چلائیں اور پھر لک آؤٹ فار میٹرکس ڈیٹیکٹر بنانے کے لیے کلاؤڈ فارمیشن ٹیمپلیٹ کا استعمال کریں۔

AWS CloudFormation کا استعمال کرتے ہوئے لائیو ڈیٹیکٹر بنائیں

۔ L4MLiveDetector.yaml CloudFormation اسکرپٹ مخصوص S3 بالٹی میں لائیو ڈیٹا کی طرف اشارہ کرتے ہوئے اپنے ماخذ کے ساتھ Metrics کے بے ضابطگی کا پتہ لگانے والے کے لیے تلاش کرتا ہے۔ ڈیٹیکٹر بنانے کے لیے، درج ذیل مراحل کو مکمل کریں:

1. درج ذیل لنک سے اسٹیک لانچ کریں:

2. پر اسٹیک بنائیں صفحہ، منتخب کریں اگلے.
3. پر اسٹیک کی تفصیلات بتائیں صفحہ، درج ذیل معلومات فراہم کریں:
   1. اسٹیک کا نام۔ مثال کے طور پر، L4MLiveDetector.
   2. S3 بالٹی، <Account Number>-lookoutmetrics-lab.
   3. رول اے آر این، arn:aws:iam::<Account Number>:role/L4MTestRole.
   4. بے ضابطگی کا پتہ لگانے کی فریکوئنسی۔ منتخب کریں۔ PT1H (گھنٹہ)
4. میں سے انتخاب کریں اگلے.
5. پر اسٹیک کے اختیارات کو ترتیب دیں۔ صفحہ، ہر چیز کو جیسا ہے چھوڑ دیں اور منتخب کریں۔ اگلے.
6. پر کا جائزہ لیں صفحہ، ہر چیز کو جیسا ہے چھوڑ دیں اور منتخب کریں۔ اسٹیک بنائیں.

AWS CloudFormation کا استعمال کرتے ہوئے لائیو ڈیٹیکٹر SMS الرٹ بنائیں (اختیاری)

یہ مرحلہ اختیاری ہے۔ انتباہ کو ایک مثال کے طور پر پیش کیا گیا ہے، جس کا ڈیٹا سیٹ کی تخلیق پر کوئی اثر نہیں پڑتا ہے۔ دی L4MLiveDetectorAlert.yaml CloudFormation اسکرپٹ ایک SMS ٹارگٹ کے ساتھ Lookout for Metrics بے ضابطگی کا پتہ لگانے والا الرٹ بناتا ہے۔

1. درج ذیل لنک سے اسٹیک لانچ کریں:

2. پر اسٹیک بنائیں صفحہ، منتخب کریں اگلے.
3. پر اسٹیک کی تفصیلات بتائیں صفحہ، ایس ایم ایس فون نمبر کو اپ ڈیٹ کریں اور اسٹیک کے لیے ایک نام درج کریں (مثال کے طور پر، L4MLiveDetectorAlert).
4. میں سے انتخاب کریں اگلے.
5. پر اسٹیک کے اختیارات کو ترتیب دیں۔ صفحہ، ہر چیز کو جیسا ہے چھوڑ دیں اور منتخب کریں۔ اگلے.
6. پر کا جائزہ لیں صفحہ، تسلیم شدہ چیک باکس کو منتخب کریں، باقی سب کچھ ویسا ہی چھوڑ دیں، اور منتخب کریں۔ اسٹیک بنائیں.

وسائل کی صفائی

اگلے مرحلے کے ساتھ آگے بڑھنے سے پہلے، اپنی SageMaker نوٹ بک مثال کو روکیں تاکہ یہ یقینی بنایا جا سکے کہ کوئی غیر ضروری خرچہ نہ ہو۔ اب اس کی ضرورت نہیں رہی۔

لیمبڈا فنکشن اور الرٹ بنائیں

اس سیکشن میں، ہم کنسول یا AWS CloudFormation کے ذریعے آپ کے Lambda فنکشن اور الرٹ بنانے کے لیے ہدایات فراہم کرتے ہیں۔

کنسول کے ساتھ فنکشن اور الرٹ بنائیں

آپ کو لیمبڈا کی ضرورت ہے۔ AWS شناخت اور رسائی کا انتظام (اے ایم آئی) کردار کے بعد کم از کم استحقاق بہترین عمل بالٹی تک رسائی حاصل کرنے کے لیے جہاں آپ چاہتے ہیں کہ نتائج کو محفوظ کیا جائے۔

1. 1. لیمبڈا کنسول پر، ایک نیا فنکشن بنائیں۔
   2. منتخب کریں شروع سے مصنف.
   3. کے لئے فنکشن کا نامایک نام درج کریں۔
   4. کے لئے رن ٹائممنتخب کریں ازگر 3.8.
   5. کے لئے پھانسی کا کردارمنتخب موجودہ کردار کا استعمال کریں۔ اور اپنے بنائے ہوئے کردار کی وضاحت کریں۔
   6. میں سے انتخاب کریں فنکشن بنائیں.
2. 
   7. لوڈ زپ فائل جس میں لیمبڈا فنکشن کے لیے ضروری کوڈ ہوتا ہے۔
   8. لیمبڈا کنسول پر، فنکشن کھولیں۔
   9. پر ضابطے ٹیب، منتخب کریں سے اپ لوڈ کریں۔منتخب کریں .zip فائل، اور اپنی ڈاؤن لوڈ کردہ فائل کو اپ لوڈ کریں۔
   10. میں سے انتخاب کریں محفوظ کریں.

زپ فائل اپ لوڈ کرنے کے بعد آپ کی فائل کا درخت وہی رہنا چاہیے۔

11. میں تہوں سیکشن کا انتخاب کریں، پرت شامل کریں.
12. منتخب کریں اے آر این کی وضاحت کریں۔.
13. مندرجہ ذیل میں GitHub repo، جس علاقے میں آپ کام کر رہے ہیں اس کے مطابق CSV کا انتخاب کریں اور تازہ ترین Pandas ورژن سے ARN کاپی کریں۔
14. کے لئے اے آر این کی وضاحت کریں۔آپ نے کاپی کیا ہوا ARN درج کریں۔
15. میں سے انتخاب کریں شامل کریں.

16. فنکشن کو اپنے ماحول کے مطابق ڈھالنے کے لیے، lambda_function.py فائل سے کوڈ کے نیچے، اپنی بالٹی کے ساتھ بالٹی کا نام اپ ڈیٹ کرنا یقینی بنائیں جہاں آپ بے ضابطگی کے نتائج کو محفوظ کرنا چاہتے ہیں، اور DataSet_ARN آپ کے بے ضابطگی کا پتہ لگانے والے سے۔
17. میں سے انتخاب کریں تعینات تبدیلیوں کو فعال بنانے کے لیے۔

اب آپ کو Lookout for Metrics ڈیٹیکٹر کو اپنے فنکشن سے جوڑنے کی ضرورت ہے۔

18. میٹرکس کنسول کے لئے تلاش پر، اپنے ڈیٹیکٹر پر جائیں اور منتخب کریں۔ الرٹ شامل کریں۔.
19. الرٹ کا نام اور اپنی ترجیحی شدت کی حد درج کریں۔
20. چینل کی فہرست سے، منتخب کریں۔ لامڈا.
21. اپنے تخلیق کردہ فنکشن کا انتخاب کریں اور اس بات کو یقینی بنائیں کہ آپ کے پاس اسے متحرک کرنے کا صحیح کردار ہے۔
22. میں سے انتخاب کریں الرٹ شامل کریں۔.

اب آپ اپنے الرٹ کے متحرک ہونے کا انتظار کریں۔ وقت اس بات پر منحصر ہوتا ہے کہ پتہ لگانے والے کو کب بے ضابطگی ملتی ہے۔

جب کسی بے ضابطگی کا پتہ چلتا ہے، تو میٹرکس کے لیے Lookout Lambda فنکشن کو متحرک کرتا ہے۔ یہ Lookout for Metrics سے ضروری معلومات حاصل کرتا ہے اور چیک کرتا ہے کہ آیا Amazon S3 میں پہلے سے ہی ایک محفوظ شدہ CSV فائل موجود ہے جو اس بے ضابطگی کے متعلقہ ٹائم اسٹیمپ پر ہے۔ اگر کوئی فائل نہیں ہے تو، لیمبڈا فائل تیار کرتا ہے اور بے ضابطگی کا ڈیٹا شامل کرتا ہے۔ اگر فائل پہلے سے موجود ہے تو، لیمبڈا موصول اضافی ڈیٹا کے ساتھ فائل کو اپ ڈیٹ کرتا ہے۔ فنکشن ہر مختلف ٹائم اسٹیمپ کے لیے ایک علیحدہ CSV فائل تیار کرتا ہے۔

AWS CloudFormation کا استعمال کرتے ہوئے فنکشن اور الرٹ بنائیں

کنسول ہدایات کی طرح، آپ ZIP فائل ڈاؤن لوڈ کریں۔ لیمبڈا فنکشن کے لیے ضروری کوڈ پر مشتمل ہے۔ تاہم، اس صورت میں اسے S3 بالٹی پر اپ لوڈ کرنے کی ضرورت ہے تاکہ AWS CloudFormation کوڈ اسے فنکشن تخلیق کے دوران لوڈ کر سکے۔

لک آؤٹ فار میٹرکس ڈیٹیکٹر تخلیق میں مخصوص کردہ S3 بالٹی میں، lambda-code نامی فولڈر بنائیں، اور ZIP فائل اپ لوڈ کریں۔

لیمبڈا فنکشن تخلیق کے دوران اسے اپنے کوڈ کے طور پر لوڈ کرتا ہے۔

۔ L4MLambdaFunction.yaml CloudFormation اسکرپٹ لیمبڈا فنکشن اور الرٹ وسائل تخلیق کرتا ہے اور اسی S3 بالٹی میں ذخیرہ کردہ فنکشن کوڈ آرکائیو کا استعمال کرتا ہے۔

1. درج ذیل لنک سے اسٹیک لانچ کریں:

2. پر اسٹیک بنائیں صفحہ، منتخب کریں اگلے.
3. پر اسٹیک کی تفصیلات بتائیں صفحہ، اسٹیک نام کی وضاحت کریں (مثال کے طور پر، L4MLambdaFunction).
4. مندرجہ ذیل میں GitHub repo، جس علاقے میں آپ کام کر رہے ہیں اس سے متعلقہ CSV کھولیں اور تازہ ترین Pandas ورژن سے ARN کاپی کریں۔
5. ARN کو Pandas Lambda تہہ ARN پیرامیٹر کے طور پر درج کریں۔
6. میں سے انتخاب کریں اگلے.
7. پر اسٹیک کے اختیارات کو ترتیب دیں۔ صفحہ، ہر چیز کو جیسا ہے چھوڑ دیں اور منتخب کریں۔ اگلے.
8. پر کا جائزہ لیں صفحہ، تسلیم شدہ چیک باکس کو منتخب کریں، باقی سب کچھ ویسا ہی چھوڑ دیں، اور منتخب کریں۔ اسٹیک بنائیں.

ڈیٹیکٹر کو چالو کریں۔

اگلے مرحلے پر جانے سے پہلے، آپ کو کنسول سے ڈیٹیکٹر کو چالو کرنے کی ضرورت ہے۔

1. میٹرکس کنسول کی تلاش میں، منتخب کریں۔ ڈٹیکٹر نیوی گیشن پین میں.
2. اپنے نئے بنائے گئے ڈیٹیکٹر کا انتخاب کریں۔
3. میں سے انتخاب کریں چالو کریں، پھر منتخب کریں چالو کریں دوبارہ تصدیق کرنے کے لئے.

ایکٹیویشن ڈیٹیکٹر کو شروع کرتی ہے۔ جب ماڈل اپنا سیکھنے کا چکر مکمل کر لیتا ہے تو یہ ختم ہو جاتا ہے۔ اس میں 2 گھنٹے لگ سکتے ہیں۔

QuickSight کے لیے ڈیٹا تیار کریں۔

اس مرحلے کو مکمل کرنے سے پہلے، پتہ لگانے والے کو بے ضابطگیوں کا پتہ لگانے کے لیے وقت دیں۔ آپ نے جو لیمبڈا فنکشن بنایا ہے وہ لک آؤٹ فار میٹرکس بالٹی میں بے ضابطگی کے نتائج کو محفوظ کرتا ہے۔ anomalyResults ڈائریکٹری اب ہم اس ڈیٹا کو QuickSight کے لیے تیار کرنے کے لیے اس پر کارروائی کر سکتے ہیں۔

کنسول پر AWS Glue کرالر بنائیں

کچھ بے ترتیب CSV فائلوں کے تیار ہونے کے بعد، ہم میٹا ڈیٹا ٹیبلز بنانے کے لیے AWS Glue کرالر کا استعمال کرتے ہیں۔

1. AWS Glue کنسول پر، منتخب کریں۔ کرالر نیوی گیشن پین میں.
2. میں سے انتخاب کریں کرالر شامل کریں۔.

3. کرالر کے لیے ایک نام درج کریں (مثال کے طور پر، L4MCrawler).
4. میں سے انتخاب کریں اگلے.
5. کے لئے کرالر سورس کی قسممنتخب ڈیٹا اسٹورز.
6. کے لئے S3 ڈیٹا اسٹورز کے کرالز کو دہرائیں۔منتخب تمام فولڈرز کو کرال کریں۔.
7. میں سے انتخاب کریں اگلے.

8. ڈیٹا اسٹور کنفیگریشن پیج پر، کے لیے میں ڈیٹا کرال کریں۔منتخب میرے اکاؤنٹ میں مخصوص راستہ.
9. کے لئے راستہ شامل کریں۔، اپنے راستے میں داخل ہوں۔ dimensionContributions فائل (s3://YourBucketName/anomalyResults/dimensionContributions).
10. میں سے انتخاب کریں اگلے.
11. میں سے انتخاب کریں جی ہاں ایک اور ڈیٹا اسٹور شامل کرنے اور ہدایات کو دہرانے کے لیے metricValue_AnomalyScore(s3://YourBucketName/anomalyResults/metricValue_AnomalyScore).
12. لائیو ڈیٹا کا تجزیہ کرنے کے لیے ہدایات کو دوبارہ دہرائیں جس کے لیے Lookout for Metrics anomaly detector (یہ آپ کے Lookout for Metrics ڈیٹیکٹر سے S3 ڈیٹاسیٹ کا مقام ہے)۔

کرالر پر کارروائی کرنے کے لیے اب آپ کے پاس تین ڈیٹا اسٹورز ہونے چاہئیں۔

اب آپ کو کرالر کو اپنے ڈیٹا کے S3 مقامات سے گزرنے کی اجازت دینے کے لیے کردار کو منتخب کرنے کی ضرورت ہے۔

13. اس پوسٹ کے لیے، منتخب کریں۔ ایک IAM کردار بنائیں اور کردار کے لیے نام درج کریں۔
14. میں سے انتخاب کریں اگلے.

15. کے لئے فرکوےنسیکے طور پر چھوڑ دیں مانگ پر چلائیں۔ اور منتخب کریں اگلے.
16. میں کرالر کے آؤٹ پٹ کو کنفیگر کریں۔ سیکشن کا انتخاب کریں، ڈیٹا بیس شامل کریں۔.

یہ ایتھینا ڈیٹا بیس بناتا ہے جہاں کرالر مکمل ہونے کے بعد آپ کے میٹا ڈیٹا ٹیبلز واقع ہوتے ہیں۔

17. اپنے ڈیٹا بیس کے لیے ایک نام درج کریں اور منتخب کریں۔ تخلیق کریں.
18. میں سے انتخاب کریں اگلے، پھر منتخب کریں ختم.

19. پر کرالر AWS Glue کنسول کا صفحہ، اپنے بنائے ہوئے کرالر کو منتخب کریں اور منتخب کریں۔ کرالر چلائیں۔.

ڈیٹا کے سائز کے لحاظ سے آپ کو چند منٹ انتظار کرنا پڑ سکتا ہے۔ جب یہ مکمل ہو جاتا ہے، تو کرالر کی حیثیت بطور ظاہر ہوتی ہے۔ کے لئے تیار ہیں. میٹا ڈیٹا ٹیبلز دیکھنے کے لیے، پر اپنے ڈیٹا بیس پر جائیں۔ ڈیٹا بیس صفحہ اور منتخب کریں۔ میزیں نیوی گیشن پین میں.

اس مثال میں، لائیو کہلانے والا میٹا ڈیٹا ٹیبل لک آؤٹ فار میٹرکس لائیو ڈیٹیکٹر سے S3 ڈیٹاسیٹ کی نمائندگی کرتا ہے۔ ایک بہترین عمل کے طور پر، اس کی سفارش کی جاتی ہے۔ اپنے AWS Glue Data Catalog کے میٹا ڈیٹا کو خفیہ کریں۔.

ایتھینا میٹا ڈیٹا ٹیبلز کو خود بخود پہچان لیتی ہے، اور QuickSight ڈیٹا سے استفسار کرنے اور نتائج کو دیکھنے کے لیے ایتھینا کا استعمال کرتی ہے۔

AWS CloudFormation کا استعمال کرتے ہوئے AWS Glue کرالر بنائیں

۔ L4MGlueCrawler.yaml CloudFormation اسکرپٹ AWS Glue کرالر، اس سے منسلک IAM رول، اور آؤٹ پٹ Athena ڈیٹا بیس بناتا ہے۔

1. درج ذیل لنک سے اسٹیک لانچ کریں:

2. پر اسٹیک بنائیں صفحہ، منتخب کریں اگلے.
3. پر اسٹیک کی تفصیلات بتائیں صفحہ، اپنے اسٹیک کے لیے ایک نام درج کریں (مثال کے طور پر، L4MGlueCrawler)، اور منتخب کریں۔ اگلے.
4. پر اسٹیک کے اختیارات کو ترتیب دیں۔ صفحہ، ہر چیز کو جیسا ہے چھوڑ دیں اور منتخب کریں۔ اگلے.
5. پر کا جائزہ لیں صفحہ، تسلیم شدہ چیک باکس کو منتخب کریں، باقی سب کچھ ویسا ہی چھوڑ دیں، اور منتخب کریں۔ اسٹیک بنائیں.

AWS Glue کرالر چلائیں۔

کرالر بنانے کے بعد، آپ کو اگلے مرحلے پر جانے سے پہلے اسے چلانے کی ضرورت ہے۔ آپ اسے کنسول یا سے چلا سکتے ہیں۔ AWS کمانڈ لائن انٹرفیس (AWS CLI)۔ کنسول استعمال کرنے کے لیے، درج ذیل مراحل کو مکمل کریں:

1. AWS Glue کنسول پر، منتخب کریں۔ کرالر نیوی گیشن پین میں.
2. اپنا کرالر منتخب کریں (L4MCrawler).
3. میں سے انتخاب کریں کرالر چلائیں۔.

جب کرالر مکمل ہوجاتا ہے، تو یہ اسٹیٹس دکھاتا ہے۔ کے لئے تیار ہیں.

QuickSight اکاؤنٹ بنائیں

یہ اگلا مرحلہ شروع کرنے سے پہلے، QuickSight کنسول پر جائیں اور اگر آپ کے پاس پہلے سے اکاؤنٹ نہیں ہے تو ایک اکاؤنٹ بنائیں۔ اس بات کو یقینی بنانے کے لیے کہ آپ کو متعلقہ خدمات (ایتھینا اور S3 بالٹی) تک رسائی حاصل ہے، اوپر دائیں جانب اپنے اکاؤنٹ کا نام منتخب کریں، منتخب کریں QuickSight کا نظم کریں۔، اور منتخب کریں سیکیورٹی اور اجازتیں۔، جہاں آپ ضروری خدمات شامل کرسکتے ہیں۔ اپنی Amazon S3 رسائی کو ترتیب دیتے وقت، منتخب کرنا یقینی بنائیں ایتھینا ورک گروپ کے لیے اجازت لکھیں۔.

اب آپ QuickSight میں اپنے ڈیٹا کو دیکھنے کے لیے تیار ہیں۔

کنسول پر QuickSight ڈیٹاسیٹس بنائیں

اگر آپ پہلی بار ایتھینا استعمال کر رہے ہیں، تو آپ کو سوالات کے آؤٹ پٹ لوکیشن کو ترتیب دینا ہوگا۔ ہدایات کے لیے، مرحلہ 1-6 in دیکھیں ایک ڈیٹا بیس بنائیں. پھر درج ذیل مراحل کو مکمل کریں:

1. QuickSight کنسول پر، منتخب کریں۔ ڈیٹا سیٹ.
2. میں سے انتخاب کریں نیا ڈیٹاسیٹ.
3. ایتھینا کو اپنے ذریعہ کے طور پر منتخب کریں۔
4. اپنے ڈیٹا سورس کے لیے ایک نام درج کریں۔
5. میں سے انتخاب کریں ڈیٹا سورس بنائیں.

6. اپنے ڈیٹا بیس کے لیے، اس کی وضاحت کریں جسے آپ نے پہلے AWS Glue کرالر کے ساتھ بنایا تھا۔
7. اس ٹیبل کی وضاحت کریں جس میں آپ کا لائیو ڈیٹا ہو (نہ کہ بے ضابطگیوں)۔
8. میں سے انتخاب کریں ڈیٹا میں ترمیم/پیش نظارہ کریں۔.

آپ کو درج ذیل اسکرین شاٹ کی طرح ایک انٹرفیس پر بھیج دیا گیا ہے۔

اگلا مرحلہ شامل کرنا اور یکجا کرنا ہے۔ metricValue_AnomalyScore لائیو ڈیٹا کے ساتھ ڈیٹا۔

9. میں سے انتخاب کریں ڈیٹا شامل کریں۔.
10. میں سے انتخاب کریں ڈیٹا کا ماخذ شامل کریں.
11. آپ نے جو ڈیٹا بیس بنایا ہے اس کی وضاحت کریں۔ metricValue_AnomalyScore میز.
12. میں سے انتخاب کریں منتخب کریں.

اب آپ کو دو ٹیبلز کے جوائن کو کنفیگر کرنے کی ضرورت ہے۔

13. دو میزوں کے درمیان لنک کا انتخاب کریں۔
14. شمولیت کی قسم کو اس طرح چھوڑ دیں۔ چھوڑ دیا، ٹائم اسٹیمپ اور ہر ایک جہت جو آپ کے پاس ہے جوائن کی شق کے طور پر شامل کریں، اور منتخب کریں۔ کا اطلاق کریں.

درج ذیل مثال میں، ہم ٹائم اسٹیمپ، پلیٹ فارم، اور مارکیٹ پلیس کو جوائن کلز کے طور پر استعمال کرتے ہیں۔

دائیں پین پر، آپ ان فیلڈز کو ہٹا سکتے ہیں جنہیں رکھنے میں آپ کی دلچسپی نہیں ہے۔

15. سے ٹائم اسٹیمپ ہٹا دیں۔ metricValue_AnomalyScore ٹیبل میں ڈپلیکیٹ کالم نہ ہو۔
16. ٹائم اسٹیمپ ڈیٹا کی قسم (لائیو ڈیٹا ٹیبل کی) سٹرنگ سے تاریخ تک تبدیل کریں، اور درست کی وضاحت کریں۔ فارمیٹ. ہمارے معاملے میں، یہ ہونا چاہئے yyyy-MM-dd HH:mm:ss.

آپ کے کچھ فیلڈز کو ہٹانے اور ڈیٹا کی قسم کو ایڈجسٹ کرنے کے بعد درج ذیل اسکرین شاٹ آپ کا منظر دکھاتا ہے۔

17. میں سے انتخاب کریں محفوظ کریں اور تصور کریں۔.
18. ڈیٹاسیٹ کے آگے پنسل آئیکن کا انتخاب کریں۔
19. میں سے انتخاب کریں ڈیٹاسیٹ شامل کریں۔ اور منتخب کریں dimensioncontributions.

AWS CloudFormation کا استعمال کرتے ہوئے QuickSight ڈیٹا سیٹس بنائیں

یہ مرحلہ تین CloudFormation اسٹیک پر مشتمل ہے۔

پہلی کلاؤڈ فارمیشن اسکرپٹ، L4MQuickSightDataSource.yaml، QuickSight Athena ڈیٹا ماخذ تخلیق کرتا ہے۔

1. درج ذیل لنک سے اسٹیک لانچ کریں:

2. پر اسٹیک بنائیں صفحہ، منتخب کریں اگلے.
3. پر اسٹیک کی تفصیلات بتائیں صفحہ، اپنا QuickSight صارف نام، QuickSight اکاؤنٹ کا علاقہ (QuickSight اکاؤنٹ بناتے وقت مخصوص کیا گیا ہے)، اور اسٹیک کا نام درج کریں (مثال کے طور پر، L4MQuickSightDataSource).
4. میں سے انتخاب کریں اگلے.
5. پر اسٹیک کے اختیارات کو ترتیب دیں۔ صفحہ، ہر چیز کو جیسا ہے چھوڑ دیں اور منتخب کریں۔ اگلے.
6. پر کا جائزہ لیں صفحہ، ہر چیز کو جیسا ہے چھوڑ دیں اور منتخب کریں۔ اسٹیک بنائیں.

دوسری کلاؤڈ فارمیشن اسکرپٹ، L4MQuickSightDataSet1.yaml, ایک QuickSight ڈیٹاسیٹ بناتا ہے جو طول و عرض کے جدول کو بے ضابطگی ٹیبل کے ساتھ جوڑتا ہے۔

1. درج ذیل لنک سے اسٹیک لانچ کریں:

2. پر اسٹیک بنائیں صفحہ، منتخب کریں اگلے.
3. پر اسٹیک کی تفصیلات بتائیں، اسٹیک کا نام درج کریں (مثال کے طور پر، L4MQuickSightDataSet1).
4. میں سے انتخاب کریں اگلے.
5. پر اسٹیک کے اختیارات کو ترتیب دیں۔ صفحہ، ہر چیز کو جیسا ہے چھوڑ دیں اور منتخب کریں۔ اگلے.
6. پر کا جائزہ لیں صفحہ، ہر چیز کو جیسا ہے چھوڑ دیں اور منتخب کریں۔ اسٹیک بنائیں.

تیسری کلاؤڈ فارمیشن اسکرپٹ، L4MQuickSightDataSet2.yaml, QuickSight ڈیٹاسیٹ تخلیق کرتا ہے جو لائیو ڈیٹا ٹیبل کے ساتھ بے ضابطگی ٹیبل میں شامل ہوتا ہے۔

1. درج ذیل لنک سے اسٹیک لانچ کریں:

2. پر اسٹیک پیج بنائیںمنتخب کریں اگلے.
3. پر اسٹیک کی تفصیلات بتائیں صفحہ، اسٹیک کا نام درج کریں (مثال کے طور پر، L4MQuickSightDataSet2).
4. میں سے انتخاب کریں اگلے.
5. پر اسٹیک کے اختیارات کو ترتیب دیں۔ صفحہ، ہر چیز کو جیسا ہے چھوڑ دیں اور منتخب کریں۔ اگلے.
6. پر کا جائزہ لیں صفحہ، ہر چیز کو جیسا ہے چھوڑ دیں اور منتخب کریں۔ اسٹیک بنائیں.

ڈیش بورڈ بنانے کے لیے QuickSight تجزیہ بنائیں

یہ مرحلہ صرف کنسول پر مکمل کیا جا سکتا ہے۔ اپنے QuickSight ڈیٹا سیٹس بنانے کے بعد، درج ذیل مراحل کو مکمل کریں:

1. QuickSight کنسول پر، منتخب کریں۔ تجزیہ نیوی گیشن پین میں.
2. میں سے انتخاب کریں نیا تجزیہ.
3. پہلا ڈیٹا سیٹ منتخب کریں، L4MQuickSightDataSetWithLiveData.

4. میں سے انتخاب کریں تجزیہ بنائیں.

QuickSight تجزیہ ابتدائی طور پر صرف پہلے ڈیٹا سیٹ کے ساتھ بنایا گیا ہے۔

5. دوسرا ڈیٹا سیٹ شامل کرنے کے لیے، آگے پنسل آئیکن منتخب کریں۔ ڈیٹا بیس اور منتخب کریں ڈیٹاسیٹ شامل کریں۔.
6. دوسرا ڈیٹاسیٹ منتخب کریں اور منتخب کریں۔ منتخب کریں.

اس کے بعد آپ چارٹ بنانے کے لیے ڈیٹاسیٹ کا انتخاب کر کے اسے استعمال کر سکتے ہیں۔ ڈیٹا بیس ڈراپ ڈاؤن مینو

ڈیٹا سیٹ میٹرکس

آپ نے میٹرکس کے تخمینہ کے نتائج اور لائیو ڈیٹا کے لیے Lookout سے QuickSight تجزیہ کامیابی سے بنایا ہے۔ آپ کے استعمال کے لیے دو ڈیٹا سیٹ QuickSight میں ہیں: L4M_Visualization_dataset_with_liveData اور L4M_Visualization_dataset_with_dimensionContribution.

۔ L4M_Visualization_dataset_with_liveData ڈیٹا سیٹ میں درج ذیل میٹرکس شامل ہیں:

• ٹائمسٹیمپ - لائیو ڈیٹا کی تاریخ اور وقت لک آؤٹ فار میٹرکس کو منتقل کیا گیا۔
• خیالات - ملاحظات میٹرک کی قدر
• آمدنی - ریونیو میٹرک کی قدر
• پلیٹ فارم، مارکیٹ پلیس، ریونیوAnomalyMetricValue، viewsAnomalyMetricValue، revenueGroupScore اور viewsGroupScore - یہ میٹرکس دونوں ڈیٹاسیٹس کا حصہ ہیں۔

۔ L4M_Visualization_dataset_with_dimensionContribution ڈیٹا سیٹ میں درج ذیل میٹرکس شامل ہیں:

• ٹائمسٹیمپ - وہ تاریخ اور وقت جب بے ضابطگی کا پتہ چلا
• میٹرک نام - وہ میٹرکس جن کی آپ نگرانی کر رہے ہیں۔
• طول و عرض کا نام - میٹرک کے اندر طول و عرض
• طول و عرض کی قدر - طول و عرض کی قدر
• قدر کی شراکت - اس بات کا فیصد کہ کتنی ڈائمینشن ویلیو بے ضابطگی کو متاثر کر رہی ہے جب پتہ چلا

مندرجہ ذیل اسکرین شاٹ ان پانچ میٹرکس کو لوک آؤٹ فار میٹرکس ڈیٹیکٹر کے بے ضابطگی ڈیش بورڈ پر دکھاتا ہے۔

درج ذیل میٹرکس دونوں ڈیٹاسیٹس کا حصہ ہیں:

• پلیٹ فارم - وہ پلیٹ فارم جہاں بے ضابطگی ہوئی تھی۔
• بازار - وہ بازار جہاں بے ضابطگی ہوئی تھی۔
• revenueAnomalyMetricValue اور viewsAnomalyMetricValue - میٹرک کی متعلقہ اقدار جب بے ضابطگی کا پتہ چلا (اس صورت حال میں، میٹرکس آمدنی یا ملاحظات ہیں)
• ریونیو گروپ سکور اور ویوز گروپ سکور - پائے جانے والے بے ضابطگی کے لیے ہر میٹرک کے لیے شدت کے اسکور

ان آخری میٹرکس کو بہتر طور پر سمجھنے کے لیے، آپ اپنی S3 بالٹی میں لیمبڈا فنکشن کے ذریعے تخلیق کردہ CSV فائلوں کا جائزہ لے سکتے ہیں جہاں آپ نے محفوظ کیا تھا۔ anomalyResults/metricValue_AnomalyScore.

اگلے مراحل

اگلا مرحلہ اس ڈیٹا کے لیے ڈیش بورڈز بنانا ہے جسے آپ دیکھنا چاہتے ہیں۔ اس پوسٹ میں QuickSight چارٹ بنانے کی کوئی وضاحت شامل نہیں ہے۔ اگر آپ QuickSight میں نئے ہیں، تو رجوع کریں۔ Amazon QuickSight میں ڈیٹا کے تجزیہ کے ساتھ شروع کرنا ایک تعارف کے لیے درج ذیل اسکرین شاٹس بنیادی ڈیش بورڈز کی مثالیں دکھاتے ہیں۔ مزید معلومات کے لیے، چیک کریں۔ QuickSight ورکشاپس.

نتیجہ

بے ضابطگیوں کو انفرادی طور پر Lookout for Metrics کنسول پر پیش کیا جاتا ہے، ہر ایک کا اپنا گراف ہوتا ہے، جس سے سیٹ کو مجموعی طور پر دیکھنا مشکل ہو جاتا ہے۔ گہرے تجزیہ کے لیے ایک خودکار، مربوط حل کی ضرورت ہے۔ اس پوسٹ میں، ہم نے بے ضابطگیوں کو پیدا کرنے کے لیے لِک آؤٹ فار میٹرکس ڈیٹیکٹر کا استعمال کیا، اور تصورات تخلیق کرنے کے لیے ڈیٹا کو QuickSight سے منسلک کیا۔ یہ حل ہمیں بے ضابطگیوں کا گہرا تجزیہ کرنے اور ان سب کو ایک ہی جگہ/ڈیش بورڈ میں رکھنے کے قابل بناتا ہے۔

اگلے قدم کے طور پر، اس حل کو ایک اضافی ڈیٹاسیٹ شامل کرکے اور متعدد ڈیٹیکٹرز سے بے ضابطگیوں کو یکجا کرکے بھی بڑھایا جاسکتا ہے۔ آپ لیمبڈا فنکشن کو بھی اپنا سکتے ہیں۔ Lambda فنکشن میں وہ کوڈ ہوتا ہے جو ڈیٹا سیٹس اور متغیر ناموں کو تیار کرتا ہے جو ہم QuickSight ڈیش بورڈز کے لیے استعمال کرتے ہیں۔ آپ اس کوڈ کو اپنے مخصوص استعمال کے معاملے میں خود ڈیٹا سیٹس یا متغیر ناموں کو تبدیل کر کے جو آپ کے لیے زیادہ معنی خیز ہیں۔

اگر آپ کے پاس کوئی رائے یا سوالات ہیں، تو براہ کرم انہیں تبصرے میں چھوڑ دیں۔

---

مصنفین کے بارے میں

بینویٹ ڈی پاٹول AWS میں ایک AI/ML ماہر حل آرکیٹیکٹ ہے۔ وہ AWS استعمال کرتے وقت AI/ML سے متعلق حل تیار کرنے کے لیے رہنمائی اور تکنیکی مدد فراہم کرکے صارفین کی مدد کرتا ہے۔

پال ٹرائیانو اٹلانٹا، GA میں مقیم AWS میں ایک سینئر سولیوشن آرکیٹیکٹ ہے۔ وہ AWS پر ٹیکنالوجی کی حکمت عملیوں اور حل کے بارے میں رہنمائی فراہم کرکے صارفین کی مدد کرتا ہے۔ وہ ہر چیز AI/ML اور حل آٹومیشن کے بارے میں پرجوش ہے۔