เห็นภาพผลลัพธ์ผิดปกติของตัวชี้วัด Amazon Lookout ด้วย Amazon QuickSight

หนึ่งในความท้าทายที่พบโดยทีมที่ใช้ Amazon Lookout สำหรับเมตริก กำลังเชื่อมต่อกับการแสดงข้อมูลอย่างรวดเร็วและมีประสิทธิภาพ ความผิดปกติจะแสดงเป็นรายบุคคลบนคอนโซล Lookout for Metrics โดยแต่ละอันมีกราฟของตัวเอง ทำให้ยากต่อการดูชุดโดยรวม จำเป็นต้องใช้โซลูชันแบบบูรณาการแบบอัตโนมัติสำหรับการวิเคราะห์เชิงลึก

ในโพสต์นี้ เราใช้ Lookout for Metrics live detector ที่สร้างขึ้นหลังจาก เริ่มต้นใช้งาน ส่วนจาก ตัวอย่าง AWS, Amazon Lookout for Metrics ที่เก็บ GitHub หลังจากที่ตัวตรวจจับทำงานและมีการสร้างความผิดปกติจากชุดข้อมูล เราจะเชื่อมต่อ Lookout for Metrics กับ อเมซอน QuickSight. เราสร้างชุดข้อมูลสองชุด: ชุดแรกโดยการรวมตารางมิติกับตารางความผิดปกติ และชุดอื่นโดยการรวมตารางความผิดปกติกับข้อมูลสด จากนั้น เราสามารถเพิ่มชุดข้อมูลทั้งสองนี้ลงในการวิเคราะห์ QuickSight ซึ่งเราสามารถเพิ่มแผนภูมิในแดชบอร์ดเดียวได้

เราสามารถให้ข้อมูลสองประเภทแก่ตัวตรวจจับ Lookout for Metrics: แบบต่อเนื่องและแบบย้อนหลัง ดิ ที่เก็บตัวอย่าง GitHub ของ AWS เสนอทั้งสองอย่าง แม้ว่าเราจะเน้นที่ข้อมูลสดอย่างต่อเนื่อง เครื่องตรวจจับตรวจสอบข้อมูลสดนี้เพื่อระบุความผิดปกติและเขียนความผิดปกติไปที่ บริการจัดเก็บข้อมูลอย่างง่ายของ Amazon (Amazon S3) ที่สร้างขึ้น เมื่อสิ้นสุดช่วงเวลาที่กำหนด ตัวตรวจจับจะวิเคราะห์ข้อมูล เมื่อเวลาผ่านไป ตัวตรวจจับจะเรียนรู้ที่จะระบุความผิดปกติได้แม่นยำยิ่งขึ้นตามรูปแบบที่พบ

Lookout for Metrics ใช้แมชชีนเลิร์นนิง (ML) เพื่อตรวจหาและวินิจฉัยความผิดปกติในข้อมูลธุรกิจและการปฏิบัติงานโดยอัตโนมัติ เช่น รายได้จากการขายที่ลดลงอย่างกะทันหันหรืออัตราการได้ลูกค้าใหม่ บริการนี้พร้อมให้บริการโดยทั่วไปในวันที่ 25 มีนาคม พ.ศ. 2021 โดยจะตรวจสอบและเตรียมข้อมูลจากแหล่งที่มาต่างๆ โดยอัตโนมัติเพื่อตรวจจับสิ่งผิดปกติด้วยความเร็วและความแม่นยำที่สูงกว่าวิธีการแบบเดิมที่ใช้สำหรับการตรวจจับสิ่งผิดปกติ คุณยังสามารถให้ข้อเสนอแนะเกี่ยวกับความผิดปกติที่ตรวจพบเพื่อปรับแต่งผลลัพธ์และปรับปรุงความแม่นยำเมื่อเวลาผ่านไป Lookout for Metrics ทำให้ง่ายต่อการวินิจฉัยความผิดปกติที่ตรวจพบโดยการจัดกลุ่มความผิดปกติที่เกี่ยวข้องกับเหตุการณ์เดียวกันและส่งการแจ้งเตือนที่มีข้อมูลสรุปของสาเหตุที่เป็นไปได้ นอกจากนี้ยังจัดลำดับความผิดปกติตามระดับความรุนแรง เพื่อให้คุณสามารถจัดลำดับความสำคัญของความสนใจไปยังสิ่งที่สำคัญที่สุดสำหรับธุรกิจของคุณ

QuickSight คือบริการ Business Intelligence (BI) แบบ Cloud-native ที่มีการจัดการเต็มรูปแบบ ซึ่งทำให้ง่ายต่อการเชื่อมต่อกับข้อมูลของคุณเพื่อสร้างและเผยแพร่แดชบอร์ดแบบโต้ตอบ นอกจากนี้ คุณสามารถใช้ อเมซอน QuickSight เพื่อรับคำตอบทันทีผ่านการสอบถามภาษาธรรมชาติ

คุณสามารถเข้าถึงแดชบอร์ด QuickSight แบบไร้เซิร์ฟเวอร์และปรับขนาดได้สูงจากอุปกรณ์ใดๆ และฝังลงในแอปพลิเคชัน พอร์ทัล และเว็บไซต์ของคุณอย่างราบรื่น ภาพหน้าจอต่อไปนี้เป็นตัวอย่างของสิ่งที่คุณทำได้เมื่อสิ้นสุดโพสต์นี้

ภาพรวมของโซลูชัน

โซลูชันนี้เป็นการผสมผสานระหว่างบริการของ AWS โดยเฉพาะอย่างยิ่ง Lookout for Metrics, QuickSight, AWS แลมบ์ดา, อเมซอน อาเธน่า, AWS กาวและ Amazon S3

ไดอะแกรมต่อไปนี้แสดงสถาปัตยกรรมโซลูชัน Lookout for Metrics จะตรวจจับและส่งความผิดปกติไปยัง Lambda ผ่านการแจ้งเตือน ฟังก์ชัน Lambda สร้างผลลัพธ์ความผิดปกติเป็นไฟล์ CSV และบันทึกไว้ใน Amazon S3 โปรแกรมรวบรวมข้อมูลของ AWS Glue จะวิเคราะห์ข้อมูลเมตาและสร้างตารางใน Athena QuickSight ใช้ Athena เพื่อสืบค้นข้อมูล Amazon S3 ทำให้สามารถสร้างแดชบอร์ดเพื่อแสดงภาพทั้งผลลัพธ์ผิดปกติและข้อมูลสด

โซลูชันนี้จะขยายทรัพยากรที่สร้างขึ้นใน เริ่มต้นใช้งาน ส่วนของ repo GitHub สำหรับแต่ละขั้นตอน เรามีตัวเลือกในการสร้างทรัพยากรโดยใช้ คอนโซลการจัดการ AWS หรือเปิดตัวที่ให้ไว้ การก่อตัวของ AWS Cloud ซ้อนกัน. หากคุณมี Lookout for Metrics detector ที่ปรับแต่งเอง คุณสามารถใช้มันและปรับเปลี่ยนได้ดังต่อไปนี้ สมุดบันทึก เพื่อให้ได้ผลลัพธ์ที่เหมือนกัน

ขั้นตอนการดำเนินการมีดังนี้:

1. สร้าง อเมซอน SageMaker อินสแตนซ์สมุดบันทึก (ALFMTestNotebook) และโน้ตบุ๊กโดยใช้สแต็กที่ให้ไว้ใน ตั้งค่าเริ่มต้น ส่วนจาก repo GitHub.
2. เปิดอินสแตนซ์โน้ตบุ๊กบนคอนโซล SageMaker และไปที่ amazon-lookout-for-metrics-samples/getting_started โฟลเดอร์
3. สร้างบัคเก็ต S3 และเตรียมข้อมูลให้เสร็จสิ้นโดยใช้ครั้งแรก สมุดบันทึก (1.PrereqSetupData.ipynb). เปิดสมุดบันทึกด้วยปุ่ม conda_python3 เคอร์เนลหากได้รับแจ้ง

เราข้ามวินาที สมุดบันทึก เพราะมันเน้นที่ข้อมูลย้อนหลัง

4. หากคุณกำลังเดินผ่านตัวอย่างโดยใช้คอนโซล ให้สร้างตัวตรวจจับสด Lookout for Metrics และการแจ้งเตือนโดยใช้ตัวตรวจจับที่สาม สมุดบันทึก (3.GettingStartedWithLiveData.ipynb).

หากคุณกำลังใช้สแตก CloudFormation ที่ให้มา ไม่จำเป็นต้องใช้โน้ตบุ๊กตัวที่สาม ตัวตรวจจับและการแจ้งเตือนถูกสร้างขึ้นโดยเป็นส่วนหนึ่งของสแต็ก

5. หลังจากที่คุณสร้างตัวตรวจจับการถ่ายทอดสด Lookout for Metrics คุณต้องเปิดใช้งานจากคอนโซล

การดำเนินการนี้อาจใช้เวลาถึง 2 ชั่วโมงในการเริ่มต้นโมเดลและตรวจหาความผิดปกติ

6. ปรับใช้ฟังก์ชัน Lambda โดยใช้ Python กับเลเยอร์ไลบรารี Pandas และสร้างการแจ้งเตือนที่แนบมากับตัวตรวจจับสดเพื่อเปิดใช้งาน
7. ใช้ Athena และ AWS Glue ร่วมกันเพื่อค้นหาและเตรียมข้อมูลสำหรับ QuickSight
8. สร้างแหล่งข้อมูลและชุดข้อมูล QuickSight
9. สุดท้าย สร้างการวิเคราะห์ QuickSight สำหรับการแสดงภาพโดยใช้ชุดข้อมูล

โดยทั่วไปแล้วสคริปต์ CloudFormation จะทำงานเป็นชุดของสแต็กที่ซ้อนกันในสภาพแวดล้อมที่ใช้งานจริง มีการจัดเตรียมไว้เป็นรายบุคคลในโพสต์นี้เพื่ออำนวยความสะดวกในการแนะนำทีละขั้นตอน

เบื้องต้น

ในการดำเนินการตามคำแนะนำนี้ คุณต้องมีบัญชี AWS ที่จะปรับใช้โซลูชัน ตรวจสอบให้แน่ใจว่าทรัพยากรทั้งหมดที่คุณปรับใช้อยู่ในภูมิภาคเดียวกัน คุณต้องใช้ตัวตรวจจับ Lookout for Metrics ที่สร้างจากโน้ตบุ๊ก 1 และ 3 จาก repo GitHub. หากคุณไม่มีตัวตรวจจับ Lookout for Metrics ที่ทำงานอยู่ คุณมีสองตัวเลือก:

• เรียกใช้โน้ตบุ๊ก 1 และ 3 และดำเนินการต่อจากขั้นตอนที่ 1 ของโพสต์นี้ (การสร้างฟังก์ชันแลมบ์ดาและการแจ้งเตือน)
• เรียกใช้โน้ตบุ๊ก 1 จากนั้นใช้เทมเพลต CloudFormation เพื่อสร้างตัวตรวจจับ Lookout for Metrics

สร้างตัวตรวจจับสดโดยใช้ AWS CloudFormation

พื้นที่ L4MLLiveDetector.yaml สคริปต์ CloudFormation สร้างตัวตรวจจับความผิดปกติ Lookout for Metrics โดยมีแหล่งที่มาชี้ไปที่ข้อมูลสดในบัคเก็ต S3 ที่ระบุ ในการสร้างตัวตรวจจับ ให้ทำตามขั้นตอนต่อไปนี้:

1. เปิดสแต็กจากลิงค์ต่อไปนี้:

2. เกี่ยวกับ สร้าง stack หน้าให้เลือก ถัดไป.
3. เกี่ยวกับ ระบุรายละเอียดกอง หน้า ให้ระบุข้อมูลต่อไปนี้:
   1. ชื่อสแต็ก ตัวอย่างเช่น, L4MLiveDetector.
   2. ถัง S3, <Account Number>-lookoutmetrics-lab.
   3. บทบาท ARN, arn:aws:iam::<Account Number>:role/L4MTestRole.
   4. ความถี่ในการตรวจจับความผิดปกติ เลือก PT1H (รายชั่วโมง).
4. Choose ถัดไป.
5. เกี่ยวกับ กำหนดค่าตัวเลือกสแต็ก เพจทิ้งทุกอย่างไว้เหมือนเดิมแล้วเลือก ถัดไป.
6. เกี่ยวกับ รีวิว เพจทิ้งทุกอย่างไว้เหมือนเดิมแล้วเลือก สร้าง stack.

สร้างการแจ้งเตือนทาง SMS ของตัวตรวจจับสดโดยใช้ AWS CloudFormation (ไม่บังคับ)

ขั้นตอนนี้เป็นทางเลือก การแจ้งเตือนจะแสดงเป็นตัวอย่าง โดยไม่มีผลกระทบต่อการสร้างชุดข้อมูล ดิ L4MLLiveDetectorAlert.yaml สคริปต์ CloudFormation สร้างการแจ้งเตือนตัวตรวจจับความผิดปกติ Lookout for Metrics พร้อมเป้าหมาย SMS

1. เปิดสแต็กจากลิงค์ต่อไปนี้:

2. เกี่ยวกับ สร้าง stack หน้าให้เลือก ถัดไป.
3. เกี่ยวกับ ระบุรายละเอียดกอง หน้า อัปเดตหมายเลขโทรศัพท์ SMS และป้อนชื่อสแต็ก (เช่น L4MLiveDetectorAlert).
4. Choose ถัดไป.
5. เกี่ยวกับ กำหนดค่าตัวเลือกสแต็ก เพจทิ้งทุกอย่างไว้เหมือนเดิมแล้วเลือก ถัดไป.
6. เกี่ยวกับ รีวิว หน้า เลือกกล่องกาเครื่องหมายตอบรับ ปล่อยให้ทุกอย่างเป็นอยู่ แล้วเลือก สร้าง stack.

การล้างข้อมูลทรัพยากร

ก่อนดำเนินการในขั้นตอนต่อไป ให้หยุดอินสแตนซ์โน้ตบุ๊ก SageMaker ของคุณเพื่อให้แน่ใจว่าจะไม่มีค่าใช้จ่ายที่ไม่จำเป็นเกิดขึ้น มันไม่จำเป็นอีกต่อไป

สร้างฟังก์ชันแลมบ์ดาและการแจ้งเตือน

ในส่วนนี้ เราให้คำแนะนำเกี่ยวกับการสร้างฟังก์ชัน Lambda และการแจ้งเตือนผ่านคอนโซลหรือ AWS CloudFormation

สร้างฟังก์ชันและแจ้งเตือนด้วยคอนโซล

คุณต้องมีแลมบ์ดา AWS Identity และการจัดการการเข้าถึง (ฉัน) บทบาท following the แนวปฏิบัติที่ดีที่สุดสิทธิพิเศษน้อยที่สุด เพื่อเข้าถึงบัคเก็ตที่คุณต้องการบันทึกผลลัพธ์

1. 1. บนคอนโซล Lambda ให้สร้างฟังก์ชันใหม่
   2. เลือก ผู้เขียนตั้งแต่เริ่มต้น.
   3. สำหรับ ชื่อฟังก์ชัน¸ ใส่ชื่อ.
   4. สำหรับ Runtimeเลือก งูหลาม 3.8.
   5. สำหรับ บทบาทการดำเนินการให้เลือก ใช้บทบาทที่มีอยู่ และระบุบทบาทที่คุณสร้างขึ้น
   6. Choose สร้างฟังก์ชัน.
2. 
   7. ดาวน์โหลด ไฟล์ ZIP ที่มีรหัสที่จำเป็นสำหรับฟังก์ชัน Lambda
   8. บนคอนโซล Lambda ให้เปิดฟังก์ชัน
   9. เกี่ยวกับ รหัส เลือกแท็บ อัพโหลดจากเลือก ไฟล์. zipและอัปโหลดไฟล์ที่คุณดาวน์โหลด
   10. Choose ลด.

โครงสร้างไฟล์ของคุณควรเหมือนเดิมหลังจากอัปโหลดไฟล์ ZIP

11. ตัว Vortex Indicator ได้ถูกนำเสนอลงในนิตยสาร เลเยอร์ ส่วนเลือก เพิ่มเลเยอร์.
12. เลือก ระบุARN.
13. ในเรื่องดังต่อไปนี้ repo GitHubเลือก CSV ที่สอดคล้องกับภูมิภาคที่คุณทำงานและคัดลอก ARN จากเวอร์ชันล่าสุดของ Pandas
14. สำหรับ ระบุARNป้อน ARN ที่คุณคัดลอก
15. Choose เพิ่ม.

16. ในการปรับฟังก์ชันให้เข้ากับสภาพแวดล้อมของคุณ ที่ด้านล่างของโค้ดจากไฟล์ lambda_function.py อย่าลืมอัปเดตชื่อบัคเก็ตด้วยบัคเก็ตของคุณในตำแหน่งที่คุณต้องการบันทึกผลลัพธ์ความผิดปกติ และ DataSet_ARN จากเครื่องตรวจจับความผิดปกติของคุณ
17. Choose ปรับใช้ เพื่อให้การเปลี่ยนแปลงใช้งานได้

ตอนนี้คุณต้องเชื่อมต่อตัวตรวจจับ Lookout for Metrics กับฟังก์ชันของคุณ

18. บนคอนโซล Lookout for Metrics ให้ไปที่ตัวตรวจจับและเลือก เพิ่มการเตือน.
19. ป้อนชื่อการแจ้งเตือนและเกณฑ์ความรุนแรงที่คุณต้องการ
20. จากรายการช่อง เลือก แลมบ์ดา.
21. เลือกฟังก์ชันที่คุณสร้างขึ้นและตรวจสอบให้แน่ใจว่าคุณมีบทบาทที่เหมาะสมในการเรียกใช้งาน
22. Choose เพิ่มการเตือน.

ตอนนี้คุณรอให้การแจ้งเตือนเริ่มทำงาน เวลาจะแตกต่างกันไปขึ้นอยู่กับเวลาที่เครื่องตรวจจับพบความผิดปกติ

เมื่อตรวจพบความผิดปกติ Lookout for Metrics จะทริกเกอร์ฟังก์ชัน Lambda รับข้อมูลที่จำเป็นจาก Lookout for Metrics และตรวจสอบว่ามีไฟล์ CSV ที่บันทึกไว้ใน Amazon S3 ที่ประทับเวลาของความผิดปกติหรือไม่ หากไม่มีไฟล์ Lambda จะสร้างไฟล์และเพิ่มข้อมูลความผิดปกติ หากไฟล์มีอยู่แล้ว Lambda จะอัปเดตไฟล์ด้วยข้อมูลเพิ่มเติมที่ได้รับ ฟังก์ชันนี้จะสร้างไฟล์ CSV ที่แยกจากกันสำหรับการประทับเวลาที่ต่างกัน

สร้างฟังก์ชันและการแจ้งเตือนโดยใช้ AWS CloudFormation

คล้ายกับคำสั่งคอนโซล คุณ ดาวน์โหลดไฟล์ ZIP มีรหัสที่จำเป็นสำหรับฟังก์ชันแลมบ์ดา อย่างไรก็ตาม ในกรณีนี้ จำเป็นต้องอัปโหลดไปยังบัคเก็ต S3 เพื่อให้โค้ด AWS CloudFormation โหลดได้ระหว่างการสร้างฟังก์ชัน

ในบัคเก็ต S3 ที่ระบุในการสร้างตัวตรวจจับ Lookout for Metrics ให้สร้างโฟลเดอร์ชื่อ lambda-code และอัปโหลดไฟล์ ZIP

ฟังก์ชัน Lambda จะโหลดสิ่งนี้เป็นรหัสระหว่างการสร้าง

พื้นที่ L4MLambdaFunction.yaml สคริปต์ CloudFormation สร้างฟังก์ชันแลมบ์ดาและทรัพยากรการแจ้งเตือน และใช้โค้ดฟังก์ชันที่เก็บถาวรในบัคเก็ต S3 เดียวกัน

1. เปิดสแต็กจากลิงค์ต่อไปนี้:

2. เกี่ยวกับ สร้าง stack หน้าให้เลือก ถัดไป.
3. เกี่ยวกับ ระบุรายละเอียดกอง หน้า ระบุชื่อกอง (เช่น L4MLambdaFunction).
4. ในเรื่องดังต่อไปนี้ repo GitHubให้เปิด CSV ที่สอดคล้องกับภูมิภาคที่คุณทำงานอยู่ และคัดลอก ARN จากเวอร์ชันล่าสุดของ Pandas
5. ป้อน ARN เป็นพารามิเตอร์ ARN ของเลเยอร์ Pandas Lambda
6. Choose ถัดไป.
7. เกี่ยวกับ กำหนดค่าตัวเลือกสแต็ก เพจทิ้งทุกอย่างไว้เหมือนเดิมแล้วเลือก ถัดไป.
8. เกี่ยวกับ รีวิว หน้า เลือกกล่องกาเครื่องหมายตอบรับ ปล่อยให้ทุกอย่างเป็นอยู่ แล้วเลือก สร้าง stack.

เปิดใช้งานเครื่องตรวจจับ

ก่อนดำเนินการในขั้นตอนต่อไป คุณต้องเปิดใช้งานตัวตรวจจับจากคอนโซล

1. บนคอนโซล Lookout for Metrics ให้เลือก เครื่องตรวจจับ ในบานหน้าต่างนำทาง
2. เลือกเครื่องตรวจจับที่สร้างขึ้นใหม่
3. Choose กระตุ้นแล้วเลือก กระตุ้น อีกครั้งเพื่อยืนยัน

การเปิดใช้งานเริ่มต้นเครื่องตรวจจับ จะเสร็จสิ้นเมื่อตัวแบบเสร็จสิ้นวงจรการเรียนรู้ อาจใช้เวลาถึง 2 ชั่วโมง

เตรียมข้อมูลสำหรับ QuickSight

ก่อนที่คุณจะทำตามขั้นตอนนี้ ให้เวลาเครื่องตรวจจับเพื่อค้นหาความผิดปกติ ฟังก์ชัน Lambda ที่คุณสร้างขึ้นจะบันทึกผลลัพธ์ความผิดปกติในบัคเก็ต Lookout for Metrics ใน anomalyResults ไดเรกทอรี ขณะนี้ เราสามารถประมวลผลข้อมูลนี้เพื่อเตรียมพร้อมสำหรับ QuickSight

สร้างโปรแกรมรวบรวมข้อมูล AWS Glue บนคอนโซล

หลังจากสร้างไฟล์ CSV ผิดปกติแล้ว เราจะใช้โปรแกรมรวบรวมข้อมูล AWS Glue เพื่อสร้างตารางข้อมูลเมตา

1. บนคอนโซล AWS Glue ให้เลือก โปรแกรมรวบรวมข้อมูล ในบานหน้าต่างนำทาง
2. Choose เพิ่มโปรแกรมรวบรวมข้อมูล.

3. ป้อนชื่อสำหรับโปรแกรมรวบรวมข้อมูล (เช่น L4MCrawler).
4. Choose ถัดไป.
5. สำหรับ ประเภทแหล่งที่มาของโปรแกรมรวบรวมข้อมูลให้เลือก ที่เก็บข้อมูล.
6. สำหรับ การรวบรวมข้อมูลซ้ำของที่เก็บข้อมูล S3ให้เลือก รวบรวมข้อมูลโฟลเดอร์ทั้งหมด.
7. Choose ถัดไป.

8. ในหน้าการกำหนดค่าที่เก็บข้อมูล สำหรับ รวบรวมข้อมูลในให้เลือก เส้นทางที่ระบุในบัญชีของฉัน.
9. สำหรับ รวมเส้นทาง, เข้าสู่เส้นทางของคุณ dimensionContributions ไฟล์ (s3://YourBucketName/anomalyResults/dimensionContributions).
10. Choose ถัดไป.
11. Choose ใช่ เพื่อเพิ่มที่เก็บข้อมูลอื่นและทำซ้ำคำแนะนำสำหรับ metricValue_AnomalyScore(s3://YourBucketName/anomalyResults/metricValue_AnomalyScore).
12. ทำซ้ำคำแนะนำอีกครั้งสำหรับข้อมูลสดที่จะวิเคราะห์โดยตัวตรวจจับความผิดปกติ Lookout for Metrics (นี่คือตำแหน่งชุดข้อมูล S3 จากตัวตรวจจับ Lookout for Metrics ของคุณ)

ตอนนี้คุณควรมีที่เก็บข้อมูลสามแห่งเพื่อให้โปรแกรมรวบรวมข้อมูลดำเนินการ

ตอนนี้ คุณต้องเลือกบทบาทเพื่อให้โปรแกรมรวบรวมข้อมูลผ่านตำแหน่ง S3 ของข้อมูลของคุณ

13. สำหรับโพสต์นี้ เลือก สร้างบทบาท IAM และป้อนชื่อสำหรับบทบาท
14. Choose ถัดไป.

15. สำหรับ เวลา, ปล่อยให้เป็น วิ่งตามคำเรียกร้อง และเลือก ถัดไป.
16. ตัว Vortex Indicator ได้ถูกนำเสนอลงในนิตยสาร กำหนดค่าเอาต์พุตของโปรแกรมรวบรวมข้อมูล ส่วนเลือก เพิ่มฐานข้อมูล.

ซึ่งจะสร้างฐานข้อมูล Athena ที่มีตารางข้อมูลเมตาของคุณอยู่หลังจากโปรแกรมรวบรวมข้อมูลเสร็จสิ้น

17. ป้อนชื่อฐานข้อมูลของคุณแล้วเลือก สร้างบัญชีตัวแทน.
18. Choose ถัดไปแล้วเลือก เสร็จสิ้น.

19. เกี่ยวกับ โปรแกรมรวบรวมข้อมูล หน้าคอนโซล AWS Glue เลือกโปรแกรมรวบรวมข้อมูลที่คุณสร้างแล้วเลือก เรียกใช้โปรแกรมรวบรวมข้อมูล.

คุณอาจต้องรอสักครู่ ขึ้นอยู่กับขนาดของข้อมูล เมื่อเสร็จแล้ว สถานะของโปรแกรมรวบรวมข้อมูลจะแสดงเป็น พร้อม. หากต้องการดูตารางข้อมูลเมตา ให้ไปที่ฐานข้อมูลของคุณบน ฐานข้อมูล หน้าและเลือก ตาราง ในบานหน้าต่างนำทาง

ในตัวอย่างนี้ ตารางข้อมูลเมตาที่เรียกว่า live แสดงถึงชุดข้อมูล S3 จากตัวตรวจจับ Live Lookout for Metrics เพื่อเป็นแนวทางปฏิบัติที่ดีที่สุด ขอแนะนำให้ เข้ารหัสข้อมูลเมตาของแคตตาล็อกข้อมูล AWS Glue.

Athena จะจดจำตารางข้อมูลเมตาโดยอัตโนมัติ และ QuickSight ใช้ Athena เพื่อสืบค้นข้อมูลและแสดงผลลัพธ์เป็นภาพ

สร้างโปรแกรมรวบรวมข้อมูล AWS Glue โดยใช้ AWS CloudFormation

พื้นที่ L4MGlueCrawler.yaml สคริปต์ CloudFormation สร้างโปรแกรมรวบรวมข้อมูล AWS Glue บทบาท IAM ที่เกี่ยวข้อง และฐานข้อมูล Athena เอาต์พุต

1. เปิดสแต็กจากลิงค์ต่อไปนี้:

2. เกี่ยวกับ สร้าง stack หน้าให้เลือก ถัดไป.
3. เกี่ยวกับ ระบุรายละเอียดกอง ให้ป้อนชื่อสแตกของคุณ (เช่น L4MGlueCrawler) และเลือก ถัดไป.
4. เกี่ยวกับ กำหนดค่าตัวเลือกสแต็ก เพจทิ้งทุกอย่างไว้เหมือนเดิมแล้วเลือก ถัดไป.
5. เกี่ยวกับ รีวิว หน้า เลือกกล่องกาเครื่องหมายตอบรับ ปล่อยให้ทุกอย่างเป็นอยู่ แล้วเลือก สร้าง stack.

เรียกใช้โปรแกรมรวบรวมข้อมูล AWS Glue

หลังจากที่คุณสร้างโปรแกรมรวบรวมข้อมูลแล้ว คุณต้องเรียกใช้ก่อนที่จะไปยังขั้นตอนถัดไป คุณสามารถเรียกใช้จากคอนโซลหรือ อินเทอร์เฟซบรรทัดคำสั่ง AWS AWS (AWS CLI). ในการใช้คอนโซล ให้ทำตามขั้นตอนต่อไปนี้:

1. บนคอนโซล AWS Glue ให้เลือก โปรแกรมรวบรวมข้อมูล ในบานหน้าต่างนำทาง
2. เลือกโปรแกรมรวบรวมข้อมูลของคุณ (L4MCrawler).
3. Choose เรียกใช้โปรแกรมรวบรวมข้อมูล.

เมื่อโปรแกรมรวบรวมข้อมูลเสร็จสิ้น จะแสดงสถานะ พร้อม.

สร้างบัญชี QuickSight

ก่อนเริ่มขั้นตอนถัดไป ให้ไปที่คอนโซล QuickSight และสร้างบัญชีหากคุณยังไม่มี เพื่อให้แน่ใจว่าคุณสามารถเข้าถึงบริการที่เกี่ยวข้องได้ (บัคเก็ต Athena และ S3) ให้เลือกชื่อบัญชีของคุณที่ด้านบนขวา เลือก จัดการ QuickSightและเลือก ความปลอดภัยและการอนุญาตซึ่งคุณสามารถเพิ่มบริการที่จำเป็นได้ เมื่อตั้งค่าการเข้าถึง Amazon S3 ตรวจสอบให้แน่ใจว่าได้เลือก สิทธิ์ในการเขียนสำหรับ Athena Workgroup.

ตอนนี้คุณพร้อมที่จะแสดงภาพข้อมูลของคุณใน QuickSight แล้ว

สร้างชุดข้อมูล QuickSight บนคอนโซล

หากนี่เป็นครั้งแรกที่คุณใช้ Athena คุณต้องกำหนดค่าตำแหน่งเอาต์พุตของข้อความค้นหา สำหรับคำแนะนำ โปรดดูขั้นตอนที่ 1–6 ใน สร้างฐานข้อมูล. จากนั้นทำตามขั้นตอนต่อไปนี้:

1. บนคอนโซล QuickSight ให้เลือก ชุดข้อมูล.
2. Choose ชุดข้อมูลใหม่.
3. เลือก Athena เป็นแหล่งของคุณ
4. ป้อนชื่อแหล่งข้อมูลของคุณ
5. Choose สร้างแหล่งข้อมูล.

6. สำหรับฐานข้อมูลของคุณ ให้ระบุฐานข้อมูลที่คุณสร้างไว้ก่อนหน้านี้ด้วยโปรแกรมรวบรวมข้อมูล AWS Glue
7. ระบุตารางที่มีข้อมูลสดของคุณ (ไม่ใช่ความผิดปกติ)
8. Choose แก้ไข/แสดงตัวอย่างข้อมูล.

คุณถูกเปลี่ยนเส้นทางไปยังอินเทอร์เฟซที่คล้ายกับภาพหน้าจอต่อไปนี้

ขั้นตอนต่อไปคือการเพิ่มและรวม metricValue_AnomalyScore ข้อมูลกับข้อมูลสด

9. Choose เพิ่มข้อมูล.
10. Choose เพิ่มแหล่งข้อมูล.
11. ระบุฐานข้อมูลที่คุณสร้างและ metricValue_AnomalyScore ตาราง
12. Choose เลือก.

ตอนนี้คุณต้องกำหนดค่าการรวมของทั้งสองตาราง

13. เลือกลิงค์ระหว่างสองตาราง
14. ปล่อยให้ประเภทการรวมเป็น ซ้ายเพิ่มการประทับเวลาและแต่ละมิติที่คุณมีเป็นส่วนคำสั่งเข้าร่วม แล้วเลือก ใช้.

ในตัวอย่างต่อไปนี้ เราใช้การประทับเวลา แพลตฟอร์ม และตลาดกลางเป็นส่วนคำสั่งเข้าร่วม

ในบานหน้าต่างด้านขวา คุณสามารถลบฟิลด์ที่คุณไม่สนใจเก็บไว้ได้

15. ลบการประทับเวลาออกจาก metricValue_AnomalyScore ตารางเพื่อไม่ให้มีคอลัมน์ที่ซ้ำกัน
16. เปลี่ยนประเภทข้อมูลการประทับเวลา (ของตารางข้อมูลสด) จากสตริงเป็นวันที่ และระบุที่ถูกต้อง รูป. ในกรณีของเราควรจะเป็น yyyy-MM-dd HH:mm:ss.

ภาพหน้าจอต่อไปนี้แสดงมุมมองของคุณหลังจากที่คุณลบบางฟิลด์และปรับประเภทข้อมูล

17. Choose บันทึกและเห็นภาพ.
18. เลือกไอคอนดินสอถัดจากชุดข้อมูล
19. Choose เพิ่มชุดข้อมูล และเลือก dimensioncontributions.

สร้างชุดข้อมูล QuickSight โดยใช้ AWS CloudFormation

ขั้นตอนนี้ประกอบด้วย CloudFormation สามชุด

สคริปต์ CloudFormation ตัวแรก L4MQuickSightDataSource.yamlสร้างแหล่งข้อมูล QuickSight Athena

1. เปิดสแต็กจากลิงค์ต่อไปนี้:

2. เกี่ยวกับ สร้าง stack หน้าให้เลือก ถัดไป.
3. เกี่ยวกับ ระบุรายละเอียดกอง ป้อนชื่อผู้ใช้ QuickSight ของคุณ ภูมิภาคบัญชี QuickSight (ที่ระบุเมื่อสร้างบัญชี QuickSight) และชื่อสแต็ก (เช่น L4MQuickSightDataSource).
4. Choose ถัดไป.
5. เกี่ยวกับ กำหนดค่าตัวเลือกสแต็ก เพจทิ้งทุกอย่างไว้เหมือนเดิมแล้วเลือก ถัดไป.
6. เกี่ยวกับ รีวิว เพจทิ้งทุกอย่างไว้เหมือนเดิมแล้วเลือก สร้าง stack.

สคริปต์ CloudFormation ตัวที่สอง L4MQuickSightDataSet1.yamlให้สร้างชุดข้อมูล QuickSight ที่รวมตารางมิติเข้ากับตารางความผิดปกติ

1. เปิดสแต็กจากลิงค์ต่อไปนี้:

2. เกี่ยวกับ สร้าง stack หน้าให้เลือก ถัดไป.
3. เกี่ยวกับ ระบุรายละเอียดกองป้อนชื่อสแต็ก (เช่น L4MQuickSightDataSet1).
4. Choose ถัดไป.
5. เกี่ยวกับ กำหนดค่าตัวเลือกสแต็ก เพจทิ้งทุกอย่างไว้เหมือนเดิมแล้วเลือก ถัดไป.
6. เกี่ยวกับ รีวิว เพจทิ้งทุกอย่างไว้เหมือนเดิมแล้วเลือก สร้าง stack.

สคริปต์ CloudFormation ตัวที่สาม L4MQuickSightDataSet2.yamlให้สร้างชุดข้อมูล QuickSight ที่รวมตารางความผิดปกติกับตารางข้อมูลสด

1. เปิดสแต็กจากลิงค์ต่อไปนี้:

2. เกี่ยวกับ สร้างหน้าสแต็ก¸ เลือก ถัดไป.
3. เกี่ยวกับ ระบุรายละเอียดกอง หน้า ป้อนชื่อสแต็ก (เช่น L4MQuickSightDataSet2).
4. Choose ถัดไป.
5. เกี่ยวกับ กำหนดค่าตัวเลือกสแต็ก เพจทิ้งทุกอย่างไว้เหมือนเดิมแล้วเลือก ถัดไป.
6. เกี่ยวกับ รีวิว เพจทิ้งทุกอย่างไว้เหมือนเดิมแล้วเลือก สร้าง stack.

สร้างการวิเคราะห์ QuickSight สำหรับการสร้างแดชบอร์ด

ขั้นตอนนี้สามารถทำได้บนคอนโซลเท่านั้น หลังจากที่คุณสร้างชุดข้อมูล QuickSight แล้ว ให้ทำตามขั้นตอนต่อไปนี้:

1. บนคอนโซล QuickSight ให้เลือก การวิเคราะห์ ในบานหน้าต่างนำทาง
2. Choose การวิเคราะห์ใหม่.
3. เลือกชุดข้อมูลแรก L4MQuickSightDataSetWithLiveData.

4. Choose สร้างการวิเคราะห์.

เริ่มแรกการวิเคราะห์ QuickSight ถูกสร้างขึ้นด้วยชุดข้อมูลแรกเท่านั้น

5. หากต้องการเพิ่มชุดข้อมูลที่สอง ให้เลือกไอคอนดินสอถัดจาก ชุด และเลือก เพิ่มชุดข้อมูล.
6. เลือกชุดข้อมูลที่สองและเลือก เลือก.

จากนั้น คุณสามารถใช้ชุดข้อมูลใดก็ได้เพื่อสร้างแผนภูมิโดยเลือกบน ชุด เมนูแบบเลื่อนลง

เมตริกชุดข้อมูล

คุณได้สร้างการวิเคราะห์ QuickSight จากผลการอนุมาน Lookout for Metrics และข้อมูลสดเรียบร้อยแล้ว ชุดข้อมูลสองชุดอยู่ใน QuickSight เพื่อให้คุณใช้: L4M_Visualization_dataset_with_liveData และ L4M_Visualization_dataset_with_dimensionContribution.

พื้นที่ L4M_Visualization_dataset_with_liveData ชุดข้อมูลประกอบด้วยเมตริกต่อไปนี้:

• การประทับเวลา – วันที่และเวลาของข้อมูลสดที่ส่งไปยัง Lookout for Metrics
• ยอดวิว – ค่าของตัวชี้วัดการดู
• รายได้ – มูลค่าของตัวชี้วัดรายได้
• แพลตฟอร์ม ตลาดกลาง รายได้AnomalyMetricValue การดูAnomalyMetricValue รายรับGroupScore and viewsGroupScore – ตัวชี้วัดเหล่านี้เป็นส่วนหนึ่งของชุดข้อมูลทั้งสอง

พื้นที่ L4M_Visualization_dataset_with_dimensionContribution ชุดข้อมูลประกอบด้วยเมตริกต่อไปนี้:

• การประทับเวลา – วันที่และเวลาที่ตรวจพบความผิดปกติ
• ตัวชี้วัด – ตัวชี้วัดที่คุณกำลังติดตาม
• มิติชื่อ – มิติข้อมูลภายในเมตริก
• มิติค่า – ค่าของมิติ
• ความคุ้มค่า – เปอร์เซ็นต์ของค่า dimensionValue ที่มีผลกระทบต่อความผิดปกติเมื่อตรวจพบ

ภาพหน้าจอต่อไปนี้แสดงตัวชี้วัดทั้งห้านี้บนแดชบอร์ดความผิดปกติของตัวตรวจจับ Lookout for Metrics

เมตริกต่อไปนี้เป็นส่วนหนึ่งของชุดข้อมูลทั้งสองชุด:

• เวที – เวทีที่เกิดความผิดปกติขึ้น
• ตลาด – ตลาดที่มีความผิดปกติเกิดขึ้น
• รายได้AnomalyMetricValue and viewsAnomalyMetricValue – ค่าที่สอดคล้องกันของตัวชี้วัดเมื่อตรวจพบความผิดปกติ (ในสถานการณ์นี้ ตัวชี้วัดคือรายได้หรือจำนวนการดู)
• รายได้GroupScore และมุมมองGroupScore – คะแนนความรุนแรงสำหรับแต่ละตัวชี้วัดสำหรับความผิดปกติที่ตรวจพบ

เพื่อให้เข้าใจเมตริกล่าสุดเหล่านี้ได้ดีขึ้น คุณสามารถตรวจสอบไฟล์ CSV ที่สร้างโดยฟังก์ชัน Lambda ในบัคเก็ต S3 ที่คุณบันทึกไว้ anomalyResults/metricValue_AnomalyScore.

ขั้นตอนถัดไป

ขั้นตอนต่อไปคือการสร้างแดชบอร์ดสำหรับข้อมูลที่คุณต้องการดู โพสต์นี้ไม่มีคำอธิบายเกี่ยวกับการสร้างแผนภูมิ QuickSight หากคุณเพิ่งเริ่มใช้ QuickSight โปรดดูที่ เริ่มต้นใช้งานการวิเคราะห์ข้อมูลใน Amazon QuickSight เพื่อเป็นการแนะนำ ภาพหน้าจอต่อไปนี้แสดงตัวอย่างแดชบอร์ดพื้นฐาน สำหรับข้อมูลเพิ่มเติม โปรดดูที่ เวิร์คช็อป QuickSight.

สรุป

ความผิดปกติจะแสดงเป็นรายบุคคลบนคอนโซล Lookout for Metrics โดยแต่ละอันมีกราฟของตัวเอง ทำให้ยากต่อการดูชุดโดยรวม จำเป็นต้องใช้โซลูชันแบบบูรณาการแบบอัตโนมัติสำหรับการวิเคราะห์เชิงลึก ในโพสต์นี้ เราใช้ตัวตรวจจับ Lookout for Metrics เพื่อสร้างความผิดปกติ และเชื่อมต่อข้อมูลกับ QuickSight เพื่อสร้างการแสดงภาพ โซลูชันนี้ช่วยให้เราวิเคราะห์สิ่งผิดปกติได้ลึกซึ้งยิ่งขึ้น และรวมทั้งหมดไว้ในที่เดียว/แดชบอร์ด

ในขั้นตอนต่อไป โซลูชันนี้สามารถขยายได้ด้วยการเพิ่มชุดข้อมูลพิเศษและรวมความผิดปกติจากตัวตรวจจับหลายตัว คุณยังสามารถปรับฟังก์ชันแลมบ์ดาได้อีกด้วย ฟังก์ชัน Lambda ประกอบด้วยโค้ดที่สร้างชุดข้อมูลและชื่อตัวแปรที่เราใช้สำหรับแดชบอร์ด QuickSight คุณสามารถปรับโค้ดนี้ให้เข้ากับกรณีการใช้งานเฉพาะของคุณโดยการเปลี่ยนชุดข้อมูลเองหรือชื่อตัวแปรที่เหมาะสมกับคุณมากขึ้น

หากคุณมีข้อเสนอแนะหรือคำถามใด ๆ โปรดแสดงความคิดเห็น

---

เกี่ยวกับผู้เขียน

เบอนัวต์ เดอ ปาตู เป็นสถาปนิก AI/ML Specialist Solutions Architect ที่ AWS เขาช่วยลูกค้าด้วยการให้คำแนะนำและความช่วยเหลือด้านเทคนิคเพื่อสร้างโซลูชันที่เกี่ยวข้องกับ AI/ML เมื่อใช้ AWS

พอล ทรอยอาโน่ เป็นสถาปนิกโซลูชันอาวุโสที่ AWS ซึ่งตั้งอยู่ในเมืองแอตแลนตา รัฐจอร์เจีย เขาช่วยลูกค้าด้วยการให้คำแนะนำเกี่ยวกับกลยุทธ์ด้านเทคโนโลยีและโซลูชันบน AWS เขาหลงใหลในทุกสิ่งที่ AI/ML และระบบอัตโนมัติของโซลูชัน