สร้างเครื่องตรวจจับความผิดปกติของคุณภาพอากาศโดยใช้ Amazon Lookout for Metrics

ทุกวันนี้ มลพิษทางอากาศเป็นปัญหาสิ่งแวดล้อมที่คุ้นเคย ซึ่งสร้างสภาวะระบบทางเดินหายใจและหัวใจที่รุนแรง ซึ่งก่อให้เกิดภัยคุกคามต่อสุขภาพอย่างร้ายแรง ฝนกรด การพร่องของชั้นโอโซน และภาวะโลกร้อน ก็เป็นผลเสียของมลพิษทางอากาศเช่นกัน จำเป็นต้องมีการตรวจสอบอัจฉริยะและระบบอัตโนมัติ เพื่อป้องกันปัญหาสุขภาพที่รุนแรงและในกรณีที่ร้ายแรงถึงสถานการณ์ที่คุกคามชีวิต วัดคุณภาพอากาศโดยใช้ความเข้มข้นของสารมลพิษในอากาศ การระบุอาการตั้งแต่เนิ่นๆ และการควบคุมระดับมลพิษก่อนเกิดอันตรายเป็นสิ่งสำคัญ กระบวนการระบุคุณภาพอากาศและความผิดปกติในน้ำหนักของสารมลพิษ และการวินิจฉัยสาเหตุอย่างรวดเร็ว เป็นเรื่องยาก มีค่าใช้จ่ายสูง และเกิดข้อผิดพลาดได้ง่าย

กระบวนการของการใช้โซลูชันที่ใช้ AI และการเรียนรู้ของเครื่อง (ML) เพื่อค้นหาความผิดปกติของข้อมูลนั้นมีความซับซ้อนมากมายในการนำเข้า การดูแลจัดการ และการเตรียมข้อมูลในรูปแบบที่ถูกต้อง จากนั้นจึงเพิ่มประสิทธิภาพและรักษาประสิทธิภาพของแบบจำลอง ML เหล่านี้เป็นระยะเวลานาน เวลา. นี่เป็นหนึ่งในอุปสรรคในการปรับใช้และปรับขนาดการนำความสามารถของ ML ไปใช้อย่างรวดเร็ว

โพสต์นี้แสดงวิธีใช้โซลูชันแบบบูรณาการกับ Amazon Lookout สำหรับเมตริก และ สายไฟ Amazon Kinesis Data เพื่อทำลายอุปสรรคเหล่านี้โดยการนำเข้าข้อมูลสตรีมมิ่งอย่างรวดเร็วและง่ายดาย จากนั้นจึงตรวจหาความผิดปกติในตัวบ่งชี้ประสิทธิภาพหลักที่คุณสนใจ

Lookout for Metrics จะตรวจจับและวินิจฉัยความผิดปกติโดยอัตโนมัติ (ค่าผิดปกติจากบรรทัดฐาน) ในข้อมูลธุรกิจและการปฏิบัติงาน เป็นบริการ ML ที่มีการจัดการเต็มรูปแบบซึ่งใช้แบบจำลอง ML เฉพาะทางเพื่อตรวจหาความผิดปกติตามลักษณะของข้อมูลของคุณ ตัวอย่างเช่น แนวโน้มและฤดูกาลเป็นคุณลักษณะสองประการของเมตริกอนุกรมเวลาที่การตรวจจับความผิดปกติตามเกณฑ์ไม่ทำงาน เทรนด์คือการเปลี่ยนแปลงอย่างต่อเนื่อง (เพิ่มขึ้นหรือลดลง) ในมูลค่าของเมตริก ในทางกลับกัน ฤดูกาลคือรูปแบบเป็นระยะๆ ที่เกิดขึ้นในระบบ ซึ่งมักจะเพิ่มขึ้นเหนือเส้นพื้นฐานแล้วลดลงอีกครั้ง คุณไม่จำเป็นต้องมีประสบการณ์ ML เพื่อใช้ Lookout for Metrics

เราสาธิตสถานการณ์การตรวจสอบคุณภาพอากาศทั่วไป ซึ่งเราตรวจพบความผิดปกติในความเข้มข้นของสารก่อมลพิษในอากาศ ในตอนท้ายของโพสต์นี้ คุณจะได้เรียนรู้วิธีใช้บริการที่มีการจัดการเหล่านี้จาก AWS เพื่อช่วยป้องกันปัญหาด้านสุขภาพและภาวะโลกร้อน คุณสามารถใช้โซลูชันนี้กับกรณีการใช้งานอื่นๆ เพื่อการจัดการสิ่งแวดล้อมที่ดีขึ้น เช่น การตรวจจับความผิดปกติในคุณภาพน้ำ คุณภาพดิน และรูปแบบการใช้พลังงาน เป็นต้น

ภาพรวมโซลูชัน

สถาปัตยกรรมประกอบด้วยสามช่วงการทำงาน:

• เซ็นเซอร์ไร้สายถูกวางไว้ที่ตำแหน่งทางยุทธศาสตร์เพื่อตรวจจับระดับความเข้มข้นของคาร์บอนมอนอกไซด์ (CO) ซัลเฟอร์ไดออกไซด์ (SO2) และไนโตรเจนไดออกไซด์ (NO2) ในอากาศ
• การรับส่งข้อมูลและการจัดเก็บข้อมูล
• การตรวจจับและแจ้งเตือนความผิดปกติ

โซลูชันนี้ให้เส้นทางข้อมูลอัตโนมัติเต็มรูปแบบจากเซ็นเซอร์ไปจนถึงการแจ้งเตือนที่ส่งถึงผู้ใช้ คุณยังสามารถโต้ตอบกับโซลูชันโดยใช้ Lookout for Metrics UI เพื่อวิเคราะห์ความผิดปกติที่ระบุ

ไดอะแกรมต่อไปนี้แสดงสถาปัตยกรรมโซลูชันของเรา

เบื้องต้น

คุณต้องมีข้อกำหนดเบื้องต้นต่อไปนี้ก่อนจึงจะสามารถดำเนินการแก้ไขได้ สำหรับโพสต์นี้ เราใช้ภูมิภาค us-east-1

1. ดาวน์โหลดสคริปต์ Python (เผยแพร่.py) และไฟล์ข้อมูลจาก the repo GitHub.
2. เปิด live_data.csv ในโปรแกรมแก้ไขที่คุณต้องการและแทนที่วันที่เป็นวันที่ของวันนี้และวันพรุ่งนี้ ตัวอย่างเช่น หากวันนี้เป็นวันที่ 8 กรกฎาคม 2022 ให้แทนที่ 2022-03-25 กับ 2022-07-08. ให้รูปแบบเหมือนเดิม สิ่งนี้จำเป็นสำหรับการจำลองข้อมูลเซ็นเซอร์สำหรับวันที่ปัจจุบันโดยใช้สคริปต์ตัวจำลอง IoT
3. สร้าง บริการจัดเก็บข้อมูลอย่างง่ายของ Amazon (Amazon S3) ที่ฝากข้อมูลและโฟลเดอร์ชื่อ air-quality. สร้างโฟลเดอร์ย่อยภายใน air-quality ชื่อ historical. ดูคำแนะนำได้ที่ การสร้างโฟลเดอร์.
4. อัปโหลดไฟล์ live_data.csv ไฟล์ในที่ฝากข้อมูลรูท S3 และ historical_data.json ในแฟ้มประวัติ
5. สร้าง AWS Cloud9 สภาพแวดล้อมการพัฒนา ซึ่งเราใช้รันโปรแกรมจำลอง Python เพื่อสร้างข้อมูลเซ็นเซอร์สำหรับโซลูชันนี้

นำเข้าและแปลงข้อมูลโดยใช้ AWS IoT Core และ Kinesis Data Firehose

เราใช้สตรีมการส่ง Kinesis Data Firehose เพื่อนำเข้าข้อมูลการสตรีมจาก AWS IoT คอร์ และส่งไปที่ Amazon S3 ทำตามขั้นตอนต่อไปนี้:

1. บนคอนโซล Kinesis Data Firehose ให้เลือก สร้างกระแสการจัดส่ง.
2. สำหรับ แหล่งเลือก วางโดยตรง.
3. สำหรับ ปลายทางเลือก Amazon S3.
4. สำหรับ ชื่อสตรีมการจัดส่งป้อนชื่อสำหรับสตรีมการจัดส่งของคุณ
   
5. สำหรับ ถัง S3ให้ป้อนที่เก็บข้อมูลที่คุณสร้างเป็นข้อกำหนดเบื้องต้น
6. ป้อนค่าสำหรับ คำนำหน้าถัง S3 และ คำนำหน้าเอาต์พุตข้อผิดพลาดที่ฝากข้อมูล S3. ประเด็นสำคัญประการหนึ่งที่ควรทราบคือการกำหนดค่าส่วนนำหน้าแบบกำหนดเองที่กำหนดค่าไว้สำหรับปลายทาง Amazon S3 รูปแบบคำนำหน้านี้ทำให้แน่ใจว่าข้อมูลถูกสร้างขึ้นในบัคเก็ต S3 ตามลำดับชั้นคำนำหน้าที่คาดไว้โดย Lookout for Metrics (เพิ่มเติมเกี่ยวกับเรื่องนี้ในโพสต์นี้) สำหรับข้อมูลเพิ่มเติมเกี่ยวกับคำนำหน้าแบบกำหนดเอง โปรดดูที่ คำนำหน้าแบบกำหนดเองสำหรับอ็อบเจ็กต์ Amazon S3.
   
7. สำหรับ ช่วงเวลาบัฟเฟอร์ป้อน 60.
   
8. Choose สร้างหรืออัปเดตบทบาท IAM.
9. Choose สร้างกระแสการจัดส่ง.
   
   ตอนนี้เรากำหนดค่า AWS IoT Core และเรียกใช้โปรแกรมจำลองคุณภาพอากาศ
10. บนคอนโซล AWS IoT Core สร้างนโยบาย AWS IoT เรียกว่าผู้ดูแลระบบ
11. ในบานหน้าต่างนำทางภายใต้ การกำหนดเส้นทางข้อความเลือก กฎระเบียบ.
12. Choose สร้างกฎ.
13. สร้างกฎด้วย Kinesis Data Firehose (ท่อดับเพลิง) การดำเนินการ.
    ซึ่งจะส่งข้อมูลจากข้อความ MQTT ไปยังสตรีมการนำส่ง Kinesis Data Firehose
14. Choose สร้างบัญชีตัวแทน.
    
15. สร้างสิ่ง AWS IoT ด้วยชื่อ Test-Thing และแนบนโยบายที่คุณสร้างขึ้น
16. ดาวน์โหลดใบรับรอง คีย์สาธารณะ คีย์ส่วนตัว ใบรับรองอุปกรณ์ และ root CA สำหรับ AWS IoT Core
17. บันทึกแต่ละไฟล์ที่ดาวน์โหลดไปที่ certificates ไดเรกทอรีย่อยที่คุณสร้างไว้ก่อนหน้านี้
    
18. อัปโหลด publish.py ไปที่ iot-test-publish โฟลเดอร์
19. บนคอนโซล AWS IoT Core ในบานหน้าต่างนำทาง ให้เลือก การตั้งค่า.
20. ภายใต้ ปลายทางที่กำหนดเองคัดลอกปลายทาง
    URL ปลายทางแบบกำหนดเองของ AWS IoT Core นี้เป็นส่วนบุคคลสำหรับบัญชี AWS และภูมิภาคของคุณ
21. แทนที่ customEndpointUrl ด้วย URL ปลายทางแบบกำหนดเองของ AWS IoT Core ใบรับรองที่มีชื่อใบรับรอง และ Your_S3_Bucket_Name ด้วยชื่อถัง S3 ของคุณ
    ถัดไป คุณติดตั้ง pip และ AWS IoT SDK สำหรับ Python
22. เข้าสู่ระบบ AWS Cloud9 และสร้างไดเร็กทอรีการทำงานในสภาพแวดล้อมการพัฒนาของคุณ ตัวอย่างเช่น: aq-iot-publish.
23. สร้างไดเรกทอรีย่อยสำหรับใบรับรองในไดเรกทอรีการทำงานใหม่ของคุณ ตัวอย่างเช่น: certificates.
24. ติดตั้ง AWS IoT SDK สำหรับ Python v2 โดยเรียกใช้สิ่งต่อไปนี้จากบรรทัดคำสั่ง

    pip install awsiotsdk

25. ในการทดสอบไปป์ไลน์ข้อมูล ให้รันคำสั่งต่อไปนี้:

    python3 publish.py

คุณสามารถดูเพย์โหลดได้ในภาพหน้าจอต่อไปนี้

สุดท้าย ข้อมูลจะถูกส่งไปยังบัคเก็ต S3 ที่ระบุในโครงสร้างคำนำหน้า

ข้อมูลของไฟล์มีดังนี้:

• {"TIMESTAMP":"2022-03-20 00:00","LOCATION_ID":"B-101","CO":2.6,"SO2":62,"NO2":57}
• {"TIMESTAMP":"2022-03-20 00:05","LOCATION_ID":"B-101","CO":3.9,"SO2":60,"NO2":73}

การประทับเวลาแสดงว่าแต่ละไฟล์มีข้อมูลเป็นระยะเวลา 5 นาที

ด้วยโค้ดที่น้อยที่สุด ตอนนี้เราได้นำเข้าข้อมูลเซ็นเซอร์ สร้างสตรีมอินพุตจากข้อมูลที่นำเข้า และจัดเก็บข้อมูลในบัคเก็ต S3 ตามข้อกำหนดสำหรับ Lookout for Metrics

ในส่วนต่อไปนี้ เราจะเจาะลึกถึงโครงสร้างภายใน Lookout for Metrics และความง่ายในการกำหนดค่าแนวคิดเหล่านี้โดยใช้คอนโซล Lookout for Metrics

สร้างเครื่องตรวจจับ

ตัวตรวจจับคือทรัพยากร Lookout for Metrics ที่ตรวจสอบชุดข้อมูลและระบุความผิดปกติที่ความถี่ที่กำหนดไว้ล่วงหน้า ตัวตรวจจับใช้ ML เพื่อค้นหารูปแบบในข้อมูลและแยกแยะระหว่างความผันแปรที่คาดหวังในข้อมูลกับความผิดปกติที่ถูกต้องตามกฎหมาย เพื่อปรับปรุงประสิทธิภาพ ตัวตรวจจับจะเรียนรู้เพิ่มเติมเกี่ยวกับข้อมูลของคุณเมื่อเวลาผ่านไป

ในกรณีการใช้งานของเรา ตัวตรวจจับจะวิเคราะห์ข้อมูลจากเซ็นเซอร์ทุกๆ 5 นาที

ในการสร้างตัวตรวจจับ ให้ไปที่คอนโซล Lookout for Metrics แล้วเลือก สร้างตัวตรวจจับ. ระบุชื่อและคำอธิบาย (ไม่บังคับ) สำหรับตัวตรวจจับ พร้อมช่วงเวลา 5 นาที

ข้อมูลของคุณจะถูกเข้ารหัสโดยค่าเริ่มต้นด้วยคีย์ที่ AWS เป็นเจ้าของและจัดการให้คุณ คุณยังสามารถกำหนดค่าได้หากต้องการใช้คีย์การเข้ารหัสที่แตกต่างจากคีย์ที่ใช้โดยค่าเริ่มต้น

ตอนนี้ ให้ชี้ตัวตรวจจับนี้ไปที่ข้อมูลที่คุณต้องการให้เรียกใช้การตรวจจับสิ่งผิดปกติ

สร้างชุดข้อมูล

ชุดข้อมูลจะบอกตัวตรวจจับว่าจะหาข้อมูลของคุณได้ที่ไหน และตัววัดใดที่จะวิเคราะห์หาความผิดปกติ ในการสร้างชุดข้อมูล ให้ทำตามขั้นตอนต่อไปนี้:

1. บนคอนโซล Amazon Lookout for Metrics ให้ไปที่ตัวตรวจจับของคุณ
2. Choose เพิ่มชุดข้อมูล.
   
3. สำหรับ Nameป้อนชื่อ (เช่น air-quality-dataset).
4. สำหรับ แหล่งข้อมูลเลือกแหล่งข้อมูลของคุณ (สำหรับโพสต์นี้ Amazon S3)
   
5. สำหรับ โหมดตรวจจับ, เลือกโหมดของคุณ (สำหรับโพสต์นี้ อย่างต่อเนื่อง).

ด้วย Amazon S3 คุณสามารถสร้างตัวตรวจจับได้ในสองโหมด:

• • backtest – โหมดนี้ใช้เพื่อค้นหาความผิดปกติในข้อมูลในอดีต จำเป็นต้องรวมระเบียนทั้งหมดไว้ในไฟล์เดียว
  • อย่างต่อเนื่อง – โหมดนี้ใช้เพื่อตรวจจับความผิดปกติในข้อมูลสด เราใช้โหมดนี้กับกรณีการใช้งานของเรา เนื่องจากเราต้องการตรวจจับความผิดปกติในขณะที่เราได้รับข้อมูลมลพิษทางอากาศจากเซ็นเซอร์ตรวจสอบอากาศ

6. ป้อนเส้นทาง S3 สำหรับโฟลเดอร์ S3 สดและรูปแบบเส้นทาง
7. สำหรับ ช่วงแหล่งข้อมูลเลือก ช่วงเวลา 5 นาทีหากคุณมีข้อมูลประวัติซึ่งตัวตรวจจับสามารถเรียนรู้รูปแบบได้ คุณสามารถระบุข้อมูลดังกล่าวได้ในระหว่างการกำหนดค่านี้ ข้อมูลคาดว่าจะอยู่ในรูปแบบเดียวกับที่คุณใช้เพื่อทำการทดสอบย้อนกลับ การให้ข้อมูลประวัติช่วยเร่งกระบวนการฝึกอบรมโมเดล ML หากไม่มีสิ่งนี้ ตัวตรวจจับแบบต่อเนื่องจะรอให้มีข้อมูลเพียงพอก่อนที่จะทำการอนุมาน
8. สำหรับโพสต์นี้ เรามีข้อมูลย้อนหลังแล้ว เลือก ใช้ข้อมูลย้อนหลัง.
9. เข้าสู่เส้นทาง S3 ของ historical_data.json.
10. สำหรับ รูปแบบไฟล์ให้เลือก สาย JSON.
    

ณ จุดนี้ Lookout for Metrics จะเข้าถึงแหล่งข้อมูลและตรวจสอบว่าสามารถแยกวิเคราะห์ข้อมูลได้หรือไม่ หากการแยกวิเคราะห์สำเร็จ จะแสดงข้อความว่า "การตรวจสอบสำเร็จ" และนำคุณไปยังหน้าถัดไป ซึ่งคุณจะกำหนดค่าการวัด มิติข้อมูล และการประทับเวลา

กำหนดค่าการวัด มิติ และการประทับเวลา

มาตรการ กำหนด KPI ที่คุณต้องการติดตามความผิดปกติ คุณสามารถเพิ่มการวัดได้สูงสุดห้าตัวต่อเครื่องตรวจจับ ฟิลด์ที่ใช้ในการสร้าง KPI จากข้อมูลต้นฉบับของคุณต้องอยู่ในรูปแบบตัวเลข ปัจจุบัน KPI สามารถกำหนดได้โดยการรวมเรคคอร์ดภายในช่วงเวลาโดยทำ SUM หรือ AVERAGE

ขนาด ให้ความสามารถในการแบ่งและแบ่งข้อมูลของคุณโดยการกำหนดหมวดหมู่หรือกลุ่ม วิธีนี้ช่วยให้คุณติดตามความผิดปกติของชุดย่อยของข้อมูลทั้งชุดที่ใช้การวัดเฉพาะได้

ในกรณีการใช้งานของเรา เราเพิ่มการวัดสามอย่าง ซึ่งคำนวณ AVG ของวัตถุที่เห็นในช่วงเวลา 5 นาที และมีเพียงมิติเดียวซึ่งวัดความเข้มข้นของสารมลพิษ

ทุกระเบียนในชุดข้อมูลต้องมีการประทับเวลา การกำหนดค่าต่อไปนี้ช่วยให้คุณเลือกฟิลด์ที่แสดงค่าการประทับเวลาและรูปแบบของการประทับเวลา

หน้าถัดไปช่วยให้คุณตรวจสอบรายละเอียดทั้งหมดที่คุณเพิ่ม จากนั้นบันทึกและเปิดใช้งานตัวตรวจจับ

จากนั้นเครื่องตรวจจับจะเริ่มเรียนรู้การสตรีมข้อมูลไปยังแหล่งข้อมูล ในขั้นตอนนี้ สถานะของตัวตรวจจับจะเปลี่ยนเป็น Initializing.

สิ่งสำคัญคือต้องสังเกตจำนวนข้อมูลขั้นต่ำที่ต้องใช้ก่อนที่ Lookout for Metrics จะสามารถตรวจพบความผิดปกติได้ สำหรับข้อมูลเพิ่มเติมเกี่ยวกับข้อกำหนดและขีดจำกัด โปรดดูที่ ระวังโควต้าเมตริก.

ด้วยการกำหนดค่าเพียงเล็กน้อย คุณได้สร้างตัวตรวจจับ ชี้ไปที่ชุดข้อมูล และกำหนดตัวชี้วัดที่คุณต้องการให้ Lookout for Metrics ค้นหาความผิดปกติ

เห็นภาพความผิดปกติ

Lookout for Metrics มอบประสบการณ์ UI ที่สมบูรณ์สำหรับผู้ใช้ที่ต้องการใช้ คอนโซลการจัดการ AWS เพื่อวิเคราะห์ความผิดปกติที่ตรวจพบ นอกจากนี้ยังมีความสามารถในการสืบค้นความผิดปกติผ่าน API

มาดูตัวอย่างความผิดปกติที่ตรวจพบจากกรณีการใช้ข้อมูลคุณภาพอากาศของเรา ภาพหน้าจอต่อไปนี้แสดงความผิดปกติที่ตรวจพบในความเข้มข้นของ CO ในอากาศ ณ เวลาและวันที่ที่กำหนดด้วยคะแนนความรุนแรง 93 นอกจากนี้ยังแสดงสัดส่วนเปอร์เซ็นต์ของมิติที่มีต่อความผิดปกติ ในกรณีนี้ การสนับสนุน 100% มาจากมิติข้อมูล ID ตำแหน่ง B-101

สร้างการแจ้งเตือน

Lookout for Metrics ให้คุณส่งการแจ้งเตือนโดยใช้ช่องทางที่หลากหลาย คุณสามารถกำหนดค่าเกณฑ์คะแนนความรุนแรงของความผิดปกติซึ่งต้องทริกเกอร์การแจ้งเตือน

ในกรณีการใช้งานของเรา เรากำหนดค่าการแจ้งเตือนให้ส่งไปยัง an บริการแจ้งเตือนแบบง่ายของ Amazon (Amazon SNS) ช่องทางที่จะส่ง SMS ภาพหน้าจอต่อไปนี้แสดงรายละเอียดการกำหนดค่า

คุณยังสามารถใช้การแจ้งเตือนเพื่อทริกเกอร์การทำงานอัตโนมัติโดยใช้ AWS แลมบ์ดา ทำหน้าที่ขับเคลื่อนการดำเนินการที่ขับเคลื่อนด้วย API บน AWS IoT Core

สรุป

ในโพสต์นี้ เราแสดงให้คุณเห็นว่า Lookout for Metrics และ Kinesis Data Firehose ใช้งานง่ายเพียงใดเพื่อขจัดการยกของหนักที่ไม่แตกต่างกันซึ่งเกี่ยวข้องกับการจัดการวงจรชีวิตแบบ end-to-end ของการสร้างแอปพลิเคชันการตรวจจับความผิดปกติที่ขับเคลื่อนด้วย ML โซลูชันนี้สามารถช่วยคุณเร่งความสามารถในการค้นหาความผิดปกติในตัวชี้วัดทางธุรกิจที่สำคัญ และช่วยให้คุณมุ่งเน้นความพยายามในการเติบโตและปรับปรุงธุรกิจของคุณ

เราขอแนะนำให้คุณเรียนรู้เพิ่มเติมโดยไปที่ คู่มือนักพัฒนา Amazon Lookout for Metrics และลองใช้โซลูชันแบบ end-to-end ที่เปิดใช้งานโดยบริการเหล่านี้ด้วยชุดข้อมูลที่เกี่ยวข้องกับ KPI ของธุรกิจของคุณ

---

เกี่ยวกับผู้เขียน

ธีรัช ฐกูร เป็นสถาปนิกโซลูชันกับ Amazon Web Services เขาทำงานร่วมกับลูกค้าและคู่ค้าของ AWS เพื่อให้คำแนะนำเกี่ยวกับการนำระบบคลาวด์ไปใช้ การย้ายข้อมูล และกลยุทธ์ เขาหลงใหลในเทคโนโลยีและสนุกกับการสร้างและทดลองในด้านการวิเคราะห์และ AI/ML