Ehitage Amazon Lookout for Metricsi abil õhukvaliteedi anomaaliate detektor

Õhusaaste on tänapäeval tuttav keskkonnaprobleem, mis põhjustab raskeid hingamisteede ja südamehaigusi, mis kujutavad endast tõsist ohtu tervisele. Happevihmad, osoonikihi kahanemine ja globaalne soojenemine on samuti õhusaaste kahjulikud tagajärjed. Raskete terviseprobleemide ja äärmuslikel juhtudel eluohtlike olukordade ennetamiseks on vaja intelligentset jälgimist ja automatiseerimist. Õhu kvaliteeti mõõdetakse saasteainete kontsentratsiooni abil õhus. Sümptomite varajane tuvastamine ja saasteainete taseme kontrollimine enne, kui see on ohtlik, on ülioluline. Õhukvaliteedi ja saasteainete kaalu anomaaliate tuvastamise ning algpõhjuse kiire diagnoosimise protsess on keeruline, kulukas ja vigadetundlik.

Tehisintellektil ja masinõppel (ML) põhinevate lahenduste rakendamine andmeanomaaliate leidmiseks hõlmab palju keerukust andmete õiges vormingus sisestamisel, kureerimisel ja ettevalmistamisel ning seejärel nende ML-mudelite tõhususe optimeerimisel ja säilitamisel pikka aega. aega. See on olnud üks takistusi ML-i võimaluste kiireks rakendamiseks ja kasutuselevõtuks.

See postitus näitab, kuidas kasutada integreeritud lahendust Amazon Lookout mõõdikute jaoks ja Amazon Kinesis Data Firehose murda need tõkked, sisestades kiiresti ja lihtsalt voogesituse andmeid ning tuvastades seejärel kõrvalekalded teie huvipakkuvates peamistes toimivusnäitajates.

Lookout for Metrics tuvastab ja diagnoosib automaatselt kõrvalekalded (normist kõrvalekalded) äri- ja tegevusandmetes. See on täielikult hallatav ML-teenus, mis kasutab teie andmete omadustel põhinevate kõrvalekallete tuvastamiseks spetsiaalseid ML-mudeleid. Näiteks trendid ja hooajalisus on aegridade mõõdikute kaks omadust, mille puhul lävepõhine anomaaliate tuvastamine ei tööta. Trendid on mõõdiku väärtuse pidevad kõikumised (tõusmised või vähenemised). Teisest küljest on hooajalisus süsteemis esinevad perioodilised mustrid, mis tavaliselt tõusevad baasjoonest kõrgemale ja seejärel taas vähenevad. Lookout for Metricsi kasutamiseks ei vaja te ML-i kogemust.

Demonstreerime ühtset õhukvaliteedi seire stsenaariumi, mille käigus tuvastame saasteainete kontsentratsiooni anomaaliaid õhus. Selle postituse lõpuks saate teada, kuidas kasutada neid AWS-i hallatavaid teenuseid, et aidata vältida terviseprobleeme ja globaalset soojenemist. Saate seda lahendust rakendada ka muudel kasutusjuhtudel keskkonna paremaks haldamiseks, näiteks veekvaliteedi, maa kvaliteedi ja energiatarbimise anomaaliate tuvastamiseks.

Lahenduse ülevaade

Arhitektuur koosneb kolmest funktsionaalsest plokist:

• Strateegilistesse kohtadesse paigutatud juhtmevabad andurid, mis tajuvad süsinikmonooksiidi (CO), vääveldioksiidi (SO2) ja lämmastikdioksiidi (NO2) kontsentratsiooni taset õhus
• Andmete voogesitamine ja salvestamine
• Anomaaliate tuvastamine ja teavitamine

Lahendus pakub täielikult automatiseeritud andmeteekonda anduritest kuni kasutajale teatamiseni. Lahendusega saate suhelda ka Lookout for Metrics kasutajaliidese abil, et analüüsida tuvastatud kõrvalekaldeid.

Järgmine diagramm illustreerib meie lahenduse arhitektuuri.

Eeldused

Enne lahendusega jätkamist vajate järgmisi eeltingimusi. Selle postituse jaoks kasutame us-ida-1 regiooni.

1. Laadige alla Pythoni skript (avalda.py) ja andmefaili GitHub repo.
2. avage live_data.csv faili oma eelistatud redaktorisse ja asendage kuupäevad tänaseks ja homseks kuupäevaks. Näiteks kui tänane kuupäev on 8. juuli 2022, siis asendage 2022-03-25 koos 2022-07-08. Jätke vorming samaks. See on vajalik praeguse kuupäeva anduriandmete simuleerimiseks, kasutades asjade Interneti-simulaatori skripti.
3. Loo Amazoni lihtne salvestusteenus (Amazon S3) ämber ja kaust nimega air-quality. Loo sees alamkaust air-quality nimetatud historical. Juhiseid vt Kausta loomine.
4. Laadige üles live_data.csv faili juur S3 ämbrisse ja historical_data.json ajaloolises kaustas.
5. Loo AWSi pilv arenduskeskkond, mida kasutame Pythoni simulaatoriprogrammi käivitamiseks, et luua selle lahenduse jaoks anduriandmeid.

Sisestage ja teisendage andmeid, kasutades AWS IoT Core'i ja Kinesis Data Firehose'i

Voogesitusandmete allaneelamiseks kasutame Kinesis Data Firehose'i edastusvoogu AWS IoT Core ja tarnige see Amazon S3-le. Tehke järgmised sammud.

1. Kinesis Data Firehose'i konsoolil valige Loo kohaletoimetamise voog.
2. eest allikas, vali Otsene PUT.
3. eest sihtpunkt, vali Amazon S3.
4. eest Kohaletoimetamise voo nimi, sisestage oma kohaletoimetamise voo nimi.
   
5. eest S3 kopp, sisestage eeltingimusena loodud ämber.
6. Sisestage väärtused S3 ämbri eesliide ja S3 ämbri vea väljundi eesliide.Üks peamisi punkte, mida tuleb tähele panna, on Amazon S3 sihtkoha jaoks konfigureeritud kohandatud prefiksi konfiguratsioon. See eesliite muster tagab, et andmed luuakse S3 ämbris vastavalt Lookout for Metricsi eeldatavale eesliidete hierarhiale. (Lisateavet selle kohta hiljem selles postituses.) Kohandatud eesliidete kohta lisateabe saamiseks vt Kohandatud eesliited Amazon S3 objektidele.
   
7. eest Puhvri intervall, sisenema 60.
   
8. Vali Looge või värskendage IAM-i roll.
9. Vali Loo kohaletoimetamise voog.
   
   Nüüd konfigureerime AWS IoT Core'i ja käivitame õhukvaliteedi simulaatori programmi.
10. AWS IoT Core konsoolil luua AWS IoT poliitika kutsus administraatoriks.
11. Navigeerimispaanil all Sõnumite suunamine, vali Reeglid.
12. Vali Loo reegel.
13. Looge reegel Kinesis Data Firehose (firehose) tegevus.
    See saadab andmed MQTT-sõnumist Kinesis Data Firehose'i edastusvoogu.
14. Vali Looma.
    
15. Looge nimega AWS-i IoT-asi Test-Thing ja lisage loodud poliitika.
16. Laadige alla AWS IoT Core'i sertifikaat, avalik võti, privaatvõti, seadme sertifikaat ja juur-CA.
17. Salvestage kõik allalaaditud failid kausta certificates alamkataloog, mille olete varem loonud.
    
18. Laadige publish.py üles iot-test-publish kausta.
19. Valige AWS IoT Core konsooli navigeerimispaanil Seaded.
20. alla Kohandatud lõpp-punkt, kopeerige lõpp-punkt.
    See AWS IoT Core'i kohandatud lõpp-punkti URL on teie AWS-i konto ja piirkonna jaoks isiklik.
21. asendama customEndpointUrl koos oma AWS IoT Core'i kohandatud lõpp-punkti URL-iga, sertifikaadi nimega sertifikaatidega ja Your_S3_Bucket_Name oma S3 ämbri nimega.
    Järgmisena installite Pythoni jaoks mõeldud pip ja AWS IoT SDK.
22. Logige sisse AWS Cloud9-sse ja looge oma arenduskeskkonnas töökataloog. Näiteks: aq-iot-publish.
23. Looge oma uues töökataloogis sertifikaatide jaoks alamkataloog. Näiteks: certificates.
24. Installige Python v2 jaoks mõeldud AWS IoT SDK, käivitades käsurealt järgmise.

    pip install awsiotsdk

25. Andmekonveieri testimiseks käivitage järgmine käsk:

    python3 publish.py

Kasulikku koormust näete järgmisel ekraanipildil.

Lõpuks edastatakse andmed prefiksi struktuuris määratud S3 ämbrisse.

Failide andmed on järgmised:

• {"TIMESTAMP":"2022-03-20 00:00","LOCATION_ID":"B-101","CO":2.6,"SO2":62,"NO2":57}
• {"TIMESTAMP":"2022-03-20 00:05","LOCATION_ID":"B-101","CO":3.9,"SO2":60,"NO2":73}

Ajatemplid näitavad, et iga fail sisaldab andmeid 5-minutiliste intervallidega.

Minimaalse koodiga oleme nüüd andurite andmed sisse võtnud, sissevõetud andmetest loonud sisendvoo ja salvestanud andmed S3 ämbrisse, lähtudes Lookout for Metricsi nõuetest.

Järgmistes jaotistes vaatleme üksikasjalikumalt Lookout for Metricsi konstruktsioone ja seda, kui lihtne on neid kontseptsioone konsooli Lookout for Metrics abil konfigureerida.

Looge detektor

Detektor on Lookout for Metrics ressurss, mis jälgib andmestikku ja tuvastab anomaaliaid etteantud sagedusega. Detektorid kasutavad ML-i andmete mustrite leidmiseks ja andmete eeldatavate variatsioonide ja õigustatud kõrvalekallete eristamiseks. Oma jõudluse parandamiseks õpib detektor teie andmete kohta aja jooksul rohkem teada.

Meie kasutusel analüüsib detektor anduri andmeid iga 5 minuti järel.

Detektori loomiseks liikuge konsooli Lookout for Metrics ja valige Loo detektor. Esitage detektori nimi ja kirjeldus (valikuline) koos 5-minutilise intervalliga.

Teie andmed on vaikimisi krüptitud võtmega, mida AWS omab ja mida teie eest haldab. Samuti saate konfigureerida, kas soovite kasutada vaikimisi kasutatavast erinevat krüpteerimisvõtit.

Nüüd suuname selle detektori andmetele, mille puhul soovite anomaalia tuvastamist käivitada.

Looge andmestik

Andmekogum ütleb detektorile, kust teie andmed leida ja milliseid mõõdikuid kõrvalekallete tuvastamiseks analüüsida. Andmestiku loomiseks toimige järgmiselt.

1. Navigeerige konsoolis Amazon Lookout for Metrics oma detektorini.
2. Vali Andmestiku lisamine.
   
3. eest Nimi, sisestage nimi (näiteks air-quality-dataset).
4. eest Andmeallikas, valige oma andmeallikas (selle postituse jaoks Amazon S3).
   
5. eest Detektori režiim, valige oma režiim (selle postituse jaoks Pidev).

Amazon S3 abil saate luua detektori kahes režiimis:

• • Backtest – Seda režiimi kasutatakse ajaloolistes andmetes anomaaliate leidmiseks. Kõik kirjed tuleb koondada ühte faili.
  • Pidev – Seda režiimi kasutatakse reaalajas andmete anomaaliate tuvastamiseks. Kasutame seda režiimi oma kasutusjuhtumiga, kuna tahame tuvastada anomaaliaid õhuseireandurilt õhusaasteainete andmete saamisel.

6. Sisestage reaalajas S3 kausta ja teemustri S3 tee.
7. eest Andmeallika intervall, vali 5-minutilised intervallid.Kui teil on ajaloolisi andmeid, millest detektor saab mustreid õppida, saate need selle seadistamise ajal esitada. Andmed peaksid olema samas vormingus, mida kasutate tagasitesti tegemiseks. Ajalooliste andmete esitamine kiirendab ML-mudeli väljaõppe protsessi. Kui see pole saadaval, ootab pidev detektor enne järelduste tegemist, kuni saadaval on piisavalt andmeid.
8. Selle postituse jaoks on meil juba ajaloolised andmed, seega valige Kasutage ajaloolisi andmeid.
9. Sisestage S3 tee historical_data.json.
10. eest failivormingvalige JSON-liinid.
    

Sel hetkel pääseb Lookout for Metrics juurde andmeallikale ja kontrollib, kas see saab andmeid sõeluda. Kui sõelumine õnnestub, kuvatakse teade „Kinnitamine õnnestus“ ja suunatakse teid järgmisele lehele, kus saate konfigureerida mõõdud, mõõtmed ja ajatemplid.

Konfigureerige mõõdud, mõõtmed ja ajatemplid

Meetmed määratlege KPI-d, mille kõrvalekaldeid soovite jälgida. Saate lisada kuni viis mõõtu detektori kohta. Lähteandmetest KPI-de loomiseks kasutatavad väljad peavad olema numbrivormingus. KPI-sid saab praegu määratleda, koondades kirjed ajavahemiku jooksul SUM või AVERAGE abil.

Mõõdud annab teile võimaluse kategooriate või segmentide määratlemise kaudu oma andmeid tükeldada. See võimaldab teil jälgida anomaaliaid kogu andmekogumi alamhulga puhul, mille puhul konkreetne meede on rakendatav.

Meie kasutusjuhul lisame kolm mõõdikut, mis arvutavad 5-minutilise intervalliga nähtud objektide AVG-d ja millel on ainult üks mõõde, mille puhul mõõdetakse saasteainete kontsentratsiooni.

Igal andmestiku kirjel peab olema ajatempel. Järgmine konfiguratsioon võimaldab teil valida välja, mis esindab ajatempli väärtust ja ka ajatempli vormingut.

Järgmisel lehel saate vaadata üle kõik lisatud andmed ning seejärel salvestada ja aktiveerida detektori.

Seejärel alustab detektor andmete voogesituse õppimist andmeallikasse. Selles etapis muutub detektori olek olekuks Initializing.

Enne kui Lookout for Metrics saab kõrvalekaldeid tuvastada, on oluline arvestada minimaalse andmemahuga. Lisateavet nõuete ja piirangute kohta vt Otsige Metricsi kvoote.

Minimaalse konfiguratsiooniga olete loonud detektori, suunanud selle andmestikule ja määratlenud mõõdikud, mille puhul soovite, et Lookout for Metrics anomaaliad leiaks.

Visualiseerige anomaaliaid

Lookout for Metrics pakub rikkalikku kasutajaliidese kogemust kasutajatele, kes soovivad seda kasutada AWS-i juhtimiskonsool analüüsida avastatud kõrvalekaldeid. Samuti pakub see võimalust anomaaliate kohta API-de kaudu päringuid teha.

Vaatame meie õhukvaliteedi andmete kasutamise juhtumist tuvastatud anomaalia näidet. Järgmisel ekraanipildil on õhus tuvastatud CO kontsentratsiooni anomaalia määratud ajal ja kuupäeval raskusastmega 93. See näitab ka mõõtme protsentuaalset panust anomaaliasse. Sel juhul tuleb 100% panus asukoha ID B-101 dimensioonist.

Loo märguandeid

Lookout for Metrics võimaldab teil saata hoiatusi erinevate kanalite kaudu. Saate konfigureerida anomaalia tõsiduse skoori läve, mille korral hoiatused käivituvad.

Meie kasutusjuhul konfigureerime hoiatused, mis saadetakse aadressile Amazoni lihtne teavitusteenus (Amazon SNS) kanalil, mis omakorda saadab SMS-i. Järgmised ekraanipildid näitavad konfiguratsiooni üksikasju.

Saate kasutada ka hoiatust, et käivitada automaatika kasutades AWS Lambda funktsioone, et juhtida API-põhiseid toiminguid AWS IoT Core'is.

Järeldus

Selles postituses näitasime teile, kui lihtne on kasutada Lookout for Metrics ja Kinesis Data Firehose'i, et eemaldada ML-toega anomaaliate tuvastamise rakenduste kogu elutsükli haldamisega seotud eristamata rasked raskused. See lahendus võib aidata teil kiirendada teie suutlikkust leida kõrvalekaldeid peamistes ärimõõdikutes ja võimaldada teil keskenduda oma jõupingutused oma ettevõtte kasvatamisele ja täiustamisele.

Soovitame teil rohkem teada saada, külastades veebilehte Amazon Lookout for Metrics arendaja juhend ja proovige nende teenuste pakutavat täielikku lahendust teie ettevõtte KPI-de jaoks asjakohase andmekogumiga.

---

Andmeid autor

Dhiraj Thakur on Amazon Web Servicesi lahenduste arhitekt. Ta teeb koostööd AWS-i klientide ja partneritega, et anda juhiseid ettevõtte pilve kasutuselevõtu, migratsiooni ja strateegia kohta. Ta on kirglik tehnoloogia vastu ning talle meeldib analüütika ja AI/ML-ruumis ehitada ja katsetada.