Rakenna ilmanlaadun poikkeamien ilmaisin Amazon Lookout for Metricsin avulla

Nykyään ilman saastuminen on tuttu ympäristöongelma, joka aiheuttaa vakavia terveysuhkia aiheuttavia vakavia hengitys- ja sydänsairauksia. Happamat sateet, otsonikerroksen heikkeneminen ja ilmaston lämpeneminen ovat myös ilmansaasteiden haitallisia seurauksia. Älykästä valvontaa ja automaatiota tarvitaan vakavien terveysongelmien ja ääritapauksissa hengenvaarallisten tilanteiden ehkäisemiseksi. Ilmanlaatua mitataan ilman epäpuhtauksien pitoisuuksilla. On erittäin tärkeää tunnistaa oireet ajoissa ja hallita saastetasoa ennen kuin se on vaarallista. Ilmanlaadun ja epäpuhtauksien painon poikkeamien tunnistaminen ja perussyyn nopea diagnosointi on vaikeaa, kallista ja virhealtista.

Tekoäly- ja koneoppimiseen (ML) perustuvien ratkaisujen soveltaminen tietojen poikkeavuuksien löytämiseen sisältää paljon monimutkaisuutta tiedon keräämisessä, kuroinnissa ja valmistelussa oikeaan muotoon sekä näiden ML-mallien tehokkuuden optimoimiseen ja ylläpitämiseen pitkiä aikoja. aika. Tämä on ollut yksi esteistä ML-ominaisuuksien nopealle käyttöönotolle ja skaalaamiselle.

Tämä viesti näyttää, kuinka integroitua ratkaisua käytetään Amazon Lookout for Metrics ja Amazon Kinesis Data Firehose murtaa nämä esteet vastaanottamalla nopeasti ja helposti suoratoistodataa ja havaitsemalla sen jälkeen poikkeamat sinua kiinnostavissa keskeisissä suoritusindikaattoreissa.

Lookout for Metrics havaitsee ja diagnosoi automaattisesti poikkeamat (poikkeamat normaalista) liiketoiminta- ja toimintatiedoissa. Se on täysin hallittu ML-palvelu, joka käyttää erikoistuneita ML-malleja havaitakseen poikkeavuuksia tietojesi ominaisuuksien perusteella. Esimerkiksi trendit ja kausivaihtelu ovat kaksi ominaisuutta aikasarjamittareille, joissa kynnykseen perustuva poikkeamien havaitseminen ei toimi. Trendit ovat jatkuvia vaihteluita (lisäyksiä tai laskuja) mittarin arvossa. Toisaalta kausivaihtelu on järjestelmässä esiintyviä jaksollisia kuvioita, jotka yleensä nousevat perusviivan yläpuolelle ja laskevat sitten uudelleen. Lookout for Metricsin käyttäminen ei vaadi ML-kokemusta.

Esittelemme yleisen ilmanlaadun seurantaskenaarion, jossa havaitsemme poikkeavuuksia ilman epäpuhtauspitoisuudessa. Tämän viestin loppuun mennessä opit käyttämään näitä AWS:n hallinnoimia palveluita terveysongelmien ja ilmaston lämpenemisen ehkäisemiseksi. Voit soveltaa tätä ratkaisua muihin käyttötapauksiin ympäristön hallinnan parantamiseksi, kuten veden laadun, maan laadun ja virrankulutusmallien poikkeamien havaitsemiseksi.

Ratkaisun yleiskatsaus

Arkkitehtuuri koostuu kolmesta toiminnallisesta lohkosta:

• Strategisiin paikkoihin sijoitetut langattomat anturit havaitsemaan hiilimonoksidin (CO), rikkidioksidin (SO2) ja typpidioksidin (NO2) pitoisuudet ilmassa
• Tietojen suoratoisto ja tallennus
• Poikkeaman havaitseminen ja ilmoittaminen

Ratkaisu tarjoaa täysin automatisoidun tietopolun antureista aina käyttäjälle annettavaan ilmoitukseen asti. Voit myös olla vuorovaikutuksessa ratkaisun kanssa Lookout for Metrics -käyttöliittymän avulla analysoidaksesi tunnistettuja poikkeavuuksia.

Seuraava kaavio kuvaa ratkaisuarkkitehtuuriamme.

Edellytykset

Tarvitset seuraavat edellytykset, ennen kuin voit jatkaa ratkaisua. Tässä viestissä käytämme us-east-1 -aluetta.

1. Lataa Python-skripti (publish.py) ja datatiedosto osoitteesta GitHub repo.
2. Avaa live_data.csv tiedosto haluamaasi editoriin ja korvaa päivämäärät tämän päivän ja huomisen päivämääriksi. Jos tämä päivä on esimerkiksi 8. heinäkuuta 2022, vaihda 2022-03-25 with 2022-07-08. Pidä muoto samana. Tämä on tarpeen nykyisen päivämäärän anturitietojen simuloimiseksi IoT-simulaattorin komentosarjan avulla.
3. Luo Amazonin yksinkertainen tallennuspalvelu (Amazon S3) ämpäri ja kansio nimeltä air-quality. Luo alikansio sisälle air-quality nimeltään historical. Katso ohjeet kohdasta Kansion luominen.
4. Lataa live_data.csv tiedosto juuri S3-säihöön ja historical_data.json historiallisessa kansiossa.
5. Luo AWS-pilvi9 kehitysympäristö, jonka avulla suoritamme Python-simulaattoriohjelman anturidatan luomiseen tätä ratkaisua varten.

Käsittele ja muunna tietoja AWS IoT Coren ja Kinesis Data Firehosen avulla

Käytämme Kinesis Data Firehose -toimitusvirtaa suoratoistodatan vastaanottamiseen AWS IoT -ydin ja toimita se Amazon S3:lle. Suorita seuraavat vaiheet:

1. Valitse Kinesis Data Firehose -konsolista Luo toimitusvirta.
2. varten lähde, valitse Suora PUT.
3. varten määränpää, valitse Amazon S3.
4. varten Toimitusvirran nimi, anna toimitusstreamille nimi.
   
5. varten S3-kauha, syötä luomasi säilö edellytyksenä.
6. Anna arvot kohteelle S3 kauhan etuliite ja S3-ämpärivirheen lähtöetuliite.Yksi tärkeimmistä huomioista on Amazon S3 -kohteeseen määritetyn mukautetun etuliitteen määritys. Tämä etuliitekuvio varmistaa, että tiedot luodaan S3-säilössä Lookout for Metricsin odottaman etuliitehierarkian mukaisesti. (Lisää tästä myöhemmin tässä viestissä.) Lisätietoja mukautetuista etuliitteistä on kohdassa Muokatut etuliitteet Amazon S3 -objekteille.
   
7. varten Puskuriväli, tulla sisään 60.
   
8. Valita Luo tai päivitä IAM-rooli.
9. Valita Luo toimitusvirta.
   
   Nyt määritämme AWS IoT Coren ja suoritamme ilmanlaadun simulaattoriohjelman.
10. AWS IoT Core -konsolissa luo AWS IoT -käytäntö kutsutaan admin.
11. Navigointiruudussa alla Viestien reititys, valitse Säännöt.
12. Valita Luo sääntö.
13. Luo sääntö Kinesis Data Firehose (firehose) -toiminto.
    Tämä lähettää tiedot MQTT-sanomasta Kinesis Data Firehose -toimitusvirtaan.
14. Valita luoda.
    
15. Luo nimellinen AWS IoT -asia Test-Thing ja liitä luomasi käytäntö.
16. Lataa AWS IoT Coren varmenne, julkinen avain, yksityinen avain, laitevarmenne ja juuri CA.
17. Tallenna jokainen ladattu tiedosto certificates aiemmin luomasi alihakemisto.
    
18. Lataa publish.py osoitteeseen iot-test-publish kansio.
19. Valitse AWS IoT Core -konsolin navigointiruudusta Asetukset.
20. Alle Mukautettu päätepiste, kopioi päätepiste.
    Tämä AWS IoT Core -päätepisteen mukautettu URL-osoite on henkilökohtainen AWS-tilillesi ja -alueellesi.
21. korvata customEndpointUrl mukautetun AWS IoT Core -päätepisteen URL-osoitteen kanssa, varmenteilla varmenteen nimellä ja Your_S3_Bucket_Name S3-ämpärinimelläsi.
    Seuraavaksi asennat pip ja AWS IoT SDK Pythonille.
22. Kirjaudu AWS Cloud9:ään ja luo työhakemisto kehitysympäristöösi. Esimerkiksi: aq-iot-publish.
23. Luo alihakemisto varmenteille uudessa työhakemistossasi. Esimerkiksi: certificates.
24. Asenna AWS IoT SDK Python v2:lle suorittamalla seuraava komentoriviltä.

    pip install awsiotsdk

25. Voit testata dataputken suorittamalla seuraavan komennon:

    python3 publish.py

Voit nähdä hyötykuorman seuraavassa kuvakaappauksessa.

Lopuksi tiedot toimitetaan määritettyyn S3-ämpäriin etuliiterakenteessa.

Tiedostojen tiedot ovat seuraavat:

• {"TIMESTAMP":"2022-03-20 00:00","LOCATION_ID":"B-101","CO":2.6,"SO2":62,"NO2":57}
• {"TIMESTAMP":"2022-03-20 00:05","LOCATION_ID":"B-101","CO":3.9,"SO2":60,"NO2":73}

Aikaleimat osoittavat, että jokainen tiedosto sisältää tietoja 5 minuutin välein.

Olemme nyt käsitelleet anturitiedot, luoneet syötetyistä tiedoista syöttövirran ja tallentaneet tiedot S3-säihöön Lookout for Metrics -vaatimusten perusteella.

Seuraavissa osissa tarkastellaan tarkemmin Lookout for Metrics -rakenteita ja sitä, kuinka helppoa näiden käsitteiden määrittäminen Lookout for Metrics -konsolin avulla on.

Luo ilmaisin

Ilmaisin on Lookout for Metrics -resurssi, joka valvoo tietojoukkoa ja tunnistaa poikkeamat ennalta määritetyllä taajuudella. Ilmaisimet käyttävät ML:ää löytääkseen kuvioita tiedosta ja erottaakseen tiedoissa odotetut vaihtelut ja oikeutetut poikkeamat. Parantaakseen suorituskykyään ilmaisin oppii enemmän tiedoistasi ajan myötä.

Meidän käyttötapauksessamme ilmaisin analysoi anturin tiedot 5 minuutin välein.

Luo ilmaisin siirtymällä Lookout for Metrics -konsoliin ja valitsemalla Luo ilmaisin. Anna ilmaisimen nimi ja kuvaus (valinnainen) sekä 5 minuutin aikaväli.

Tietosi on oletuksena salattu avaimella, jonka AWS omistaa ja jota hallinnoi puolestasi. Voit myös määrittää, haluatko käyttää eri salausavainta kuin oletusarvoisesti käytetty.

Osoitetaan nyt tämä ilmaisin tietoihin, joilla haluat sen suorittavan poikkeamien havaitsemisen.

Luo tietojoukko

Tietojoukko kertoo ilmaisimelle, mistä tietosi löytää ja mitkä mittarit analysoidaan poikkeavuuksien varalta. Luodaksesi tietojoukon, suorita seuraavat vaiheet:

1. Siirry Amazon Lookout for Metrics -konsolissa ilmaisimeen.
2. Valita Lisää tietoaineisto.
   
3. varten Nimi, kirjoita nimi (esimerkiksi air-quality-dataset).
4. varten Tietolähde, valitse tietolähde (tätä viestiä varten Amazon S3).
   
5. varten Ilmaisintila, valitse tilasi (tätä viestiä varten, Jatkuva).

Amazon S3:lla voit luoda ilmaisimen kahdessa tilassa:

• • Backtest – Tätä tilaa käytetään poikkeamien etsimiseen historiallisista tiedoista. Kaikki tietueet on yhdistettävä yhdeksi tiedostoksi.
  • Jatkuva – Tätä tilaa käytetään havaitsemaan poikkeavuuksia live-tiedoissa. Käytämme tätä tilaa käyttötapauksessamme, koska haluamme havaita poikkeavuuksia, kun saamme ilmansaastetietoja ilmanvalvontaanturilta.

6. Anna S3-polku elävälle S3-kansiolle ja polkukuviolle.
7. varten Tietolähteen väli, valitse 5 minuutin välein.Jos sinulla on historiallisia tietoja, joista ilmaisin voi oppia kuvioita, voit antaa ne tämän määrityksen aikana. Tietojen odotetaan olevan samassa muodossa, jota käytät backtestin suorittamiseen. Historiallisten tietojen tarjoaminen nopeuttaa ML-mallin koulutusprosessia. Jos tätä ei ole saatavilla, jatkuva ilmaisin odottaa, että käytettävissä on riittävästi tietoa ennen päätelmien tekemistä.
8. Tätä viestiä varten meillä on jo historiallisia tietoja, joten valitse Käytä historiallisia tietoja.
9. Syötä S3-polku historical_data.json.
10. varten Tiedostomuotovalitse JSON-linjat.
    

Tässä vaiheessa Lookout for Metrics käyttää tietolähdettä ja tarkistaa, voiko se jäsentää tiedot. Jos jäsentäminen onnistuu, se antaa sinulle "Vahvistus onnistui" -viestin ja vie sinut seuraavalle sivulle, jossa määrität mitat, mitat ja aikaleimat.

Määritä mitat, mitat ja aikaleimat

Toimenpiteet määritä KPI:t, joiden poikkeavuuksia haluat seurata. Voit lisätä enintään viisi mittaa tunnistinta kohden. Kenttien, joita käytetään KPI:iden luomiseen lähdetiedoistasi, on oltava numeerisia. KPI:t voidaan tällä hetkellä määrittää kokoamalla tietueita aikavälin sisällä tekemällä SUM tai AVERAGE.

Mitat antaa sinulle mahdollisuuden viipaloida ja pilkkoa tietojasi määrittämällä luokkia tai segmenttejä. Tämän avulla voit seurata poikkeavuuksia koko tietojoukon osajoukossa, johon tiettyä mittaa voidaan soveltaa.

Käyttötapauksessamme lisäämme kolme mittaa, jotka laskevat 5 minuutin välein nähtyjen kohteiden AVG:n ja joilla on vain yksi ulottuvuus, joille mitataan epäpuhtauspitoisuutta.

Jokaisella tietojoukon tietueella on oltava aikaleima. Seuraavassa konfiguraatiossa voit valita aikaleiman arvoa edustavan kentän sekä aikaleiman muodon.

Seuraavalla sivulla voit tarkastella kaikkia lisäämiäsi tietoja ja sitten tallentaa ja aktivoida ilmaisimen.

Sen jälkeen ilmaisin alkaa oppia datan virtaamista tietolähteeseen. Tässä vaiheessa ilmaisimen tilaksi vaihtuu Initializing.

On tärkeää huomata vähimmäismäärä dataa, joka tarvitaan ennen kuin Lookout for Metrics voi alkaa havaita poikkeavuuksia. Lisätietoja vaatimuksista ja rajoista on kohdassa Etsi metriikiintiöitä.

Minimaalisella kokoonpanolla olet luonut ilmaisimen, osoittanut sen tietojoukkoon ja määrittänyt mittarit, joista haluat Lookout for Metricsin löytävän poikkeavuuksia.

Visualisoi poikkeavuuksia

Lookout for Metrics tarjoaa monipuolisen käyttöliittymän käyttäjille, jotka haluavat käyttää AWS-hallintakonsoli analysoida havaittuja poikkeavuuksia. Se tarjoaa myös mahdollisuuden kysellä poikkeavuuksia API:iden kautta.

Katsotaanpa esimerkkiä ilmanlaatutietojen käyttötapauksestamme havaitusta poikkeavasta. Seuraavassa kuvakaappauksessa näkyy poikkeama, joka on havaittu ilmassa CO-pitoisuudessa määritettynä aikana ja päivämääränä vakavuuspisteellä 93. Se näyttää myös mittasuhteen prosentuaalisen vaikutuksen poikkeamaan. Tässä tapauksessa 100 %:n panos tulee sijaintitunnuksen B-101-ulottuvuudesta.

Luo hälytyksiä

Lookout for Metrics -palvelun avulla voit lähettää hälytyksiä useilla eri kanavilla. Voit määrittää poikkeavuuksien vakavuuden kynnyksen, jonka jälkeen hälytykset on käynnistettävä.

Käyttötapauksessamme määritämme hälytykset lähetettäväksi osoitteeseen Amazonin yksinkertainen ilmoituspalvelu (Amazon SNS) -kanavalle, joka puolestaan ​​lähettää tekstiviestin. Seuraavat kuvakaappaukset näyttävät kokoonpanon tiedot.

Voit myös käyttää hälytystä laukaisemaan automaatioita käyttämällä AWS Lambda toimii API-ohjattujen toimintojen ohjaamiseksi AWS IoT Coressa.

Yhteenveto

Tässä viestissä näytimme sinulle, kuinka helppoa Lookout for Metrics ja Kinesis Data Firehose on helppo käyttää poistamaan erottumaton raskas nosto, joka liittyy ML-käyttöisten poikkeamien havaitsemissovellusten rakentamisen päästä päähän -elinkaarin hallintaan. Tämä ratkaisu voi auttaa sinua nopeuttamaan kykyäsi löytää poikkeavuuksia keskeisistä liiketoimintamittareista ja antaa sinun keskittyä yrityksesi kasvattamiseen ja parantamiseen.

Kannustamme sinua oppimaan lisää käymällä osoitteessa Amazon Lookout for Metrics -kehittäjäopas ja kokeile näiden palveluiden mahdollistamaa kokonaisvaltaista ratkaisua yrityksesi KPI-arvoihin liittyvän tietojoukon avulla.

---

Kirjailijasta

Dhiraj Thakur on ratkaisuarkkitehti Amazon Web Services -palvelun kanssa. Hän tarjoaa AWS-asiakkaiden ja -kumppaneiden kanssa neuvoja yrityksen pilvipalvelujen käyttöönotosta, siirtymisestä ja strategiasta. Hän on intohimoinen tekniikkaan ja nauttii rakentamisesta ja kokeilemisesta analytiikan ja tekoälyn / ML-avaruudessa.