Készítsen levegőminőségi rendellenesség-érzékelőt az Amazon Lookout for Metrics segítségével

Napjainkban a légszennyezettség ismert környezeti probléma, amely súlyos légzőszervi és szívbetegségeket okoz, amelyek komoly egészségügyi veszélyt jelentenek. A savas esők, az ózonréteg csökkenése és a globális felmelegedés szintén a légszennyezés káros következményei. Intelligens felügyeletre és automatizálásra van szükség a súlyos egészségügyi problémák és szélsőséges esetekben az életveszélyes helyzetek megelőzése érdekében. A levegő minőségét a levegőben lévő szennyező anyagok koncentrációjával mérik. Kulcsfontosságú a tünetek korai felismerése és a szennyezőanyag szintjének ellenőrzése, mielőtt az veszélyessé válna. A levegő minőségének és a szennyező anyagok tömegének anomáliájának azonosítása, valamint a kiváltó ok gyors diagnosztizálása nehéz, költséges és hibalehető.

A mesterséges intelligencia és a gépi tanulás (ML) alapú megoldások alkalmazása az adatok anomáliáinak felderítésére sok bonyolultsággal jár az adatok megfelelő formátumban történő feldolgozásában, kezelésében és előkészítésében, majd ezen ML-modellek hatékonyságának optimalizálása és fenntartása hosszú időn keresztül. idő. Ez volt az egyik akadálya az ML-képességek gyors bevezetésének és skálázásának.

Ez a bejegyzés bemutatja, hogyan használhatunk integrált megoldást Amazon Lookout for Metrics és a Amazon Kinesis Data Firehose hogy áttörje ezeket a korlátokat azáltal, hogy gyorsan és egyszerűen feldolgozza a streaming adatokat, és ezt követően észleli az Ön érdeklődésére számot tartó kulcsfontosságú teljesítménymutatók anomáliáit.

A Lookout for Metrics automatikusan észleli és diagnosztizálja az anomáliákat (a normától eltérő értékeket) az üzleti és működési adatokban. Ez egy teljesen felügyelt ML-szolgáltatás, amely speciális ML-modelleket használ az anomáliák észlelésére az adatok jellemzői alapján. Például a trendek és a szezonalitás az idősor-metrikák két jellemzője, amelyekben a küszöb alapú anomália-észlelés nem működik. A trendek a metrika értékének folyamatos változásai (növekedése vagy csökkenése). Másrészt a szezonalitás időszakos mintázatok, amelyek egy rendszerben előfordulnak, általában az alapvonal fölé emelkednek, majd ismét csökkennek. A Lookout for Metrics használatához nem szükséges ML-tapasztalat.

Bemutatunk egy közös levegőminőség-ellenőrzési forgatókönyvet, amelyben a levegő szennyezőanyag-koncentrációjában észlelünk anomáliákat. A bejegyzés végére megtudhatja, hogyan használhatja az AWS felügyelt szolgáltatásait az egészségügyi problémák és a globális felmelegedés megelőzésére. Ezt a megoldást más felhasználási esetekre is alkalmazhatja a jobb környezetkezelés érdekében, például a vízminőség, a talajminőség és az energiafogyasztási minták anomáliáinak észleléséhez, hogy csak néhányat említsünk.

Megoldás áttekintése

Az architektúra három funkcionális blokkból áll:

• Stratégiai helyeken elhelyezett vezeték nélküli érzékelők a szén-monoxid (CO), a kén-dioxid (SO2) és a nitrogén-dioxid (NO2) koncentrációjának szintjének érzékelésére a levegőben
• Streaming adatbevitel és tárolás
• Anomália észlelése és értesítése

A megoldás teljesen automatizált adatutat biztosít az érzékelőktől egészen a felhasználó értesítéséig. Az azonosított rendellenességek elemzéséhez a Lookout for Metrics UI használatával is kapcsolatba léphet a megoldással.

Az alábbi ábra szemlélteti megoldásunk architektúráját.

Előfeltételek

A megoldás folytatásához a következő előfeltételeknek kell megfelelniük. Ehhez a bejegyzéshez az us-east-1 régiót használjuk.

1. Töltse le a Python szkriptet (közzé.py) és adatfájlt a GitHub repo.
2. Nyissa meg a live_data.csv fájlt a kívánt szerkesztőben, és cserélje ki a dátumokat a mai és a holnapi dátumra. Ha például a mai dátum 8. július 2022., akkor cserélje ki 2022-03-25 val vel 2022-07-08. A formátum maradjon ugyanaz. Ez szükséges az aktuális dátum szenzoradatainak szimulálásához az IoT-szimulátor parancsfájl használatával.
3. Létrehozása Amazon egyszerű tárolási szolgáltatás (Amazon S3) vödröt és egy nevű mappát air-quality. Hozzon létre egy almappát belül air-quality nevezett historical. Az utasításokat lásd Mappa létrehozása.
4. Töltse fel a live_data.csv fájlt a gyökér S3 vödörbe és historical_data.json a történelmi mappában.
5. Létrehozása AWS Cloud9 fejlesztői környezet, amelyet a Python szimulátor program futtatására használunk, hogy szenzoradatokat hozzunk létre ehhez a megoldáshoz.

Foglaljon be és alakítson át adatokat az AWS IoT Core és a Kinesis Data Firehose segítségével

Kinesis Data Firehose kézbesítési adatfolyamot használunk a streaming adatok feldolgozására AWS IoT Core és szállítsa le az Amazon S3-ra. Hajtsa végre a következő lépéseket:

1. A Kinesis Data Firehose konzolon válassza a lehetőséget Kézbesítési adatfolyam létrehozása.
2. A forrás, választ Közvetlen PUT.
3. A Rendeltetési hely, választ Amazon S3.
4. A Kézbesítési adatfolyam neve, adja meg a kézbesítési adatfolyam nevét.
   
5. A S3 vödör, írja be előfeltételként a létrehozott gyűjtőt.
6. Adja meg a következő értékeit S3 vödör előtag és a S3 vödör hiba kimeneti előtag.Az egyik legfontosabb megjegyzés az egyéni előtag konfigurációja, amely az Amazon S3 célállomáshoz van konfigurálva. Ez az előtagminta biztosítja, hogy az adatok a Lookout for Metrics által elvárt előtag-hierarchiának megfelelően az S3-csoportban legyenek létrehozva. (Erről a bejegyzés későbbi részében olvashat bővebben.) Az egyéni előtagokkal kapcsolatos további információkért lásd: Egyéni előtagok az Amazon S3 objektumokhoz.
   
7. A Puffer intervallum, belép 60.
   
8. A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a IAM-szerep létrehozása vagy frissítése.
9. A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Kézbesítési adatfolyam létrehozása.
   
   Most konfiguráljuk az AWS IoT Core-t, és futtatjuk a levegőminőség-szimulátor programot.
10. Az AWS IoT Core konzolon hozzon létre egy AWS IoT-házirendet adminnak hívják.
11. alatti navigációs ablakban Üzenetirányítás, választ Szabályok.
12. A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Szabály létrehozása.
13. Hozzon létre egy szabályt a Kinesis Data Firehose (firehose) akció.
    Ez adatokat küld egy MQTT üzenetből egy Kinesis Data Firehose kézbesítési adatfolyamba.
14. A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Teremt.
    
15. Hozzon létre egy AWS IoT-dolgot névvel Test-Thing és csatolja az Ön által létrehozott szabályzatot.
16. Töltse le az AWS IoT Core tanúsítványát, nyilvános kulcsát, privát kulcsát, eszköztanúsítványát és gyökér CA-ját.
17. Mentse el az egyes letöltött fájlokat a certificates korábban létrehozott alkönyvtárat.
    
18. Töltse fel a publish.py fájlt a iot-test-publish mappát.
19. Az AWS IoT Core konzol navigációs ablaktábláján válassza a lehetőséget beállítások.
20. Alatt Egyéni végpont, másolja a végpontot.
    Ez az AWS IoT Core egyéni végpont URL-címe az Ön AWS-fiókjához és régiójához tartozik.
21. Cserélje customEndpointUrl az AWS IoT Core egyéni végpont URL-jével, a tanúsítvány nevével ellátott tanúsítványokkal és Your_S3_Bucket_Name az S3 vödör nevével.
    Ezután telepítse a pip-et és az AWS IoT SDK-t a Pythonhoz.
22. Jelentkezzen be az AWS Cloud9 szolgáltatásba, és hozzon létre egy munkakönyvtárat a fejlesztői környezetben. Például: aq-iot-publish.
23. Hozzon létre egy alkönyvtárat a tanúsítványok számára az új munkakönyvtárban. Például: certificates.
24. Telepítse az AWS IoT SDK-t a Python v2-hez a következő parancssorból való futtatásával.

    pip install awsiotsdk

25. Az adatfolyam teszteléséhez futtassa a következő parancsot:

    python3 publish.py

A hasznos terhet a következő képernyőképen láthatja.

Végül az adatok az előtag szerkezetében megadott S3 tárolóba kerülnek.

A fájlok adatai a következők:

• {"TIMESTAMP":"2022-03-20 00:00","LOCATION_ID":"B-101","CO":2.6,"SO2":62,"NO2":57}
• {"TIMESTAMP":"2022-03-20 00:05","LOCATION_ID":"B-101","CO":3.9,"SO2":60,"NO2":73}

Az időbélyegek azt mutatják, hogy minden fájl 5 perces időközönként tartalmaz adatokat.

Minimális kóddal immár feldolgoztuk az érzékelőadatokat, a bevitt adatokból bemeneti adatfolyamot hoztunk létre, és az adatokat egy S3 tárolóban tároltuk a Lookout for Metrics követelményei alapján.

A következő szakaszokban alaposabban áttekintjük a Lookout for Metrics konstrukcióit, és azt, hogy mennyire könnyű ezeket a fogalmakat konfigurálni a Lookout for Metrics konzol segítségével.

Hozzon létre egy detektort

Az érzékelő egy Lookout for Metrics erőforrás, amely figyeli az adatkészletet, és előre meghatározott gyakorisággal azonosítja az anomáliákat. Az érzékelők az ML-t használják az adatok mintáinak megtalálására, és megkülönböztetik az adatok várható eltéréseit és a jogos anomáliákat. A teljesítmény javítása érdekében az érzékelő idővel többet tud meg az adatokról.

Használati esetünkben az érzékelő 5 percenként elemzi az érzékelő adatait.

Az érzékelő létrehozásához lépjen a Lookout for Metrics konzolra, és válassza a lehetőséget Hozzon létre detektort. Adja meg az érzékelő nevét és leírását (nem kötelező), az 5 perces időközzel együtt.

Adatai alapértelmezés szerint egy olyan kulccsal vannak titkosítva, amelyet az AWS birtokol és kezel az Ön helyett. Azt is beállíthatja, hogy az alapértelmezés szerint használttól eltérő titkosítási kulcsot kíván-e használni.

Most irányítsuk ezt az érzékelőt azokra az adatokra, amelyeken az anomália-észlelést futtatni szeretné.

Hozzon létre egy adatkészletet

Egy adatkészlet közli az érzékelővel, hogy hol találja meg az adatokat, és mely mérőszámokat kell elemeznie az anomáliák szempontjából. Adatkészlet létrehozásához hajtsa végre a következő lépéseket:

1. Az Amazon Lookout for Metrics konzolon navigáljon az érzékelőhöz.
2. A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Adjon hozzá egy adatkészletet.
   
3. A Név, írjon be egy nevet (például air-quality-dataset).
4. A Adatforrás, válassza ki az adatforrást (ebben a bejegyzésben: Amazon S3).
   
5. A Detektor mód, válassza ki a módot (ehhez a bejegyzéshez, Folyamatos).

Az Amazon S3 segítségével két módban hozhat létre detektort:

• • Backtest – Ez a mód a korábbi adatok anomáliáinak keresésére szolgál. Az összes rekordot egyetlen fájlban kell összevonni.
  • Folyamatos – Ez a mód az élő adatok anomáliáinak észlelésére szolgál. Azért használjuk ezt az üzemmódot a használati esetünkkel, mert anomáliákat szeretnénk észlelni, amikor a levegőszennyező adatokat kapjuk a levegőfigyelő érzékelőtől.

6. Adja meg az élő S3 mappa S3 elérési útját és elérési útmintáját.
7. A Adatforrás intervallum, választ 5 perces időközönként.Ha olyan előzményadatokkal rendelkezik, amelyekből az érzékelő mintákat tanulhat, megadhatja ezeket a konfiguráció során. Az adatoknak ugyanabban a formátumban kell lenniük, mint amit a visszateszt végrehajtásához használ. A történeti adatok megadása felgyorsítja az ML modell betanítási folyamatát. Ha ez nem áll rendelkezésre, a folyamatos detektor megvárja, amíg elegendő adat áll rendelkezésre, mielőtt következtetéseket vonna le.
8. Ehhez a bejegyzéshez már rendelkezünk történelmi adatokkal, ezért válassz Használjon előzményadatokat.
9. Adja meg az S3 elérési útját historical_data.json.
10. A Fájlformátumválassza JSON vonalak.
    

Ezen a ponton a Lookout for Metrics hozzáfér az adatforráshoz, és ellenőrzi, hogy képes-e elemezni az adatokat. Ha az elemzés sikeres, akkor egy „Ellenőrzés sikeres” üzenet jelenik meg, és a következő oldalra viszi, ahol beállíthatja a mértékeket, a méreteket és az időbélyegeket.

Mértékek, méretek és időbélyegek konfigurálása

intézkedések határozza meg azokat a KPI-ket, amelyeknél nyomon kívánja követni az anomáliákat. Érzékelőnként legfeljebb öt mértéket adhat hozzá. A forrásadatokból KPI-k létrehozásához használt mezőknek numerikus formátumúaknak kell lenniük. A KPI-k jelenleg úgy határozhatók meg, hogy az időintervallumon belül összevonják a rekordokat SUM vagy AVERAGE segítségével.

Méretek lehetővé teszi az adatok szeletelését és feldarabolását kategóriák vagy szegmensek meghatározásával. Ez lehetővé teszi az anomáliák nyomon követését a teljes adathalmaz egy részhalmazában, amelyre egy adott intézkedés vonatkozik.

Használati esetünkben három olyan mértéket adunk hozzá, amelyek az 5 perces intervallumban látható objektumok AVG-jét számítják ki, és csak egy dimenziójuk van, amelyre a szennyezőanyag-koncentrációt mérik.

Az adatkészletben minden rekordnak rendelkeznie kell időbélyeggel. A következő konfiguráció lehetővé teszi az időbélyeg értékét jelentő mező kiválasztását, valamint az időbélyeg formátumát.

A következő oldalon áttekintheti az összes hozzáadott részletet, majd elmentheti és aktiválhatja az érzékelőt.

A detektor ezután elkezdi megtanulni az adatforrásba áramló adatfolyamot. Ebben a szakaszban az érzékelő állapota a következőre változik: Initializing.

Fontos megjegyezni azt a minimális adatmennyiséget, amelyre szükség van ahhoz, hogy a Lookout for Metrics megkezdhesse az anomáliák észlelését. A követelményekről és korlátokról további információkért lásd: Keresse a Metrics kvótákat.

Minimális konfigurációval létrehozta az érzékelőt, ráirányította egy adatkészletre, és meghatározta azokat a mutatókat, amelyekben a Lookout for Metrics anomáliákat keres.

Vizualizálja az anomáliákat

A Lookout for Metrics gazdag felhasználói felületet biztosít azoknak a felhasználóknak, akik szeretnék használni a AWS felügyeleti konzol hogy elemezze az észlelt anomáliákat. Lehetőséget biztosít az anomáliák API-kon keresztüli lekérdezésére is.

Nézzünk egy példát a levegőminőségi adatok felhasználási esetéből észlelt anomáliára. A következő képernyőkép a levegő CO-koncentrációjában észlelt anomáliát mutat be a kijelölt időpontban és időpontban, 93-as súlyossági pontszámmal. Azt is mutatja, hogy a dimenzió milyen százalékban járult hozzá az anomáliához. Ebben az esetben a 100%-os hozzájárulás a helyazonosító B-101 dimenziójából származik.

Figyelmeztetések létrehozása

A Lookout for Metrics segítségével riasztásokat küldhet különféle csatornákon. Beállíthatja az anomália súlyossági pontszámának küszöbértékét, amelynél a riasztásokat ki kell váltani.

Használati esetünkben úgy konfiguráljuk a riasztásokat, hogy azok egy Amazon Simple Notification Service (Amazon SNS) csatorna, amely viszont SMS-t küld. A következő képernyőképek a konfiguráció részleteit mutatják.

Riasztást is használhat automatizálás kiváltására a használatával AWS Lambda funkciókat, hogy API-vezérelt műveleteket hajtsanak végre az AWS IoT Core-on.

Következtetés

Ebben a bejegyzésben megmutattuk, milyen egyszerűen használható a Lookout for Metrics és a Kinesis Data Firehose, amellyel eltávolítható az ML-alapú anomália-észlelő alkalmazások teljes életciklusának kezelésében rejlő, differenciálatlan nehéz teher. Ez a megoldás segíthet abban, hogy felgyorsítsa a kulcsfontosságú üzleti mutatók anomáliáinak feltárását, és lehetővé teszi, hogy erőfeszítéseit vállalkozása növekedésére és fejlesztésére összpontosítsa.

Javasoljuk, hogy többet tudjon meg, ha ellátogat a Amazon Lookout for Metrics fejlesztői útmutató és próbálja ki az e szolgáltatások által lehetővé tett teljes körű megoldást az üzleti KPI-k szempontjából releváns adatkészlettel.

---

A szerzőről

Dhiraj Thakur az Amazon Web Services megoldástervezője. Az AWS-ügyfelekkel és -partnerekkel együttműködve útmutatást ad a vállalati felhő bevezetéséhez, migrációjához és stratégiájához. Szenvedélyes a technológia iránt, és szeret építeni és kísérletezni az analitika és az AI/ML térben.