Építsen, képezzen és telepítsen Amazon Lookout for Equipment modelleket a Python Toolbox segítségével

A prediktív karbantartás hatékony módja lehet az ipari gépek meghibásodásának és a költséges leállások megelőzésének azáltal, hogy proaktívan figyeli a berendezés állapotát, így Ön figyelmeztetést kaphat minden rendellenességre, mielőtt a berendezés meghibásodna. Az érzékelők telepítése és az adatkapcsolathoz, tároláshoz, elemzéshez és riasztáshoz szükséges infrastruktúra a prediktív karbantartási megoldások alapvető elemei. Azonban még az ad hoc infrastruktúra telepítése után is sok vállalat alapvető adatelemzést és egyszerű modellezési megközelítéseket alkalmaz, amelyek gyakran nem hatékonyak a problémák elég korai észlelésében, hogy elkerüljék a leállást. Ezenkívül nehéz és időigényes lehet egy gépi tanulási (ML) megoldás bevezetése a berendezéseihez.

A Amazon Lookout berendezések, automatikusan elemezheti ipari berendezései érzékelőadatait, hogy észlelje a gép rendellenes viselkedését – ML tapasztalat nélkül. Ez azt jelenti, hogy gyorsan és pontosan észlelheti a berendezések rendellenességeit, gyorsan diagnosztizálhatja a problémákat, és lépéseket tehet a költséges leállások csökkentése érdekében.

A Lookout for Equipment elemzi az érzékelőkből és rendszerekből származó adatokat, például a nyomást, az áramlási sebességet, a fordulatszámot, a hőmérsékletet és a teljesítményt, hogy az adatok alapján automatikusan betanítsa a berendezésére jellemző modellt. Az Ön egyedi ML-modelljét használja a bejövő érzékelőadatok valós időben történő elemzésére, és azonosítja azokat a korai figyelmeztető jeleket, amelyek géphibákhoz vezethetnek. A Lookout for Equipment minden észlelt riasztás esetén meghatározza, hogy mely érzékelők jelzik a problémát, és meghatározza az észlelt eseményre gyakorolt ​​hatás mértékét.

Az a küldetésünk, hogy az ML-t minden fejlesztő kezébe adjuk, egy újabb kiegészítőt szeretnénk bemutatni a Lookout for Equipmenthez: egy nyílt forráskódú Python eszköztár amely lehetővé teszi a fejlesztők és adattudósok számára a Lookout for Equipment modellek megépítését, betanítását és üzembe helyezését az Ön által megszokotthoz hasonlóan Amazon SageMaker. Ez a könyvtár a Lookout for Equipment boto3 python API tetején található csomag, és arra szolgál, hogy elindítsa az utazást ezzel a szolgáltatással. Ha bármilyen fejlesztési javaslata van, vagy hibát jelezne, kérjük, jelezze az eszköztár ellen GitHub tárház.

Ebben a bejegyzésben lépésről lépésre nyújtunk útmutatót a Lookout for Equipment nyílt forráskódú Python eszköztárának SageMaker notebookon belüli használatához.

Környezet beállítása

A nyílt forráskódú Lookout for Equipment eszköztár SageMaker notebookból való használatához meg kell adnunk a SageMaker notebook számára a Lookout for Equipment API-k hívásához szükséges engedélyeket. Ennél a bejegyzésnél feltételezzük, hogy már létrehozott egy SageMaker notebook példányt. Az utasításokat lásd Kezdje el az Amazon SageMaker notebook példányait. A jegyzetfüzet-példány automatikusan végrehajtási szerepkörhöz van társítva.

1. A példányhoz csatolt szerepkör megkereséséhez válassza ki a példányt a SageMaker konzolon.
   
2. A következő képernyőn görgessen lefelé, hogy megtalálja a AWS Identity and Access Management (IAM) szerepkör kapcsolódik a példányhoz a Engedélyek és titkosítás szakasz.
3. Válassza ki a szerepkört az IAM-konzol megnyitásához.
   

Ezután a SageMaker IAM szerepkörünkhöz egy soron belüli szabályzatot csatolunk.

4. A Engedélyek A megnyitott szerepkör lapját válassza ki Inline szabályzat hozzáadása.
   
5. A JSON lapon írja be a következő kódot. Wild card akciót használunk (lookoutequipment:*) a szolgáltatás demó céljára. Valós felhasználási esetekben csak a szükséges engedélyeket adja meg a megfelelő SDK API-hívások futtatásához.

    { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "lookoutequipment:*" ], "Resource": "*" } ] }

6. A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Áttekintési szabályzat.
7. Adjon nevet a házirendnek, és hozza létre a szabályzatot.

Az előző soron belüli szabályzaton túlmenően, ugyanazon IAM-szerepkörben, bizalmi kapcsolatot kell létrehoznunk, hogy a Lookout for Equipment átvehesse ezt a szerepet. A SageMaker szerepkör már rendelkezik a megfelelő adathozzáféréssel Amazon egyszerű tárolási szolgáltatás (Amazon S3); Ha lehetővé teszi a Lookout for Equipment számára, hogy felvegye ezt a szerepet, biztosítja, hogy ugyanolyan hozzáféréssel rendelkezzen az adatokhoz, mint a notebook. Előfordulhat, hogy az Ön környezetében már rendelkezik egy meghatározott szerepkörrel, amely biztosítja, hogy a Lookout for Equipment hozzáférjen az Ön adataihoz, ebben az esetben nem kell módosítania ennek a közös szerepkörnek a bizalmi kapcsolatát.

8. A SageMaker IAM szerepkörünkön belül a Bizalmi kapcsolatok lapot választani A bizalmi kapcsolat szerkesztése.
9. A szabályzat dokumentum alatt cserélje ki a teljes szabályzatot a következő kódra:

    { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Service": "lookoutequipment.amazonaws.com" }, "Action": "sts:AssumeRole" } ] }

10. A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Frissítse a bizalmi szabályzatot.

Most már készen állunk a Lookout for Equipment eszköztár használatára a SageMaker notebook környezetünkben. A Lookout for Equipment eszköztár egy nyílt forráskódú Python-csomag, amely lehetővé teszi az adattudósok és szoftverfejlesztők számára, hogy a Lookout for Equipment segítségével egyszerűen építsenek és telepítsenek idősoros anomália-észlelési modelleket. Nézzük, mit érhetsz el könnyebben az eszköztárnak köszönhetően!

Dependencies

Az írás idején az eszköztárnak telepítve kell lennie:

• Piton(>=3.6)
• boto3 (>= 1.17.48)
• árleszállítás
• számtalan
• pandák
• pyarrow
• s3fs

Miután megfelelt ezeknek a függőségeknek, telepítheti és elindíthatja a Lookout for Equipment eszköztárat a következő paranccsal egy Jupyter terminálból:

pip install lookoutequipment

Az eszköztár most használatra kész. Ebben a bejegyzésben bemutatjuk, hogyan kell használni az eszköztárat egy anomália-észlelési modell betanításával és telepítésével. Egy tipikus ML fejlesztési életciklus a betanításhoz szükséges adatkészlet felépítéséből, a modell betanításából, a modell telepítéséből és a modellre vonatkozó következtetések végrehajtásából áll. Az eszköztár meglehetősen átfogó az általa nyújtott funkciókat tekintve, de ebben a bejegyzésben a következő képességekre összpontosítunk:

• Készítse elő az adatkészletet
• Tanuljon meg egy anomália-észlelési modellt a Lookout for Equipment segítségével
• Készítsen vizualizációkat a modellértékeléshez
• Konfiguráljon és indítson el egy következtetési ütemezőt
• Vizualizálja az ütemező következtetések eredményeit

Nézzük meg, hogyan használhatjuk az eszköztárat az egyes funkciókhoz.

Készítse elő az adatkészletet

A Lookout for Equipment használatához adatkészletet kell létrehozni és feldolgozni. Az adatkészlet előkészítéséhez hajtsa végre a következő lépéseket:

1. Az adatkészlet létrehozása előtt be kell töltenünk egy mintaadatkészletet, és fel kell töltenünk egy Amazon egyszerű tárolási szolgáltatás (Amazon S3) vödör. Ebben a bejegyzésben a expander adatkészlet:

   from lookoutequipment import dataset data = dataset.load_dataset(dataset_name='expander', target_dir='expander-data')
   dataset.upload_dataset('expander-data', bucket, prefix)

A visszatért data Az objektum a következőket tartalmazó szótárat képvisel:

• • A képzési adatok DataFrame
  • A DataFrame-et jelöl
  • A képzés kezdési és befejezési időpontja
  • Az értékelés kezdő és befejező dátuma
  • A DataFrame-et leíró címkék

A képzési és címkeadatok a célkönyvtárból feltöltődnek az Amazon S3-ba a vödör/előtag helyén.

2. Miután feltöltöttük az adatkészletet az S3-ba, létrehozunk egy objektumot LookoutEquipmentDataset osztály, amely az adatkészletet kezeli:

   lookout_dataset = dataset.LookoutEquipmentDataset( dataset_name='my_dataset', access_role_arn=role_arn, component_root_dir=f's3://{bucket}/{prefix}training-data'
   ) # creates the dataset
   lookout_dataset.create()

A access_role_arn a szállítottnak hozzá kell férnie ahhoz az S3 tárolóhoz, ahol az adatok vannak. A SageMaker jegyzetfüzetpéldány ARN szerepkörét lekérheti az előzőből Környezet beállítása szakaszt, és adjon hozzá egy IAM-házirendet, amely hozzáférést biztosít az S3 tárolóhoz. További információkért lásd IAM-irányelvek írása: Hogyan biztosítsunk hozzáférést egy Amazon S3 tárolóhoz.

A component_root_dir paraméternek meg kell jelölnie azt a helyet az Amazon S3-ban, ahol az edzési adatokat tárolják.

Miután elindítottuk az előző API-kat, létrejött az adatkészletünk.

3. Az adatok beolvasása az adatkészletbe:

   response = lookout_dataset.ingest_data(bucket, prefix + 'training-data/')

Most, hogy adatai elérhetők az Amazon S3-on, egy adatkészlet létrehozása és a benne lévő adatok feldolgozása mindössze három kódsor kérdése. Nem kell manuálisan elkészítenie egy hosszadalmas JSON-sémát; az eszköztár felismeri a fájlstruktúrát, és elkészíti azt az Ön számára. Az adatok feldolgozása után ideje áttérni az edzésre!

Tanuljon meg egy anomália-észlelő modellt

Miután az adatok bekerültek az adatkészletbe, megkezdhetjük a modell betanítási folyamatát. Lásd a következő kódot:

from lookoutequipment import model lookout_model = model.LookoutEquipmentModel(model_name='my_model', dataset_name='my_dataset') lookout_model.set_time_periods(data['evaluation_start'],data['evaluation_end'],data['training_start'],data['training_end'])
lookout_model.set_label_data(bucket=bucket,prefix=prefix + 'label-data/',access_role_arn=role_arn)
lookout_model.set_target_sampling_rate(sampling_rate='PT5M') #trigger training job
response = lookout_model.train() #poll every 5 minutes to check the status of the training job
lookout_model.poll_model_training(sleep_time=300)

A képzés elindítása előtt meg kell határoznunk a képzési és értékelési időszakokat az adatállományon belül. Beállítottuk azt a helyet is az Amazon S3-ban, ahol a címkézett adatok tárolásra kerülnek, és a mintavételi gyakoriságot 5 percre állítottuk be. Miután elindítottuk a képzést, a poll_model_training lekérdezi a képzési munka állapotát 5 percenként, amíg a képzés sikeres lesz.

A Lookout for Equipment eszköztár oktatómodulja lehetővé teszi egy 10 sornál kevesebb kódsorból álló modell betanítását. Az alacsony szintű API-hoz szükséges összes hosszúságú létrehozási kérelmet az Ön nevében építi fel, így nincs szükség hosszú, hibákra hajlamos JSON-dokumentumokra.

A modell betanítása után vagy ellenőrizhetjük az eredményeket az értékelési időszak során, vagy konfigurálhatunk egy következtetésütemezőt az eszköztár segítségével.

Értékeljen egy képzett modellt

A modell betanítása után a DescribeModel A Lookout for Equipment API-ja rögzíti a képzéshez kapcsolódó mérőszámokat. Ez az API egy JSON-dokumentumot ad vissza két érdekes mezővel az értékelési eredmények ábrázolásához: labeled_ranges és a predicted_ranges, amelyek az értékelési tartományban az ismert és előre jelzett anomáliákat, ill. Az eszköztár segédprogramokat biztosít ezeknek a Pandas DataFrame-be való betöltéséhez:

from lookoutequipment import evaluation LookoutDiagnostics = evaluation.LookoutEquipmentAnalysis(model_name='my_model', tags_df=data['data']) predicted_ranges = LookoutDiagnostics.get_predictions()
labels_fname = os.path.join('expander-data', 'labels.csv')
labeled_range = LookoutDiagnostics.get_labels(labels_fname)

A tartományok DataFrame-be való betöltésének előnye, hogy szép vizualizációkat készíthetünk az egyik eredeti idősor jel ábrázolásával, és hozzáadjuk a címkézett és előre jelzett rendellenes események átfedését a TimeSeriesVisualization az eszköztár osztálya:

from lookoutequipment import plot TSViz = plot.TimeSeriesVisualization(timeseries_df=data['data'], data_format='tabular')
TSViz.add_signal(['signal-001'])
TSViz.add_labels(labeled_range)
TSViz.add_predictions([predicted_ranges])
TSViz.add_train_test_split(data['evaluation_start'])
TSViz.add_rolling_average(60*24)
TSViz.legend_format = {'loc': 'upper left', 'framealpha': 0.4, 'ncol': 3}
fig, axis = TSViz.plot()

Ez a néhány soros kód létrehoz egy diagramot a következő jellemzőkkel:

• A kiválasztott jel vonaldiagramja; a modell betanítására használt rész kék színnel, míg a kiértékelő rész szürkével jelenik meg
• A gördülő átlag vékony piros vonalként jelenik meg az idősoron
• A címkék „Ismert rendellenességek” feliratú zöld szalagon jelennek meg (alapértelmezés szerint)
• Az előrejelzett események egy „Észlelt események” feliratú piros szalagon jelennek meg.

Az eszköztár elvégzi a JSON-fájlok helyének meghatározásával, betöltésével és elemzésével kapcsolatos összes nehéz feladatot, miközben használatra kész vizualizációkat biztosít, amelyek tovább csökkentik az anomália-észlelési modellekből való betekintéshez szükséges időt. Ebben a szakaszban az eszköztár lehetővé teszi, hogy az eredmények értelmezésére összpontosítson, és olyan lépéseket tegyen, amelyek közvetlen üzleti értéket biztosítanak a végfelhasználóknak. Ezeken az idősor-vizualizációkon kívül az SDK más diagramokat is biztosít, például a jelek értékeinek hisztogram-összehasonlítását a normál és a rendellenes idők között. Ha többet szeretne megtudni az egyéb, azonnal használható vizualizációs lehetőségekről, tekintse meg a Keresse meg a Berendezés eszköztár dokumentációját.

Menetrendi következtetés

Nézzük meg, hogyan ütemezhetjük a következtetéseket az eszköztár segítségével:

from lookout import scheduler #prepare dummy inference data
dataset.prepare_inference_data( root_dir='expander-data', sample_data_dict=data, bucket=bucket, prefix=prefix
) #setup the scheduler
lookout_scheduler = scheduler.LookoutEquipmentScheduler(scheduler_name='my_scheduler',model_name='my_model')
scheduler_params = { 'input_bucket': bucket, 'input_prefix': prefix + 'inference-data/input/', 'output_bucket': bucket, 'output_prefix': prefix + 'inference-data/output/', 'role_arn': role_arn, 'upload_frequency': 'PT5M', 'delay_offset': None, 'timezone_offset': '+00:00', 'component_delimiter': '_', 'timestamp_format': 'yyyyMMddHHmmss' } lookout_scheduler.set_parameters(**scheduler_params)
response = lookout_scheduler.create()

Ez a kód létrehoz egy ütemezőt, amely 5 percenként feldolgoz egy fájlt (amely megegyezik az ütemező konfigurálásakor beállított feltöltési gyakorisággal). Körülbelül 15 perc elteltével elérhetővé kell válnunk néhány eredmény. Ahhoz, hogy ezeket az eredményeket megkapjuk az ütemezőtől egy Pandas DataFrame-ben, csak a következő parancsot kell futtatnunk:

results_df = lookout_scheduler.get_predictions()

Innentől kezdve az eszköztár vizualizációs API-jait használva ábrázolhatjuk a jellemzők fontosságát egy előrejelzéshez:

event_details = pd.DataFrame(results_df.iloc[0, 1:]).reset_index()
fig, ax = plot.plot_event_barh(event_details)

A következő jellemző fontossági vizualizációt készíti a mintaadatokon.

Az eszköztár egy API-t is biztosít az ütemező leállításához. Lásd a következő kódrészletet:

scheduler.stop()

Tisztítsuk meg

Az összes korábban létrehozott műtermék törléséhez hívhatjuk a delete_dataset API adatkészletünk nevével:

dataset.delete_dataset(dataset_name='my_dataset', delete_children=True, verbose=True)

Következtetés

Amikor az ipari és gyártási ügyfelekkel beszélünk, az AI és az ML előnyeinek kihasználásával kapcsolatos gyakori kihívás a testreszabás, valamint a specifikus fejlesztési és adattudományi munka, amely megbízható és használható eredmények eléréséhez szükséges. Az anomália-észlelési modellek betanítása és a számos különféle ipari géphez használható előzetes figyelmeztetés előfeltétele a karbantartási erőfeszítések csökkentésének, az utómunkálatok vagy a pazarlás csökkentésének, a termékminőség javításának, valamint az általános berendezés-hatékonyság (OEE) vagy termékvonalak javításának. Ez idáig hatalmas mennyiségű specifikus fejlesztési munkát igényelt, amelyet nehéz idővel skálázni és fenntartani.

Az Amazon Applied AI szolgáltatásai, mint például a Lookout for Equipment, lehetővé teszik a gyártók számára, hogy mesterséges intelligencia modelleket készítsenek anélkül, hogy hozzáférnének egy sokoldalú adattudósokból, adatmérnökökből és folyamatmérnökökből álló csapathoz. Mostantól a Lookout for Equipment eszköztárral a fejlesztők tovább csökkenthetik az idősorok adatainak megismeréséhez és a cselekvéshez szükséges időt. Ez az eszköztár könnyen használható, fejlesztőbarát felületet biztosít az anomália-észlelési modellek gyors felépítéséhez a Lookout for Equipment segítségével. Az eszköztár nyílt forráskódú, és az összes SDK-kód megtalálható a amazon-lookout-for-equipment-python-sdk GitHub repó. Elérhető a PyPi csomag.

Ez a bejegyzés csak néhányat fed le a legfontosabb API-k közül. Az érdeklődő olvasók megnézhetik a eszköztár dokumentációja hogy megvizsgálja az eszköztár fejlettebb képességeit. Próbáld ki, és kommentben oszd meg velünk, mit gondolsz!

A szerzőkről

Vikesh Pandey az AWS Machine Learning Specialist Solutions Architect munkatársa, aki az Egyesült Királyságban és a tágabb EMEA régióban lévő ügyfeleknek segít ML megoldások tervezésében és kivitelezésében. A munkán kívül Vikesh szívesen kipróbálja a különböző konyhákat és szabadtéri sportokat űz.

Ioan Catana az AWS mesterséges intelligencia és gépi tanulási megoldások szakértője. Segít az ügyfeleknek ML megoldásaik fejlesztésében és méretezésében az AWS Cloudban. Ioan több mint 20 éves tapasztalattal rendelkezik, főleg a szoftverarchitektúra tervezésében és a felhőtervezésben.

Michael Hoarau az AWS AI/ML Specialist Solutions Architect, aki az adott pillanattól függően felváltva dolgozik adattudós és gépi tanulási építész között. Szenvedélyesen törekszik az AI/ML erejének ipari ügyfelei számára történő bemutatására, és az ML felhasználási esetek széles skáláján dolgozott, az anomáliák észlelésétől a prediktív termékminőségig vagy a gyártásoptimalizálásig. Amikor nem segít az ügyfeleknek a következő legjobb gépi tanulási élmények kialakításában, szívesen megfigyeli a csillagokat, utazik vagy zongorázik.

• Coinsmart. Európa legjobb Bitcoin- és kriptográfiai tőzsdéje.
• Platoblockchain. Web3 metaverzum intelligencia. Felerősített tudás. SZABAD HOZZÁFÉRÉS.
• CryptoHawk. Altcoin radar. Ingyenes próbaverzió.
• Forrás: https://aws.amazon.com/blogs/machine-learning/build-train-and-deploy-amazon-lookout-for-equipment-models-using-the-python-toolbox/