Identificirajte lokacijo anomalij z uporabo Amazon Lookout for Vision na robu brez uporabe GPE

Avtomatsko odkrivanje napak z uporabo računalniškega vida pomaga izboljšati kakovost in znižati stroške pregleda. Odkrivanje napak vključuje prepoznavanje prisotnosti napake, razvrščanje vrst napak in ugotavljanje, kje se napake nahajajo. Mnogi proizvodni procesi zahtevajo zaznavanje pri nizki zakasnitvi, z omejenimi računalniškimi viri in z omejeno povezljivostjo.

Amazon Lookout for Vision je storitev strojnega učenja (ML), ki pomaga odkriti napake izdelkov z uporabo računalniškega vida za avtomatizacijo postopka nadzora kakovosti v vaših proizvodnih linijah, pri čemer ni potrebno strokovno znanje o ML. Lookout for Vision zdaj vključuje možnost zagotavljanja lokacije in vrste anomalij z uporabo modelov ML za semantično segmentacijo. Te prilagojene modele ML je mogoče uvesti v oblak AWS z uporabo API-ji v oblaku ali z uporabo strojne opreme po meri AWS IoT Zelena trava. Lookout for Vision zdaj podpira sklepanje na računalniški platformi x86, ki poganja Linux z ali brez NVIDIA GPU pospeševalnika, in na vseh robnih napravah, ki temeljijo na NVIDIA Jetson. Ta prilagodljivost omogoča odkrivanje napak na obstoječi ali novi strojni opremi.

V tej objavi vam pokažemo, kako zaznati okvarjene dele z uporabo modelov Lookout for Vision ML, ki se izvajajo na robni napravi, ki jo simuliramo z Amazonski elastični računalniški oblak (Amazon EC2) primerek. Sprehodimo se skozi usposabljanje novih modelov semantične segmentacije, jih izvažamo kot komponente AWS IoT Greengrass in izvajamo sklepanje v načinu samo za CPE s primerom kode Python.

Pregled rešitev

V tej objavi uporabljamo nabor slik igrače vesoljci sestavljen iz normalnih in pomanjkljivih slik, kot so manjkajoči udi, oči ali drugi deli. V oblaku usposobimo model Lookout for Vision za prepoznavanje okvarjenih tujcev igrač. Model prevedemo v ciljni CPE X86, zapakiramo usposobljeni model Lookout for Vision kot komponento AWS IoT Greengrass in uvedemo model v instanco EC2 brez GPU z uporabo konzole AWS IoT Greengrass. Nazadnje demonstriramo vzorčno aplikacijo, ki temelji na Pythonu in se izvaja na instanci EC2 (C5a.2xl), ki pridobi slike tujcev igrače iz datotečnega sistema robne naprave, izvaja sklepanje na modelu Lookout for Vision z uporabo gRPC vmesnik in pošlje sklepne podatke na MQTT tema v oblaku AWS. Skripta prikaže sliko, ki vključuje barvo in lokacijo napak na nepravilni sliki.

Naslednji diagram ponazarja arhitekturo rešitve. Pomembno je upoštevati, da morate za vsako vrsto napake, ki jo želite odkriti pri lokalizaciji, imeti 10 označenih slik anomalije v usposabljanju in 10 v preskusnih podatkih, za skupno 20 slik te vrste. Za to objavo iščemo manjkajoče okončine na igrači.

Rešitev ima naslednji potek dela:

1. Naložite nabor podatkov za usposabljanje in nabor testnih podatkov v Preprosta storitev shranjevanja Amazon (Amazon S3).
2. Uporabite novi uporabniški vmesnik Lookout for Vision, da dodate vrsto anomalije in označite, kje so te anomalije na slikah za usposabljanje in test.
3. Usposobite model Lookout for Vision v oblaku.
4. Prevedite model v ciljno arhitekturo (X86) in razmestite model v instanco EC2 (C5a.2xl) z uporabo konzole AWS IoT Greengrass.
5. Izvorne slike z lokalnega diska.
6. Zaženite sklepanje o razporejenem modelu prek vmesnika gRPC in pridobite sliko mask anomalij, prekritih z izvirno sliko.
7. Objavite rezultate sklepanja odjemalcu MQTT, ki se izvaja na robni instanci.
8. Prejmite sporočilo MQTT o temi v AWS IoT jedro v oblaku AWS za nadaljnje spremljanje in vizualizacijo.

Koraki 5, 6 in 7 so usklajeni z vzorčno aplikacijo Python.

Predpogoji

Preden začnete, izpolnite naslednje predpogoje. Za to objavo uporabljamo primerek EC2 c5.2xl in nanj namestimo AWS IoT Greengrass V2, da preizkusimo nove funkcije. Če želite uporabljati NVIDIA Jetson, sledite korakom v naši prejšnji objavi, Amazon Lookout for Vision zdaj podpira vizualni pregled napak izdelka na robu.

1. Ustvarite račun AWS.
2. Zaženite instanco EC2, na katero lahko namestimo AWS IoT Greengrass, in uporabimo nov način sklepanja samo za CPE. Uporabite lahko tudi 86-bitni stroj Intel X64 z 8 gigabajti RAM-a ali več (uporabljamo c5a.2xl, vendar karkoli z več kot 8 gigabajtov na platformi x86 bi moralo delovati) z operacijskim sistemom Ubuntu 20.04.
3. Namestite AWS IoT Greengrass V2:

   git clone https://github.com/aws-samples/amazon-lookout-for-vision.git
   cd edge
   # be sure to edit the installation script to match your region, also adjust any device names and groups!
   vi install_greengrass.sh

4. Namestite potreben sistem in odvisnosti Python 3 (Ubuntu 20.04):

   # install Ubuntu dependencies on the EC2 instance
   ./install-ec2-ubuntu-deps.sh
   pip3 install -r requirements.txt
   # Replace ENDPOINT variable in sample-client-file-mqtt.py with the value on the AWS console AWS IoT->Things->l4JetsonXavierNX->Interact.  
   # Under HTTPS. It will be of type <name>-ats.iot.<region>.amazon.com 

Naložite nabor podatkov in usposobite model

Mi uporabljamo nabor podatkov o tujcih igrač za prikaz rešitve. Nabor podatkov vsebuje normalne in nenormalne slike. Tukaj je nekaj vzorčnih slik iz nabora podatkov.

Naslednja slika prikazuje običajnega tujca igrače.

Naslednja slika prikazuje tujca igračo brez noge.

Naslednja slika prikazuje tujca igračo brez glave.

V tej objavi iščemo manjkajoče okončine. Z novim uporabniškim vmesnikom narišemo masko okoli napak v naših podatkih o usposabljanju in testih. To bo modelom semantične segmentacije povedalo, kako prepoznati to vrsto napake.

1. Začnite tako, da naložite svoj nabor podatkov prek Amazon S3 ali iz računalnika.
2. Razvrstite jih v mape z naslovom normal in anomaly.
3. Ko ustvarjate nabor podatkov, izberite Samodejno pripnite oznake slikam glede na ime mape.To nam omogoča, da pozneje razvrstimo nenormalne slike in narišemo območja, ki bodo označena z napako.
   
4. Poskusite zadržati nekaj slik za kasnejše testiranje obeh normal in anomaly.
5. Ko so vse slike dodane v nabor podatkov, izberite Dodajte oznake anomalij.
6. Začnite označevati podatke z izbiro Začnite označevati.
7. Če želite pospešiti postopek, lahko izberete več slik in jih razvrstite kot Normal or Anomaly.
   
   Če želite anomalije poudariti poleg njihove klasifikacije, morate poudariti, kje se anomalije nahajajo.
8. Izberite sliko, ki jo želite označiti.
9. Z orodji za risanje pokažite območje, kjer del motiva manjka, ali narišite masko čez napako.
10. Izberite Oddaj in zapri ohraniti te spremembe.
    
11. Ta postopek ponovite za vse svoje slike.
12. Ko končate, izberite Shrani da obdržite svoje spremembe. Zdaj ste pripravljeni na usposabljanje svojega modela.
    
13. Izberite Model vlaka.

Ko dokončate te korake, se lahko pomaknete do projekta in Modeli strani, da preverite delovanje usposobljenega modela. Postopek izvoza modela v ciljno robno napravo lahko začnete kadar koli po usposabljanju modela.

Ponovno usposobite model s popravljenimi slikami

Včasih označevanje anomalij morda ni povsem pravilno. Imate priložnost pomagati svojemu modelu, da se bolje nauči vaših anomalij. Naslednja slika je na primer prepoznana kot anomalija, vendar ne prikazuje missing_limbs oznaka.

Odprimo urejevalnik in popravimo to.

Preglejte vse slike, ki jih najdete kot je ta. Če ugotovite, da je nepravilno označena z anomalijo, lahko uporabite orodje za brisanje, da odstranite napačno oznako.

Zdaj lahko znova trenirate svoj model in dosežete večjo natančnost.

Sestavite in zapakirajte model kot komponento AWS IoT Greengrass

V tem razdelku se sprehodimo skozi korake za prevajanje modela tujca igrače v našo ciljno robno napravo in pakiranje modela kot komponente AWS IoT Greengrass.

1. Na konzoli Lookout for Vision izberite svoj projekt.
2. V podoknu za krmarjenje izberite Paketi modela Edge.
3. Izberite Ustvarite nalog pakiranja modela.
4. za Ime delovnega mesta, vnesite ime.
5. za Opis delovnega mesta, vnesite neobvezen opis.
6. Izberite Brskajte po modelih.
7. Izberite različico modela (model tujca igrače, izdelan v prejšnjem razdelku).
8. Izberite Izberite.
   
9. Če to izvajate v napravi Amazon EC2 ali X86-64, izberite Ciljna platforma In izberite Linux, X86in CPU.
   Če uporabljate CPE, lahko pustite možnosti prevajalnika prazne, če niste prepričani in nimate GPE NVIDIA. Če imate platformo, ki temelji na Intelu in podpira AVX512, lahko dodate te možnosti prevajalnika za optimizacijo za boljšo zmogljivost: {"mcpu": "skylake-avx512"}.
   Ogledate si lahko ime svojega delovnega mesta in status, prikazan kot In progress. Posel pakiranja modela lahko traja nekaj minut, da se dokonča. Ko je posel pakiranja modela končan, je stanje prikazano kot Success.
10. Izberite ime svojega dela (v našem primeru je to aliensblogcpux86), da si ogledate podrobnosti delovnega mesta.
    
11. Izberite Ustvarite nalog pakiranja modela.
    
12. Vnesite podrobnosti za Ime komponente, Opis komponente (neobvezno), Komponentna različicain Lokacija komponente.Lookout for Vision shranjuje recepte komponent in artefakte na tej lokaciji Amazon S3.
13. Izberite Nadaljujte z uvajanjem v Greengrass za namestitev komponente na ciljno robno napravo.
    

Komponenta AWS IoT Greengrass in artefakti modela so bili ustvarjeni v vašem računu AWS.

Namestite model

Prepričajte se, da imate AWS IoT Greengrass V2 nameščeno na vaši ciljni napravi za vaš račun, preden nadaljujete. Za navodila glejte Namestite programsko opremo AWS IoT Greengrass Core.

V tem razdelku se sprehodimo skozi korake za namestitev modela tujca igrače v napravo edge z uporabo konzole AWS IoT Greengrass.

1. Na konzoli AWS IoT Greengrass se pomaknite do svoje naprave edge.
2. Izberite uvajanje za začetek korakov uvajanja.
3. Izberite Jedrna naprava (ker je uvedba v eno napravo) in vnesite ime za Ciljno ime.Ciljno ime je isto ime, ki ste ga uporabili za poimenovanje jedrne naprave med postopkom namestitve AWS IoT Greengrass V2.
4. Izberite svojo komponento. V našem primeru je ime komponente aliensblogcpux86, ki vsebuje model igrače nezemljana.
5. Izberite Naslednji.
6. Konfigurirajte komponento (neobvezno).
7. Izberite Naslednji.
8. Razširi Politike uvajanja.
9. za Politika posodabljanja komponenttako, da izberete Obvesti komponente.To omogoča že nameščeni komponenti (prejšnja različica komponente), da odloži posodobitev, dokler niste pripravljeni na posodobitev.
10. za Politika obravnave napaktako, da izberete Ne vračajte se nazaj.V primeru okvare nam ta možnost omogoča, da raziščemo napake pri uvajanju.
11. Izberite Naslednji.
12. Preglejte seznam komponent, ki bodo nameščene na ciljni (robni) napravi.
13. Izberite Naslednji.Moral bi videti sporočilo Deployment successfully created.
14. Če želite potrditi, da je bila uvedba modela uspešna, zaženite naslednji ukaz na napravi edge:

    sudo /greengrass/v2/bin/greengrass-cli component list

Morali bi videti podoben rezultat, ki se izvaja aliensblogcpux86 zagonski skript življenjskega cikla:

Komponente, ki se trenutno izvajajo v Greengrassu:

Components currently running in Greengrass:
 
Component Name: aws.iot.lookoutvision.EdgeAgent
    Version: 0.1.34
    State: RUNNING
    Configuration: {"Socket":"unix:///tmp/aws.iot.lookoutvision.EdgeAgent.sock"}
 Component Name: aliensblogcpux86
    Version: 1.0.0
    State: RUNNING
    Configuration: {"Autostart":false}

Izvedite sklepanje na modelu

Opombe: Če uporabljate Greengrass kot drug uporabnik, kot ste prijavljeni, boste morali spremeniti dovoljenja za datoteko /tmp/aws.iot.lookoutvision.EdgeAgent.sock:

chmod 666 /tmp/aws.iot.lookoutvision.EdgeAgent.sock

Zdaj smo pripravljeni na izvajanje sklepanja o modelu. Na napravi edge zaženite naslednji ukaz, da naložite model (replace z imenom modela, uporabljenega v vaši komponenti):

# run command to load the model# This will load the model into running state pass
# the name of the model component as a parameter.
python3 warmup-model.py <modelName>

Če želite ustvariti sklepe, zaženite naslednji ukaz z imenom izvorne datoteke (replace s potjo in imenom datoteke slike, ki jo želite preveriti in zamenjati z imenom modela, ki se uporablja za vašo komponento):

python3 sample-client-file-mqtt.py </path/to/images> <modelName>

start client ['sample-client-file.py', 'aliens-dataset/anomaly/1.png', 'aliensblogcpux86']
channel set
shape=(380, 550, 3)
Image is anomalous, (90.05860090255737 % confidence) contains defects with total area over .1%: {'missing_limbs': '#FFFFFF'}

Model pravilno napove sliko kot nepravilno (missing_limbs) z oceno zaupanja 0.9996867775917053. Pove nam masko oznake anomalije missing_limbs in odstotno površino. Odgovor vsebuje tudi podatke bitne slike, ki jih lahko dekodirate.

Prenesite in odprite datoteko blended.png, ki je videti kot naslednja slika. Upoštevajte območje, poudarjeno z napako okoli nog.

Zgodbe strank

Z AWS IoT Greengrass in Lookout for Vision lahko zdaj avtomatizirate vizualni pregled z računalniškim vidom za procese, kot sta nadzor kakovosti in ocena napak – vse na robu in v realnem času. Proaktivno lahko prepoznate težave, kot so poškodbe delov (kot so udrtine, praske ali slabo varjenje), manjkajoče komponente izdelka ali napake s ponavljajočimi se vzorci na sami proizvodni liniji, kar vam prihrani čas in denar. Stranke, kot sta Tyson in Baxter, odkrivajo moč programa Lookout for Vision za povečanje kakovosti in zmanjšanje operativnih stroškov z avtomatizacijo vizualnega pregleda.

»Operativna odličnost je ključna prednostna naloga Tyson Foods. Predvideno vzdrževanje je bistveno sredstvo za doseganje tega cilja z nenehnim izboljševanjem splošne učinkovitosti opreme (OEE). Leta 2021 je Tyson Foods zagnal projekt računalniškega vida, ki temelji na strojnem učenju, da bi med proizvodnjo prepoznal nosilce izdelkov, ki ne delujejo, da prepreči, da bi vplivali na varnost članov ekipe, delovanje ali kakovost izdelkov. Modeli, ki so bili usposobljeni z uporabo Amazon Lookout for Vision, so se dobro odrezali. Model zaznavanja nožic je dosegel 95-odstotno natančnost v obeh razredih. Model Amazon Lookout for Vision je bil nastavljen tako, da deluje z 99.1-odstotno natančnostjo pri neuspešnem zaznavanju žebljičkov. Daleč najbolj razburljiv rezultat tega projekta je bila pospešitev razvoja. Čeprav ta projekt uporablja dva modela in bolj zapleteno kodo aplikacije, je za dokončanje potreboval 12 % manj časa razvijalca. Ta projekt za spremljanje stanja nosilcev izdelkov pri Tyson Foods je bil zaključen v rekordnem času z uporabo storitev, ki jih upravlja AWS, kot je Amazon Lookout for Vision.«

—Audrey Timmerman, višja razvijalka aplikacij, Tyson Foods.

»Zakasnitev in hitrost sklepanja sta ključnega pomena za ocenjevanje v realnem času in kritična preverjanja kakovosti naših proizvodnih procesov. Amazon Lookout for Vision edge na napravi CPE nam daje možnost, da to dosežemo na opremi proizvodnega razreda, kar nam omogoča zagotavljanje stroškovno učinkovitih rešitev za vizijo AI v velikem obsegu.«

—AK Karan, globalni višji direktor – digitalna transformacija, integrirana dobavna veriga, Baxter International Inc.

Pospravi

Izvedite naslednje korake, da sredstva, ki ste jih ustvarili, odstranite iz svojega računa in se izognete tekočemu zaračunavanju:

1. Na konzoli Lookout for Vision se pomaknite do svojega projekta.
2. o Proces meni, izbrišite svoje nabore podatkov.
   
3. Izbrišite svoje modele.
   
4. Na konzoli Amazon S3 izpraznite vedra, ki ste jih ustvarili, nato pa jih izbrišite.
5. Na konzoli Amazon EC2 izbrišite instanco, ki ste jo začeli izvajati AWS IoT Greengrass.
6. Na konzoli AWS IoT Greengrass izberite Uvajanje v podoknu za krmarjenje.
7. Izbrišite svoje različice komponent.
   
8. Na konzoli AWS IoT Greengrass izbrišite stvari, skupine in naprave AWS IoT.

zaključek

V tem prispevku smo opisali tipičen scenarij za odkrivanje industrijskih napak na robu z uporabo lokalizacije napak in uvedbo v napravo s samo CPE. Sprehodili smo se skozi ključne komponente življenjskega cikla oblaka in roba s primerom od konca do konca z uporabo Lookout for Vision in AWS IoT Greengrass. Z Lookout for Vision smo usposobili model za zaznavanje anomalij v oblaku z uporabo nabor podatkov o tujcih igrač, prevedel model v ciljno arhitekturo in zapakiral model kot komponento AWS IoT Greengrass. Z AWS IoT Greengrass smo model uvedli v robno napravo. Predstavili smo vzorčno aplikacijo, ki temelji na Pythonu, ki pridobiva slike tujcev iz lokalnega datotečnega sistema naprave edge, izvaja sklepe na modelu Lookout for Vision na robu z vmesnikom gRPC in pošilja podatke sklepanja v temo MQTT v AWS. Oblak.

V prihodnji objavi bomo pokazali, kako zagnati sklepanje na toku slik v realnem času z uporabo medijskega cevovoda GStreamer.

Začnite svojo pot proti odkrivanju in identifikaciji industrijskih nepravilnosti z obiskom Amazon Lookout for Vision in AWS IoT Zelena trava strani z viri.

O avtorjih

Manish Talreja je višji vodja industrijske prakse ML pri AWS Professional Services. Strankam AWS pomaga doseči njihove poslovne cilje z arhitekturo in gradnjo inovativnih rešitev, ki uporabljajo storitve AWS ML in IoT v oblaku AWS.

Ryan Vanderwerf je arhitekt partnerskih rešitev pri Amazon Web Services. Pred tem je nudil svetovanje in razvoj projektov, osredotočeno na virtualne stroje Java, kot programski inženir pri OCI on the Grails and Micronaut team. Bil je glavni arhitekt/direktor izdelkov pri ReachForce, s poudarkom na programski opremi in sistemski arhitekturi za rešitve AWS Cloud SaaS za upravljanje trženjskih podatkov. Ryan je od leta 1996 zgradil več rešitev SaaS na več področjih, kot so finančna, medijska, telekomunikacijska in e-učna podjetja.

Prakash Krishnan je višji vodja razvoja programske opreme pri Amazon Web Services. Vodi inženirske ekipe, ki gradijo obsežne porazdeljene sisteme za uporabo hitrih, učinkovitih in zelo razširljivih algoritmov za probleme prepoznavanja slike in videa, ki temeljijo na globokem učenju.