Tunnista poikkeamien sijainti käyttämällä Amazon Lookout for Visionia reunassa ilman GPU:ta

Automaattinen vikojen havaitseminen tietokonenäön avulla parantaa laatua ja alentaa tarkastuksen kustannuksia. Vian havaitsemiseen kuuluu vian olemassaolon tunnistaminen, vikatyyppien luokittelu ja vikojen sijainnin tunnistaminen. Monet valmistusprosessit vaativat havaitsemisen alhaisella viiveellä, rajoitetuilla laskentaresursseilla ja rajoitetuilla yhteyksillä.

Amazon Lookout for Vision on koneoppimispalvelu (ML), joka auttaa havaitsemaan tuotevirheet tietokonenäön avulla ja automatisoimaan tuotantolinjojesi laaduntarkastusprosessia ilman ML-asiantuntemusta. Lookout for Vision sisältää nyt mahdollisuuden ilmoittaa poikkeamien sijainnit ja tyypit semanttisen segmentoinnin ML-mallien avulla. Nämä räätälöidyt ML-mallit voidaan joko ottaa käyttöön AWS-pilvessä käyttämällä pilvisovellusliittymät tai mukautettuun reunalaitteistoon käyttämällä AWS IoT Vihreä ruoho. Lookout for Vision tukee nyt päättelyä x86-laskenta-alustalla, joka käyttää Linuxia NVIDIA-grafiikkasuorittimen kiihdyttimen kanssa tai ilman, ja missä tahansa NVIDIA Jetson -pohjaisessa reunalaitteistossa. Tämä joustavuus mahdollistaa olemassa olevien tai uusien laitteistojen vikojen havaitsemisen.

Tässä viestissä näytämme, kuinka vialliset osat voidaan havaita käyttämällä reunalaitteistossa toimivia Lookout for Vision ML -malleja, joita simuloimme käyttämällä Amazonin elastinen laskentapilvi (Amazon EC2) esimerkki. Harjoittelemme uusia semanttisia segmentointimalleja, viemme niitä AWS IoT Greengrass -komponentteina ja suoritamme päätelmiä vain CPU -tilassa Python-esimerkkikoodilla.

Ratkaisun yleiskatsaus

Tässä viestissä käytämme sarjaa kuvia lelu ulkomaalaisia koostuu normaaleista ja viallisista kuvista, kuten puuttuvista raajoista, silmistä tai muista osista. Koulutamme pilvessä Lookout for Vision -mallin viallisten lelualienien tunnistamiseksi. Kokoamme mallin kohde-X86-suorittimeen, pakkaamme koulutetun Lookout for Vision -mallin AWS IoT Greengrass -komponentiksi ja otamme mallin käyttöön EC2-esiintymässä ilman GPU:ta AWS IoT Greengrass -konsolin avulla. Lopuksi esittelemme Python-pohjaisen mallisovelluksen, joka toimii EC2 (C5a.2xl) -esiintymässä, joka lähtee lelualien-kuvat reunalaitteen tiedostojärjestelmästä ja suorittaa johtopäätöksen Lookout for Vision -mallissa käyttämällä gRPC rajapinta ja lähettää johtopäätöstiedot an MQTT aihe AWS Cloudissa. Skriptit tulostavat kuvan, joka sisältää virheellisen kuvan värin ja sijainnin.

Seuraava kaavio havainnollistaa ratkaisun arkkitehtuuria. On tärkeää huomata, että jokaisesta vikatyypistä, jonka haluat havaita lokalisoinnissa, sinulla on oltava 10 merkittyä poikkeamakuvaa harjoittelussa ja 10 testitiedoissa, yhteensä 20 kyseisen tyyppistä kuvaa. Tätä viestiä varten etsimme lelusta puuttuvia raajoja.

Ratkaisulla on seuraava työnkulku:

1. Lataa harjoitustietojoukko ja testitietojoukko kohteeseen Amazonin yksinkertainen tallennuspalvelu (Amazon S3).
2. Käytä uutta Lookout for Vision -käyttöliittymää lisätäksesi poikkeavuustyypin ja merkitse, missä poikkeamat ovat koulutus- ja testikuvissa.
3. Harjoittele Lookout for Vision -malli pilvessä.
4. Käännä malli kohdearkkitehtuuriin (X86) ja ota malli käyttöön EC2 (C5a.2xl) -esiintymässä AWS IoT Greengrass -konsolin avulla.
5. Lähdekuvat paikalliselta levyltä.
6. Suorita päätelmiä käyttöönotetusta mallista gRPC-rajapinnan kautta ja nouta kuva alkuperäisen kuvan päällä olevista poikkeamamaskeista.
7. Lähetä päättelytulokset reunainstanssissa toimivaan MQTT-asiakkaaseen.
8. Vastaanota MQTT-viesti aiheesta AWS IoT -ydin AWS-pilvessä lisäseurantaa ja visualisointia varten.

Vaiheet 5, 6 ja 7 koordinoidaan Python-mallisovelluksen kanssa.

Edellytykset

Ennen kuin aloitat, täytä seuraavat edellytykset. Tässä viestissä käytämme EC2 c5.2xl -esiintymää ja asennamme siihen AWS IoT Greengrass V2:n kokeillaksemme uusia ominaisuuksia. Jos haluat käyttää NVIDIA Jetsonia, noudata edellisessä viestissämme olevia ohjeita, Amazon Lookout for Vision tukee nyt tuotevirheiden visuaalista tarkastusta reunassa.

1. Luo AWS-tili.
2. Käynnistä EC2-esiintymä, johon voimme asentaa AWS IoT Greengrassin, ja käytä uutta vain CPU:n päättelytilaa.Voit myös käyttää Intel X86 64-bittistä konetta, jossa on vähintään 8 gigatavua RAM-muistia (käytämme c5a.2xl:tä, mutta mitä tahansa yli 8 gigatavua x86-alustalla pitäisi toimia) Ubuntu 20.04.
3. Asenna AWS IoT Greengrass V2:

   git clone https://github.com/aws-samples/amazon-lookout-for-vision.git
   cd edge
   # be sure to edit the installation script to match your region, also adjust any device names and groups!
   vi install_greengrass.sh

4. Asenna tarvittava järjestelmä ja Python 3 -riippuvuudet (Ubuntu 20.04):

   # install Ubuntu dependencies on the EC2 instance
   ./install-ec2-ubuntu-deps.sh
   pip3 install -r requirements.txt
   # Replace ENDPOINT variable in sample-client-file-mqtt.py with the value on the AWS console AWS IoT->Things->l4JetsonXavierNX->Interact.  
   # Under HTTPS. It will be of type <name>-ats.iot.<region>.amazon.com 

Lataa tietojoukko ja kouluta malli

Käytämme lelu alienien tietojoukko esittelemään ratkaisua. Aineisto sisältää normaaleja ja poikkeavia kuvia. Tässä muutamia esimerkkikuvia tietojoukosta.

Seuraavassa kuvassa näkyy tavallinen lelu-alien.

Seuraavassa kuvassa lelu-avaruusolennon jalka puuttuu.

Seuraavassa kuvassa leluavaruusolennon pää puuttuu.

Tässä viestissä etsimme puuttuvia raajoja. Uuden käyttöliittymän avulla piirrämme naamion koulutus- ja testitietojen puutteista. Tämä kertoo semanttisille segmentointimalleille, kuinka tämän tyyppiset viat voidaan tunnistaa.

1. Aloita lataamalla tietojoukkosi joko Amazon S3:n kautta tai tietokoneeltasi.
2. Lajittele ne kansioihin, joiden otsikko on normal ja anomaly.
3. Kun luot tietojoukkoasi, valitse Liitä kuviin tarrat automaattisesti kansion nimen perusteella.Tämän avulla voimme myöhemmin selvittää poikkeavat kuvat ja piirtää alueet, jotka merkitään viallisiksi.
   
4. Yritä pitää kuvia molemmista testaamista varten myöhemmin normal ja anomaly.
5. Kun kaikki kuvat on lisätty tietojoukkoon, valitse Lisää poikkeamatarrat.
6. Aloita tietojen merkitseminen valitsemalla Aloita merkitseminen.
7. Prosessin nopeuttamiseksi voit valita useita kuvia ja luokitella ne Normal or Anomaly.
   
   Jos haluat korostaa poikkeavuuksia niiden luokittelun lisäksi, sinun on korostettava, missä poikkeamat sijaitsevat.
8. Valitse kuva, johon haluat merkitä huomautuksen.
9. Käytä piirtotyökaluja näyttääksesi alueen, josta osa kohteesta puuttuu, tai piirrä maski vian päälle.
10. Valita Lähetä ja sulje säilyttää nämä muutokset.
    
11. Toista tämä prosessi kaikille kuvillesi.
12. Kun olet valmis, valitse Säästä säilyttääksesi muutokset. Nyt olet valmis kouluttamaan malliasi.
    
13. Valita Junamalli.

Kun olet suorittanut nämä vaiheet, voit siirtyä projektiin ja Mallit sivulla voit tarkistaa koulutetun mallin suorituskyvyn. Voit aloittaa mallin viemisen kohdereunalaitteeseen milloin tahansa mallin koulutuksen jälkeen.

Kouluta malli uudelleen korjatuilla kuvilla

Joskus poikkeamien merkintä ei ehkä ole aivan oikea. Sinulla on mahdollisuus auttaa malliasi oppimaan poikkeavuutesi paremmin. Esimerkiksi seuraava kuva tunnistetaan poikkeavuudeksi, mutta se ei näytä sitä missing_limbs tunnisteita.

Avataan editori ja korjataan tämä.

Selaa löytämäsi tällaiset kuvat. Jos huomaat, että se on merkitty virheellisesti, voit poistaa virheellisen tunnisteen pyyhekumityökalulla.

Voit nyt harjoitella malliasi uudelleen ja saavuttaa paremman tarkkuuden.

Kokoa ja pakkaa malli AWS IoT Greengrass -komponentiksi

Tässä osiossa käymme läpi vaiheet lelualien mallin kokoamiseksi kohdereunalaitteeseen ja mallin pakkaamiseen AWS IoT Greengrass -komponentiksi.

1. Valitse projektisi Lookout for Vision -konsolissa.
2. Valitse siirtymisruudussa Edge-mallipaketit.
3. Valita Luo mallipakkaustyö.
4. varten Työn nimi, kirjoita nimi.
5. varten Työnkuvaus, kirjoita valinnainen kuvaus.
6. Valita Selaa malleja.
7. Valitse malliversio (edellisessä osiossa rakennettu lelualien malli).
8. Valita Valita.
   
9. Jos käytät tätä Amazon EC2:ssa tai X86-64-laitteessa, valitse Kohdealusta Ja valitse Linux, X86ja prosessori.
   Jos käytät CPU:ta, voit jättää kääntäjän valinnat tyhjiksi, jos et ole varma etkä sinulla ole NVIDIA GPU:ta. Jos sinulla on Intel-pohjainen alusta, joka tukee AVX512:ta, voit lisätä nämä kääntäjävaihtoehdot optimoidaksesi suorituskyvyn: {"mcpu": "skylake-avx512"}.
   Näet työsi nimen ja tilan muodossa In progress. Mallin pakkaustyön valmistuminen voi kestää muutaman minuutin. Kun mallipakkaustyö on valmis, tila näkyy muodossa Success.
10. Valitse työsi nimi (meissämme se on aliensblogcpux86) nähdäksesi työn tiedot.
    
11. Valita Luo mallipakkaustyö.
    
12. Anna tiedot kohteelle Komponentin nimi, Komponentin kuvaus (valinnainen), Komponenttiversioja Komponenttien sijainti.Lookout for Vision tallentaa komponenttien reseptit ja esineet tähän Amazon S3 -sijaintiin.
13. Valita Jatka käyttöönottoa Greengrassissa ottaaksesi komponentin käyttöön kohdereunalaitteeseen.
    

AWS IoT Greengrass -komponentti ja malliartefaktit on luotu AWS-tilillesi.

Ota käyttöön malli

Varmista, että sinulla on AWS IoT Greengrass V2 asennettuna tilisi kohdelaitteeseen, ennen kuin jatkat. Katso ohjeet kohdasta Asenna AWS IoT Greengrass Core -ohjelmisto.

Tässä osiossa käymme läpi vaiheet lelualien mallin käyttöönottamiseksi reunalaitteessa AWS IoT Greengrass -konsolin avulla.

1. Navigoi AWS IoT Greengrass -konsolissa reunalaitteellesi.
2. Valita Sijoittaa käynnistääksesi käyttöönottovaiheet.
3. valita Ydinlaite (koska käyttöönotto tapahtuu yhdelle laitteelle) ja anna nimi Kohteen nimi.Kohteen nimi on sama nimi, jota käytit ydinlaitteen nimeämiseen AWS IoT Greengrass V2 -asennusprosessin aikana.
4. Valitse komponenttisi. Meidän tapauksessamme komponentin nimi on aliensblogcpux86, joka sisältää lelualien mallin.
5. Valita seuraava.
6. Määritä komponentti (valinnainen).
7. Valita seuraava.
8. Laajentaa Käyttöönottokäytännöt.
9. varten Komponenttien päivityskäytäntövalitse Ilmoita komponenteista.Tämän avulla jo asennettu komponentti (komponentin aikaisempi versio) voi lykätä päivitystä, kunnes olet valmis päivittämään.
10. varten Virheiden käsittelykäytäntövalitse Älä rullaa taaksepäinVian sattuessa tämän vaihtoehdon avulla voimme tutkia käyttöönoton virheet.
11. Valita seuraava.
12. Tarkista luettelo komponenteista, jotka asennetaan kohdelaitteeseen (reunalaitteeseen).
13. Valita seuraava.Sinun pitäisi nähdä viesti Deployment successfully created.
14. Varmista, että mallin käyttöönotto onnistui, suorittamalla seuraava komento reunalaitteellasi:

    sudo /greengrass/v2/bin/greengrass-cli component list

Sinun pitäisi nähdä samanlainen tuloste käynnissä aliensblogcpux86 elinkaarikäynnistysskripti:

Greengrassissa tällä hetkellä käynnissä olevat komponentit:

Components currently running in Greengrass:
 
Component Name: aws.iot.lookoutvision.EdgeAgent
    Version: 0.1.34
    State: RUNNING
    Configuration: {"Socket":"unix:///tmp/aws.iot.lookoutvision.EdgeAgent.sock"}
 Component Name: aliensblogcpux86
    Version: 1.0.0
    State: RUNNING
    Configuration: {"Autostart":false}

Tee johtopäätökset mallista

Huomautuksia: Jos käytät Greengrassia toisena käyttäjänä kuin sisäänkirjautuneena käyttäjänä, sinun on muutettava tiedoston käyttöoikeuksia /tmp/aws.iot.lookoutvision.EdgeAgent.sock:

chmod 666 /tmp/aws.iot.lookoutvision.EdgeAgent.sock

Olemme nyt valmiita tekemään johtopäätöksiä mallista. Suorita reunalaitteessa seuraava komento ladataksesi malli (korvaa komponentissasi käytetyllä mallinimellä):

# run command to load the model# This will load the model into running state pass
# the name of the model component as a parameter.
python3 warmup-model.py <modelName>

Luo päätelmiä suorittamalla seuraava komento lähdetiedoston nimellä (korvaa tarkistettavan ja korvattavan kuvan polun ja tiedostonimen kanssa komponentin mallinimellä):

python3 sample-client-file-mqtt.py </path/to/images> <modelName>

start client ['sample-client-file.py', 'aliens-dataset/anomaly/1.png', 'aliensblogcpux86']
channel set
shape=(380, 550, 3)
Image is anomalous, (90.05860090255737 % confidence) contains defects with total area over .1%: {'missing_limbs': '#FFFFFF'}

Malli ennustaa kuvan oikein epänormaaliksi (missing_limbs) luottamuspisteellä 0.9996867775917053. Se kertoo meille poikkeavuustunnisteen maskin missing_limbs ja prosentuaalinen pinta-ala. Vastaus sisältää myös bittikarttatietoja, joiden avulla voit purkaa sen, mitä se löysi.

Lataa ja avaa tiedosto blended.png, joka näyttää seuraavalta kuvalta. Huomaa jalkojen ympärillä korostettu alue, jossa on vika.

Asiakkaiden kertomukset

AWS IoT Greengrassin ja Lookout for Visionin avulla voit nyt automatisoida visuaalisen tarkastuksen tietokonenäön avulla prosesseihin, kuten laadunvalvontaan ja vikojen arviointiin – kaikki reunalla ja reaaliajassa. Voit ennakoivasti tunnistaa ongelmat, kuten osien vauriot (kuten kolhut, naarmut tai huono hitsaus), puuttuvat tuotekomponentit tai viat toistuvilla kuvioilla itse tuotantolinjalla – säästät aikaa ja rahaa. Tysonin ja Baxterin kaltaiset asiakkaat ovat löytämässä Lookout for Visionin tehon parantaa laatua ja alentaa käyttökustannuksia automatisoimalla visuaalisen tarkastuksen.

”Toiminnan erinomaisuus on Tyson Foodsin tärkein prioriteetti. Ennakoiva huolto on olennainen voimavara tämän tavoitteen saavuttamiseksi parantamalla jatkuvasti yleistä laitteiden tehokkuutta (OEE). Tyson Foods käynnisti vuonna 2021 koneoppimiseen perustuvan tietokonenäköprojektin, jonka tarkoituksena on tunnistaa vialliset tuotekannattimet tuotannon aikana estääkseen niitä vaikuttamasta tiimin jäsenten turvallisuuteen, toimintaan tai tuotteiden laatuun. Amazon Lookout for Visionilla koulutetut mallit menestyivät hyvin. Pin-tunnistusmalli saavutti 95 % tarkkuuden molemmissa luokissa. Amazon Lookout for Vision -malli viritettiin toimimaan 99.1 %:n tarkkuudella epäonnistuneiden pinojen havaitsemisessa. Tämän projektin ylivoimaisesti jännittävin tulos oli kehitysajan nopeuttaminen. Vaikka tässä projektissa käytetään kahta mallia ja monimutkaisempaa sovelluskoodia, sen toteuttamiseen meni 12 % vähemmän aikaa. Tämä Tyson Foodsin tuotetelineiden kunnon seurantaprojekti saatiin päätökseen ennätysajassa käyttämällä AWS:n hallinnoimia palveluita, kuten Amazon Lookout for Vision.

—Audrey Timmerman, vanhempi sovelluskehittäjä, Tyson Foods.

"Viive ja päättelynopeus ovat ratkaisevan tärkeitä valmistusprosessiemme reaaliaikaisessa arvioinnissa ja kriittisissä laaduntarkistuksissa. Amazon Lookout for Vision Edge CPU-laitteessa antaa meille mahdollisuuden saavuttaa tämä tuotantotason laitteilla, jolloin voimme toimittaa kustannustehokkaita tekoälynäköratkaisuja mittakaavassa.

—AK Karan, maailmanlaajuinen johtaja – digitaalinen muutos, integroitu toimitusketju, Baxter International Inc.

Uudelleenjärjestäminen

Poista tililtäsi luomasi omaisuus ja vältä jatkuvat laskutukset suorittamalla seuraavat vaiheet:

1. Siirry Lookout for Vision -konsolissa projektiisi.
2. On Toiminnot valikosta, poista tietojoukot.
   
3. Poista mallisi.
   
4. Tyhjennä Amazon S3 -konsolissa luomasi säiliöt ja poista sitten säilöt.
5. Poista Amazon EC2 -konsolissa ilmentymä, jonka aloitit suorittamaan AWS IoT Greengrassin.
6. Valitse AWS IoT Greengrass -konsolissa käyttöönottoja navigointipaneelissa.
7. Poista komponenttiversiot.
   
8. Poista AWS IoT Greengrass -konsolista AWS IoT -asiat, -ryhmät ja -laitteet.

Yhteenveto

Tässä viestissä kuvailimme tyypillisen skenaarion teollisuusvikojen havaitsemiseksi reunalla käyttämällä vian lokalisointia ja otettu käyttöön vain prosessorilaitteeseen. Kävimme pilven ja reunan elinkaaren avainkomponenttien läpi kokonaisvaltaisella esimerkillä käyttämällä Lookout for Visionia ja AWS IoT Greengrassia. Lookout for Visionin avulla koulutimme poikkeamien havaitsemismallin pilvessä käyttämällä lelualien tietojoukko, käänsi mallin kohdearkkitehtuuriin ja pakkasi mallin AWS IoT Greengrass -komponentiksi. AWS IoT Greengrassin avulla otimme mallin käyttöön reunalaitteeseen. Esitimme Python-pohjaisen mallisovelluksen, joka hankkii lelualienkuvat reunalaitteen paikallisesta tiedostojärjestelmästä, suorittaa päätelmät Lookout for Vision -mallin reunassa gRPC-rajapinnan avulla ja lähettää johtopäätöstiedot AWS:n MQTT-aiheeseen. Pilvi.

Tulevassa postauksessa näytämme, kuinka tehdä päätelmiä reaaliaikaisesta kuvavirrasta GStreamer-mediaputkella.

Aloita matkasi kohti teollisten poikkeamien havaitsemista ja tunnistamista käymällä osoitteessa Amazon Lookout for Vision ja AWS IoT Vihreä ruoho resurssisivut.

Tietoja kirjoittajista

Manish Talreja on Senior Industrial ML Practice Manager, jolla on AWS Professional Services. Hän auttaa AWS-asiakkaita saavuttamaan liiketoimintatavoitteensa suunnittelemalla ja rakentamalla innovatiivisia ratkaisuja, jotka käyttävät AWS ML- ja IoT-palveluita AWS-pilvessä.

Ryan Vanderwerf on kumppaniratkaisuarkkitehti Amazon Web Servicesissä. Hän tarjosi aiemmin Java-virtuaalikonekeskeistä konsultointia ja projektikehitystä OCI:n ohjelmistoinsinöörinä Grails and Micronaut -tiimissä. Hän oli ReachForcen pääarkkitehti/tuotejohtaja keskittyen ohjelmisto- ja järjestelmäarkkitehtuuriin AWS Cloud SaaS -ratkaisuille markkinointitiedon hallintaan. Ryan on rakentanut useita SaaS-ratkaisuja useille aloille, kuten rahoitus-, media-, televiestintä- ja verkko-oppimisyrityksille vuodesta 1996 lähtien.

Prakash Krishnan on vanhempi ohjelmistokehityspäällikkö Amazon Web Services -palvelussa. Hän johtaa suunnittelutiimejä, jotka rakentavat suuria hajautettuja järjestelmiä soveltamaan nopeita, tehokkaita ja erittäin skaalautuvia algoritmeja syvään oppimiseen perustuviin kuvan- ja videontunnistusongelmiin.