Tuvastage kõrvalekallete asukoht, kasutades Amazon Lookout for Visioni servas ilma GPU-d kasutamata

Automaatne defektide tuvastamine arvutinägemise abil aitab parandada kvaliteeti ja vähendada kontrolli kulusid. Defektide tuvastamine hõlmab defekti olemasolu tuvastamist, defektitüüpide klassifitseerimist ja defektide asukoha tuvastamist. Paljud tootmisprotsessid nõuavad tuvastamist väikese latentsusajaga, piiratud arvutusressurssidega ja piiratud ühenduvusega.

Amazon Lookout for Vision on masinõppe (ML) teenus, mis aitab arvutivisiooni abil tuvastada tootedefekte, et automatiseerida teie tootmisliinide kvaliteedikontrolli protsessi, ilma et oleks vaja ML-teadmisi. Lookout for Vision sisaldab nüüd võimalust anda anomaaliate asukoht ja tüüp, kasutades semantilise segmenteerimise ML-mudeleid. Neid kohandatud ML-mudeleid saab AWS-pilve juurutada kasutades pilve API-d või kohandatud serva riistvara abil AWS IoT Greengrass. Lookout for Vision toetab nüüd järelduste tegemist x86 arvutusplatvormil, mis töötab Linuxiga koos NVIDIA GPU kiirendiga või ilma ja mis tahes NVIDIA Jetsonil põhineva servaseadmega. See paindlikkus võimaldab tuvastada olemasoleva või uue riistvara defekte.

Selles postituses näitame teile, kuidas tuvastada defektseid osi, kasutades Lookout for Vision ML mudeleid, mis töötavad servaseadmel, mida simuleerime Amazon Elastic Compute Cloud (Amazon EC2) näide. Käime läbi uute semantiliste segmenteerimismudelite koolitamise, nende eksportimise AWS IoT Greengrassi komponentidena ja järelduste tegemise ainult protsessoriga režiimis Pythoni näitekoodiga.

Lahenduse ülevaade

Selles postituses kasutame pildikomplekti mänguasja tulnukad koosneb normaalsetest ja defektsetest kujutistest, nagu puuduvad jäsemed, silmad või muud osad. Koolitame välja Lookout for Visioni mudeli pilves, et tuvastada defektsed mänguasjatulnukad. Kompileerime mudeli sihtprotsessorile X86, pakendame väljaõppinud Lookout for Visioni mudeli AWS IoT Greengrassi komponendina ja juurutame mudeli ilma GPU-ta EC2 eksemplari, kasutades AWS IoT Greengrassi konsooli. Lõpuks demonstreerime Pythoni-põhist näidisrakendust, mis töötab eksemplaris EC2 (C5a.2xl), mis hangib mänguasja tulnukakujutised servaseadme failisüsteemist ja teeb järelduse mudeli Lookout for Vision kohta, kasutades gRPC liidese ja saadab järeldusandmed an MQTT teema AWS-i pilves. Skriptid väljastavad pildi, mis sisaldab anomaalsel pildil esinevate defektide värvi ja asukohta.

Järgnev diagramm illustreerib lahenduse arhitektuuri. Oluline on märkida, et iga defektitüübi puhul, mida soovite lokaliseerimisel tuvastada, peab teil olema 10 märgitud anomaalia pilti koolitusel ja 10 katseandmetes, kokku 20 seda tüüpi kujutist. Selle postituse jaoks otsime mänguasjal puuduvaid jäsemeid.

Lahendusel on järgmine töövoog:

1. Laadige üles treeningu andmestik ja testandmestik Amazoni lihtne salvestusteenus (Amazon S3).
2. Kasutage uut Lookout for Visioni kasutajaliidest, et lisada kõrvalekalde tüüp ja märkida, kus need kõrvalekalded on koolitus- ja testpiltidel.
3. Treenige Lookout for Visioni mudelit pilves.
4. Kompileerige mudel sihtarhitektuurile (X86) ja juurutage mudel EC2 (C5a.2xl) eksemplarile, kasutades AWS IoT Greengrassi konsooli.
5. Lähtepildid kohalikult kettalt.
6. Käivitage juurutatud mudeli kohta gRPC liidese kaudu järeldusi ja hankige algkujutisele katva anomaaliamaskide kujutis.
7. Postitage järeldustulemused servaeksemplaris töötavasse MQTT-kliendisse.
8. Saate MQTT-sõnumi teatud teema kohta AWS IoT Core AWS-i pilves edasiseks jälgimiseks ja visualiseerimiseks.

Sammud 5, 6 ja 7 on kooskõlastatud Pythoni näidisrakendusega.

Eeldused

Enne alustamist täitke järgmised eeltingimused. Selle postituse jaoks kasutame EC2 c5.2xl eksemplari ja installime sellesse AWS IoT Greengrass V2, et uusi funktsioone proovida. Kui soovite töötada NVIDIA Jetsoniga, järgige meie eelmises postituses toodud juhiseid, Amazon Lookout for Vision toetab nüüd toote defektide visuaalset kontrollimist servas.

1. Looge AWS-i konto.
2. Käivitage EC2 eksemplar, millele saame installida AWS IoT Greengrassi, ja kasutada uut ainult protsessoriga järeldamisrežiimi. Võite kasutada ka Intel X86 64-bitist masinat, millel on 8 gigabaiti või rohkem RAM-i (kasutame c5a.2xl-i, aga kõike suurem kui 8 gigabaiti x86 platvormil peaks töötama), kus töötab Ubuntu 20.04.
3. Installige AWS IoT Greengrass V2:

   git clone https://github.com/aws-samples/amazon-lookout-for-vision.git
   cd edge
   # be sure to edit the installation script to match your region, also adjust any device names and groups!
   vi install_greengrass.sh

4. Installige vajalik süsteem ja Python 3 sõltuvused (Ubuntu 20.04):

   # install Ubuntu dependencies on the EC2 instance
   ./install-ec2-ubuntu-deps.sh
   pip3 install -r requirements.txt
   # Replace ENDPOINT variable in sample-client-file-mqtt.py with the value on the AWS console AWS IoT->Things->l4JetsonXavierNX->Interact.  
   # Under HTTPS. It will be of type <name>-ats.iot.<region>.amazon.com 

Laadige üles andmestik ja treenige mudelit

Me kasutame mänguasja tulnukate andmestik lahenduse demonstreerimiseks. Andmekogum sisaldab tavalisi ja anomaalseid pilte. Siin on mõned näidispildid andmestikust.

Järgmisel pildil on tavaline mänguasi tulnukas.

Järgmisel pildil on mängutulnukas, kellel puudub jalg.

Järgmisel pildil on mängutulnukas, kellel puudub pea.

Selles postituses otsime puuduvaid jäsemeid. Kasutame uut kasutajaliidest, et joonistada maski ümber oma koolitus- ja testiandmete defektid. See annab semantilise segmenteerimise mudelitele teada, kuidas seda tüüpi defekte tuvastada.

1. Alustage oma andmestiku üleslaadimisega kas Amazon S3 kaudu või arvutist.
2. Sorteerige need pealkirjaga kaustadesse normal ja anomaly.
3. Andmestiku loomisel valige Lisage piltidele automaatselt sildid kausta nime alusel.See võimaldab meil hiljem anomaalseid pilte välja sorteerida ja defektiga märgistatavatele aladele joonistada.
   
4. Proovige mõnda pilti tagasi hoida, et mõlemat hiljem testida normal ja anomaly.
5. Kui kõik pildid on andmestikku lisatud, valige Lisage anomaalia sildid.
6. Alustage andmete märgistamist, valides Alusta märgistamist.
7. Protsessi kiirendamiseks saate valida mitu pilti ja liigitada need järgmiselt Normal or Anomaly.
   
   Kui soovitakse kõrvalekaldeid lisaks klassifitseerimisele esile tuua, tuleb esile tuua, kus anomaaliad asuvad.
8. Valige pilt, millele soovite märkuse lisada.
9. Kasutage joonistustööriistu, et näidata ala, kus osa objektist puudub, või joonistage defektile mask.
10. Vali Esitage ja sulgege nende muudatuste säilitamiseks.
    
11. Korrake seda protsessi kõigi oma piltidega.
12. Kui olete lõpetanud, valige Säästa muudatuste säilitamiseks. Nüüd olete valmis oma modelli koolitama.
    
13. Vali Rongi mudel.

Pärast nende sammude täitmist saate navigeerida projekti ja Mudelid lehelt, et kontrollida koolitatud mudeli toimivust. Saate alustada mudeli eksportimist sihtserva seadmesse igal ajal pärast mudeli väljaõpetamist.

Õpetage mudel ümber parandatud piltidega

Mõnikord ei pruugi kõrvalekallete märgistus olla päris õige. Teil on võimalus aidata oma modellil teie kõrvalekaldeid paremini õppida. Näiteks tuvastatakse järgmine pilt anomaaliana, kuid see ei näita seda missing_limbs tag.

Avame redaktori ja parandame selle.

Vaadake läbi kõik sellised leitud pildid. Kui leiate, et see on valesti märgistatud, võite vale sildi eemaldamiseks kasutada kustutuskummi.

Nüüd saate oma mudelit uuesti koolitada ja saavutada paremat täpsust.

Kompileerige ja pakendage mudel AWS IoT Greengrassi komponendina

Selles jaotises teeme läbi sammud mänguasja tulnuka mudeli kompileerimiseks meie sihtserva seadmesse ja mudeli pakkimiseks AWS IoT Greengrassi komponendina.

1. Valige konsoolil Lookout for Vision oma projekt.
2. Valige navigeerimispaanil Edge mudeli paketid.
3. Vali Looge pakkimistöö mudel.
4. eest Töö nimi, sisestage nimi.
5. eest Töö kirjeldus, sisestage valikuline kirjeldus.
6. Vali Sirvige mudeleid.
7. Valige mudeli versioon (eelmises jaotises ehitatud mängutulnuka mudel).
8. Vali Vali.
   
9. Kui kasutate seda Amazon EC2 või X86-64 seadmes, valige Sihtplatvorm Ja vali Linux, X86ja Protsessor.
   Kui kasutate CPU-d, võite kompilaatori valikud tühjaks jätta, kui te pole kindel ja teil pole NVIDIA GPU-d. Kui teil on Inteli-põhine platvorm, mis toetab AVX512, saate parema jõudluse optimeerimiseks lisada järgmised kompilaatori valikud. {"mcpu": "skylake-avx512"}.
   Näete oma töö nime ja olekut kui In progress. Mudeli pakkimistöö lõpuleviimiseks võib kuluda mõni minut. Kui mudeli pakkimistöö on lõpetatud, kuvatakse olek kui Success.
10. Valige oma töö nimi (meie puhul on see aliensblogcpux86), et näha töö üksikasju.
    
11. Vali Looge pakkimistöö mudel.
    
12. Sisestage üksikasjad Komponendi nimi, Komponendi kirjeldus (valikuline), Komponent versioonja Komponentide asukoht.Lookout for Vision salvestab komponentide retseptid ja artefaktid selles Amazon S3 asukohas.
13. Vali Jätkake kasutuselevõttu Greengrassis komponendi juurutamiseks sihtservaseadmesse.
    

AWS IoT Greengrassi komponent ja mudeli artefaktid on loodud teie AWS-i kontol.

Mudeli juurutamine

Enne jätkamist veenduge, et teie konto sihtseadmesse oleks installitud AWS IoT Greengrass V2. Juhiste saamiseks vaadake Installige AWS IoT Greengrass Core tarkvara.

Selles jaotises teeme läbi sammud mängutulnuka mudeli juurutamiseks servaseadmesse, kasutades AWS IoT Greengrassi konsooli.

1. Navigeerige AWS IoT Greengrassi konsoolil oma servaseadmesse.
2. Vali juurutada juurutamisetappide algatamiseks.
3. valima Põhiseade (kuna juurutamine toimub ühele seadmele) ja sisestage nimi Sihtmärgi nimi.Sihtmärgi nimi on sama nimi, mida kasutasite põhiseadmele AWS IoT Greengrass V2 installiprotsessi ajal.
4. Valige oma komponent. Meie puhul on komponendi nimi aliensblogcpux86, mis sisaldab mänguasja tulnuka mudelit.
5. Vali järgmine.
6. Konfigureerige komponent (valikuline).
7. Vali järgmine.
8. Laiendama Juurutamiseeskirjad.
9. eest Komponentide värskenduspoliitikavalige Teatage komponentidest.See võimaldab juba juurutatud komponendil (komponendi eelnev versioon) värskendamist edasi lükata, kuni olete värskendamiseks valmis.
10. eest Rikke käsitlemise poliitikavalige Ära veere tagasi.Rikke korral võimaldab see valik juurutamise vigu uurida.
11. Vali järgmine.
12. Vaadake üle sihtseadmesse (serva) juurutavate komponentide loend.
13. Vali järgmine.Sa peaksid teadet nägema Deployment successfully created.
14. Mudeli juurutamise õnnestumise kinnitamiseks käivitage oma servaseadmes järgmine käsk:

    sudo /greengrass/v2/bin/greengrass-cli component list

Peaksite nägema sarnast väljundit, mis töötab aliensblogcpux86 elutsükli käivitusskript:

Praegu Greengrassis töötavad komponendid:

Components currently running in Greengrass:
 
Component Name: aws.iot.lookoutvision.EdgeAgent
    Version: 0.1.34
    State: RUNNING
    Configuration: {"Socket":"unix:///tmp/aws.iot.lookoutvision.EdgeAgent.sock"}
 Component Name: aliensblogcpux86
    Version: 1.0.0
    State: RUNNING
    Configuration: {"Autostart":false}

Käivitage mudelile järeldused

märkused: Kui kasutate Greengrassi teise kasutajana kui see, millena olete sisse logitud, peate muutma faili õigusi /tmp/aws.iot.lookoutvision.EdgeAgent.sock:

chmod 666 /tmp/aws.iot.lookoutvision.EdgeAgent.sock

Nüüd oleme valmis mudeli kohta järeldusi tegema. Käivitage oma servaseadmes mudeli laadimiseks järgmine käsk (asendada koos teie komponendis kasutatud mudelinimega):

# run command to load the model# This will load the model into running state pass
# the name of the model component as a parameter.
python3 warmup-model.py <modelName>

Järelduste loomiseks käivitage järgmine käsk lähtefaili nimega (asendada koos kontrollitava ja asendatava pildi tee ja failinimega koos teie komponendi mudelinimega):

python3 sample-client-file-mqtt.py </path/to/images> <modelName>

start client ['sample-client-file.py', 'aliens-dataset/anomaly/1.png', 'aliensblogcpux86']
channel set
shape=(380, 550, 3)
Image is anomalous, (90.05860090255737 % confidence) contains defects with total area over .1%: {'missing_limbs': '#FFFFFF'}

Mudel ennustab kujutist õigesti kui anomaalset (missing_limbs) usaldusskooriga 0.9996867775917053. See ütleb meile anomaalia sildi maski missing_limbs ja pindala protsentides. Vastus sisaldab ka bitmap-andmeid, mida saate leitu dekodeerida.

Laadige alla ja avage fail blended.png, mis näeb välja nagu järgmine pilt. Pange tähele vigaga esiletõstetud ala jalgade ümber.

Kliendi lood

AWS IoT Greengrassi ja Lookout for Visioni abil saate nüüd automatiseerida visuaalset kontrolli arvutinägemise abil selliste protsesside jaoks nagu kvaliteedikontroll ja defektide hindamine – kõike seda äärepealt ja reaalajas. Saate ennetavalt tuvastada probleeme, nagu osade kahjustused (nagu mõlgid, kriimud või kehv keevitamine), puuduvad tootekomponendid või defektid korduvate mustritega tootmisliinil endal – säästes teie aega ja raha. Sellised kliendid nagu Tyson ja Baxter on avastamas Lookout for Visioni võimet tõsta kvaliteeti ja vähendada tegevuskulusid, automatiseerides visuaalse kontrolli.

"Tõhus toimimine on Tyson Foodsi peamine prioriteet. Ennustav hooldus on selle eesmärgi saavutamiseks hädavajalik, parandades pidevalt üldist seadmete tõhusust (OEE). 2021. aastal käivitas Tyson Foods masinõppel põhineva arvutinägemise projekti, et tuvastada tootmise käigus rikkis tootekandjad, et vältida nende mõju meeskonnaliikmete ohutusele, toimimisele või toote kvaliteedile. Amazon Lookout for Visioniga koolitatud mudelid toimisid hästi. Nööpnõelte tuvastamise mudel saavutas mõlemas klassis 95% täpsuse. Mudel Amazon Lookout for Vision häälestati töötama 99.1% täpsusega tihvtide tuvastamise ebaõnnestumise korral. Selle projekti kõige põnevam tulemus oli arendusaja kiirenemine. Kuigi selles projektis kasutatakse kahte mudelit ja keerukamat rakenduskoodi, kulus selle valmimiseks arendajal 12% vähem aega. See Tyson Foodsi tootekandjate seisukorra jälgimise projekt viidi lõpule rekordajaga, kasutades AWS-i hallatavaid teenuseid, nagu Amazon Lookout for Vision.

-Audrey Timmerman, vanem rakenduste arendaja, Tyson Foods.

"Laitentsus ja järelduste kiirus on meie tootmisprotsesside reaalajas hindamise ja kriitilise kvaliteedikontrolli jaoks kriitilise tähtsusega. CPU-seadme Amazon Lookout for Vision serv annab meile võimaluse seda saavutada tootmistasemel seadmetes, võimaldades meil pakkuda kuluefektiivseid AI-nägemislahendusi mastaapselt.

—AK Karan, digitaalse ümberkujundamise ülemaailmne vanemdirektor, integreeritud tarneahel, Baxter International Inc.

Korista ära

Kontolt loodud varade eemaldamiseks ja jätkuvate arvelduste vältimiseks tehke järgmist.

1. Navigeerige konsoolil Lookout for Vision oma projekti juurde.
2. Kohta Meetmete menüüst, kustutage oma andmestikud.
   
3. Kustutage oma mudelid.
   
4. Tühjendage Amazon S3 konsoolil loodud ämbrid ja seejärel kustutage ämbrid.
5. Kustutage Amazon EC2 konsoolis eksemplar, millega alustasite AWS IoT Greengrassi käitamist.
6. Valige AWS IoT Greengrassi konsoolil kasutuselevõttu navigeerimispaanil.
7. Kustutage oma komponentide versioonid.
   
8. Kustutage AWS IoT Greengrassi konsoolis AWS IoT asjad, rühmad ja seadmed.

Järeldus

Selles postituses kirjeldasime tüüpilist stsenaariumi tööstuslike defektide tuvastamiseks serval, kasutades defektide lokaliseerimist ja juurutamist ainult protsessoriga seadmesse. Vaatasime läbi pilve ja servade elutsükli põhikomponendid täieliku näitega, kasutades Lookout for Visioni ja AWS IoT Greengrassi. Lookout for Visioniga treenisime pilves anomaalia tuvastamise mudelit, kasutades mänguasja tulnukate andmestik, kompileeris mudeli sihtarhitektuuriks ja pakkis mudeli AWS IoT Greengrassi komponendina. AWS IoT Greengrassiga juurutasime mudeli servaseadmesse. Demonstreerisime Pythoni-põhist näidisrakendust, mis hangib mänguasjade tulnukate pildid ääreseadme kohalikust failisüsteemist, käivitab gRPC liidese abil servas oleva Lookout for Visioni mudeli järeldused ja saadab järeldusandmed AWS-i MQTT teemasse. Pilv.

Järgmises postituses näitame, kuidas GStreameri meediumikonveieri abil reaalajas pildivoo kohta järeldusi teha.

Alustage oma teekonda tööstuslike anomaaliate tuvastamise ja tuvastamise suunas, külastades veebilehte Amazon Lookout for Vision ja AWS IoT Greengrass ressursi leheküljed.

Autoritest

Manish Talreja on AWS-i professionaalsete teenuste vanem tööstusliku ML-i praktikajuht. Ta aitab AWS-i klientidel saavutada oma ärieesmärke, kavandades ja luues uuenduslikke lahendusi, mis kasutavad AWS ML-i ja IoT-teenuseid AWS-i pilves.

Ryan Vanderwerf on Amazon Web Servicesi partnerlahenduste arhitekt. Varem pakkus ta Java virtuaalmasinatele keskenduvat nõustamist ja projektiarendust OCI tarkvarainsenerina Grailsi ja Micronauti meeskonnas. Ta oli ReachForce'i peaarhitekt/toodete direktor, keskendudes turundusandmete haldamiseks mõeldud AWS Cloud SaaS-lahenduste tarkvarale ja süsteemiarhitektuurile. Ryan on alates 1996. aastast loonud mitmeid SaaS-i lahendusi mitmetes valdkondades, nagu finants-, meedia-, telekommunikatsiooni- ja e-õppe ettevõtted.

Prakash Krishnan on Amazon Web Servicesi tarkvaraarenduse vanemjuht. Ta juhib inseneride meeskondi, kes ehitavad suuremahulisi hajutatud süsteeme, et rakendada kiireid, tõhusaid ja hästi skaleeritavaid algoritme sügavate õppimispõhiste pildi- ja videotuvastusprobleemide lahendamiseks.