See on külalispostitus, mille autoriteks on Andrew Masek, The Barcode Registry tarkvarainsener ja Erik Quisling, The Barcode Registry tegevjuht.
Toodete võltsimine on suurim kuritegelik ettevõtmine maailmas. Viimase kahe aastakümne jooksul üle 10,000 1.7% kasvanud võltskaupade müük ulatub praegu kogu maailmas XNUMX triljoni dollarini aastas, mis on rohkem kui narko- ja inimkaubandus. Kuigi traditsioonilised võltsimise ennetamise meetodid, nagu unikaalsed vöötkoodid ja tootekontroll, võivad olla väga tõhusad, tunduvad uued masinõppe (ML) tehnoloogiad, nagu objektide tuvastamine, väga paljulubavad. Objektide tuvastamise abil saate nüüd tootest pildi teha ja peaaegu kohe teada, kas see toode on tõenäoliselt seaduslik või petturlik.
. Vöötkoodi register (koos oma partneriga Buyabarcode.com) on täisteenuslahendus, mis aitab klientidel vältida tootepettusi ja võltsimist. See teeb seda, müües unikaalseid GS1-s registreeritud vöötkoode, kontrollides toote omandiõigust ning registreerides kasutajate tooted ja vöötkoodid terviklikus andmebaasis. Nende uusim pakkumine, mida me selles postituses arutame, kasutab Amazon SageMaker objektide tuvastamise mudelite loomiseks, mis aitavad võltsitud tooteid kohe ära tunda.
Ülevaade lahendusest
Nende objektituvastusmudelite kasutamiseks peate esmalt koguma andmeid nende koolitamiseks. Ettevõtted laadivad oma toodetest kommentaaridega pilte üles vöötkoodiregistrisse veebisait. Pärast nende andmete üleslaadimist Amazoni lihtne salvestusteenus (Amazon S3) ja töötles AWS Lambda funktsioone, saate seda kasutada SageMakeri objektituvastusmudeli treenimiseks. Seda mudelit hostitakse SageMakeri lõpp-punktis, kus veebisait ühendab selle lõppkasutajaga.
Vöötkoodiregistri loomiseks kasutatakse SageMakeriga kohandatud objektituvastusmudeli loomiseks kolm peamist sammu:
- Looge SageMakeri käitamiseks treeningskript.
- Ehitage treeningskriptist Dockeri konteiner ja laadige see Amazon ECR-i üles.
- Mudeli koolitamiseks kohandatud algoritmiga kasutage SageMakeri konsooli.
Toote andmed
Objektituvastusmudeli väljaõpetamise eeltingimusena on teil vaja AWS-i kontot ja koolituspilte, mis koosnevad teie objektist vähemalt 100 kvaliteetsest (kõrge eraldusvõimega ja mitmes valgustingimustes) pildist. Nagu iga ML-mudeli puhul, on kvaliteetsed andmed esmatähtsad. Objektituvastusmudeli väljaõpetamiseks vajame pilte, mis sisaldavad asjakohaseid tooteid, samuti piirdekaste, mis kirjeldavad toodete asukohta piltidel, nagu on näidatud järgmises näites.
Tõhusa mudeli väljaõpetamiseks on vaja pilte iga brändi tootest erineva tausta ja valgustingimustega – iga toote kohta umbes 30–100 unikaalset kommenteeritud pilti.
Pärast piltide veebiserverisse üleslaadimist laaditakse need Amazon S3-sse, kasutades AWS SDK PHP jaoks. Lambda sündmus käivitatakse iga kord, kui pilt üles laaditakse. Funktsioon eemaldab piltidelt Exifi metaandmed, mis võib mõnikord põhjustada nende pööramist, kui need avavad ML-teegid, mida hiljem mudeli koolitamiseks kasutati. Seotud piirdekasti andmed salvestatakse JSON-failidesse ja laaditakse piltidega kaasas Amazon S3-sse.
SageMaker objektide tuvastamise mudelite jaoks
SageMaker on hallatav ML-teenus, mis sisaldab mitmesuguseid tööriistu pilves mudelite ehitamiseks, koolitamiseks ja hostimiseks. Eelkõige kasutab TheBarcodeRegistry oma objektide tuvastamise teenuseks SageMakerit tänu SageMakeri usaldusväärsetele ja skaleeritavatele ML-mudelite koolitus- ja hostimisteenustele. See tähendab, et paljud kaubamärgid saavad oma objektituvastusmudeleid välja õpetada ja hostida ning isegi kui kasutus kasvab ettearvamatult, ei teki seisakuid.
Vöötkoodiregister kasutab kohandatud Dockeri konteinereid, mis on üles laaditud Amazoni elastsete konteinerite register (Amazon ECR), et saada täpsemat kontrolli objektide tuvastamise algoritmi üle, mida kasutatakse koolitamiseks ja järelduste tegemiseks ning Mitme mudeli server (MMS). MMS on võltsingute tuvastamise kasutusjuhtumite jaoks väga oluline, kuna see võimaldab mitut kaubamärgi mudelit kulutõhusalt hostida samas serveris. Teise võimalusena võite kasutada sisseehitatud objekti tuvastamise algoritm AWS-i väljatöötatud standardmudelite kiireks juurutamiseks.
Treenige SageMakeriga kohandatud objektide tuvastamise mudelit
Esiteks peate lisama oma objekti tuvastamise algoritmi. Sel juhul laadige üles Dockeri konteiner, mis sisaldab skripte, et koolitada Yolov5 objektituvastusmudel Amazon ECR-i:
- SageMakeri konsoolil, all märkmik valige navigeerimispaanil Märkmiku eksemplarid.
- Vali Loo märkmiku eksemplar.
- Sisestage märkmiku eksemplari nimi ja alla Load ja krüpteerimine vali an AWS-i identiteedi- ja juurdepääsuhaldus (IAM) rolli koos vajalike õigustega.
- avage Giti hoidlad menüü.
- valima Kloonige avalik Giti hoidla ainult sellesse sülearvuti eksemplari ja kleepige järgmine Giti hoidla URL: https://github.com/portoaj/SageMakerObjectDetection
- Click Loo märkmiku eksemplar ja oodake umbes viis minutit, kuni eksemplari olek värskendatakse kuni et Teenuses aasta Märkmiku eksemplar menüü.
- Kui märkmik on Teenuses, valige see ja klõpsake nuppu Meetmete ja Avage Jupyter märkmiku eksemplari käivitamiseks uuel vahelehel.
- Valige SageMakerObjectDetection kataloogi ja seejärel klõpsake nuppu
sagemakerobjectdetection.ipynb
Jupyteri sülearvuti käivitamiseks. - Valige
conda_python3
kernel ja klõpsake Määra Kernel. - Valige koodilahter ja määrake
aws_account_id
muutuja teie AWS-i konto ID-ga. - Click jooks et alustada Dockeri konteineri loomist ja selle Amazon ECR-i üleslaadimist. Selle protsessi lõpuleviimiseks võib kuluda umbes 20 minutit.
- Kui Dockeri konteiner on üles laaditud, naaske jaotisesse Märkmiku eksemplarid menüüst, valige oma eksemplar ja klõpsake Meetmete ja Peatus sülearvuti eksemplari sulgemiseks.
Pärast algoritmi koostamist ja Amazon ECR-i edastamist saate seda kasutada mudeli koolitamiseks SageMakeri konsooli kaudu.
- SageMakeri konsoolil, all koolitus valige navigeerimispaanil Koolitustööd.
- Vali Loo koolitustöö.
- Sisestage töö nimi ja valige AWS-i identiteedi- ja juurdepääsuhaldus (IAM) rolli koos vajalike õigustega.
- eest Algoritmi allikasvalige Teie enda algoritmi konteiner ECR-is.
- eest Konteiner, sisestage registritee.
- Ühe ml.p2.xlarge eksemplari määramisest ressursi konfiguratsiooni alla peaks piisama Yolov5 mudeli koolitamiseks.
- Määrake Amazon S3 asukohad nii oma sisendandmete kui ka väljundtee jaoks ning mis tahes muud seaded, näiteks VPC konfigureerimine Amazoni virtuaalne privaatpilv (Amazon VPC) või Managed Spot Trainingi lubamine.
- Vali Loo koolitustöö.
Mudeli treeningu edenemist saate jälgida SageMakeri konsoolil.
Automatiseeritud mudelikoolitus
Järgmine diagramm illustreerib automatiseeritud mudeli koolituse töövoogu.
Et SageMaker hakkaks objektituvastusmudelit koolitama kohe, kui kasutaja on andmete üleslaadimise lõpetanud, kasutab veebiserver Amazon API värav teavitada Lambda funktsiooni, et bränd on lõpetanud, ja alustada koolitust.
Kui brändi mudel on edukalt koolitatud, Amazon EventBridge kutsub Lambda funktsiooni, mis liigutab treenitud mudeli reaalajas lõpp-punkti S3 ämbrisse, kus see on lõpuks valmis järelduste tegemiseks. Uuem alternatiiv Amazon EventBridge'i kasutamisele mudelite teisaldamiseks läbi MLOps-i elutsükli, mida peaksite kaaluma, on SageMakeri torujuhtmed.
Hoiustage mudel järelduste tegemiseks
Järgmine diagramm illustreerib järelduste töövoogu:
Koolitatud mudelite kasutamiseks nõuab SageMaker, et lõpp-punkt hostiks järeldusmudelit. Lõpp-punkt on server või serverite massiiv, mida tegelikult kasutatakse järeldusmudeli hostimiseks. Sarnaselt meie loodud koolituskonteineriga on Amazon ECR-is hostitud Dockeri konteiner järelduste tegemiseks. Järeldusmudel kasutab seda Dockeri konteinerit ja võtab sisendpildi, mille kasutaja telefoniga tegi, käivitab selle läbi koolitatud objektituvastusmudeli ja väljastab tulemuse.
Jällegi, vöötkoodiregister kasutab järeldusmudeli jaoks kohandatud Dockeri konteinereid, et võimaldada mitme mudeliserveri kasutamist, kuid kui vaja on ainult ühte mudelit, mida saab hõlpsasti hostida sisseehitatud objektituvastusalgoritmi kaudu.
Järeldus
Vöötkoodiregister (koos oma partneriga Buyabarcode.com) kasutab AWS-i kogu objekti tuvastamise torujuhtme jaoks. Veebiserver salvestab andmeid usaldusväärselt Amazon S3-s ning kasutab API Gateway ja Lambda funktsioone veebiserveri ühendamiseks pilvega. SageMaker koolitab ja majutab hõlpsalt ML-mudeleid, mis tähendab, et kasutaja saab oma telefonis tootest pildi teha ja näha, kas toode on võltsitud. See postitus näitab, kuidas luua ja hostida objektide tuvastamise mudelit SageMakeri abil ning kuidas seda protsessi automatiseerida.
Testimisel suutis mudel saavutada 90 pildist koosneva treeningkomplekti ja 62 kujutisega testimiskomplekti puhul üle 32% täpsuse, mis on ilma inimese sekkumiseta treenitud mudeli puhul üsna muljetavaldav. Objektide tuvastamise mudelite koolitamise alustamiseks vaadake ametnikku dokumentatsioon või õppida, kuidas seda teha juurutada objekti tuvastamise mudel servale, kasutades AWS IoT Greengrassi.
Selle postituse sisu ja arvamused on kolmandast osapoolest autori omad ja AWS ei vastuta selle postituse sisu ega täpsuse eest.
Autoritest
Andrew Masek, vöötkoodiregistri tarkvarainsener.
Erik Quisling, vöötkoodiregistri tegevjuht.
- Münditark. Euroopa parim Bitcoini ja krüptobörs.
- Platoblockchain. Web3 metaversiooni intelligentsus. Täiustatud teadmised. TASUTA PÄÄS.
- CryptoHawk. Altcoini radar. Tasuta prooviversioon.
- Allikas: https://aws.amazon.com/blogs/machine-learning/how-the-barcode-registry-detects-counterfeit-products-using-object-detection-and-amazon-sagemaker/
- "
- 000
- 10
- 100
- 7
- MEIST
- juurdepääs
- konto
- algoritm
- Kuigi
- Amazon
- API
- Automatiseeritud
- AWS
- piir
- Kast
- brändid
- Ehitus
- sisseehitatud
- Põhjus
- tegevjuht
- Cloud
- kood
- koguma
- Ettevõtted
- konfiguratsioon
- konsool
- Konteiner
- Konteinerid
- sisu
- kontrollida
- Võltsitud
- loomine
- Criminal
- tava
- Kliendid
- andmed
- andmebaas
- juurutada
- Detection
- arenenud
- erinev
- arutama
- laevalaadija
- alla
- seisakuaeg
- Narkootikumide
- kergesti
- serv
- Tõhus
- võimaldades
- Lõpp-punkt
- insener
- ettevõte
- sündmus
- näide
- Lõpuks
- esimene
- Järel
- pettus
- funktsioon
- Git
- kaubad
- Kasvavad
- külaline
- Külaline Postitus
- aitama
- aitab
- Kuidas
- Kuidas
- HTTPS
- inim-
- Identity
- pilt
- oluline
- asjade Interneti
- IT
- töö
- Võti
- hiljemalt
- algatama
- Õppida
- õppimine
- kohad
- masin
- masinõpe
- juhitud
- ML
- mudel
- mudelid
- rohkem
- liikuma
- NAVIGATSIOON
- märkmik
- pakkumine
- ametlik
- Arvamused
- et
- Muu
- omandiõigus
- partner
- pilt
- ilus
- Ennetamine
- era-
- protsess
- Toode
- Toodet
- paljutõotav
- avalik
- kiiresti
- tunnistama
- asjakohane
- Hoidla
- ressurss
- vastutav
- jooks
- müük
- skaalautuvia
- SDK
- teenus
- Teenused
- komplekt
- sarnane
- lihtne
- Tõmme
- tarkvara
- Tarkvara insener
- lahendus
- Kaubandus-
- algus
- alustatud
- olek
- ladustamine
- kauplustes
- Edukalt
- toetama
- Tehnoloogiad
- Testimine
- maailm
- kolmanda osapoole
- Läbi
- aeg
- töövahendid
- jälgida
- traditsiooniline
- koolitus
- rongid
- ainulaadne
- Värskendused
- kasutama
- Kontrollimine
- virtuaalne
- ootama
- web
- veebiserver
- veebisait
- ilma
- maailm
- ülemaailmne
- aasta