To je gostujoča objava, katere avtorja sta Andrew Masek, programski inženir pri The Barcode Registry in Erik Quisling, izvršni direktor The Barcode Registry.
Ponarejanje izdelkov je največje kriminalno podjetje na svetu. Prodaja ponarejenega blaga, ki je v zadnjih dveh desetletjih narasla za več kot 10,000 %, zdaj znaša 1.7 bilijona dolarjev na leto po vsem svetu, kar je več kot prodaja drog in trgovine z ljudmi. Čeprav so lahko tradicionalne metode preprečevanja ponarejanja, kot so edinstvene črtne kode in preverjanje izdelkov, zelo učinkovite, se zdijo nove tehnologije strojnega učenja (ML), kot je zaznavanje predmetov, zelo obetavne. Z zaznavanjem predmetov lahko zdaj posnamete sliko izdelka in skoraj takoj veste, ali je ta izdelek verjetno zakonit ali goljufiv.
O Register črtne kode (v povezavi s svojim partnerjem Buyabarcode.com) je celovita rešitev, ki strankam pomaga preprečiti goljufije in ponarejanje izdelkov. To počne s prodajo edinstvenih črtnih kod, registriranih v GS1, preverjanjem lastništva izdelkov ter registracijo izdelkov in črtnih kod uporabnikov v obsežni bazi podatkov. Njihova najnovejša ponudba, o kateri razpravljamo v tej objavi, uporablja Amazon SageMaker ustvariti modele za odkrivanje predmetov, ki pomagajo takoj prepoznati ponarejene izdelke.
Pregled rešitve
Če želite uporabiti te modele zaznavanja predmetov, morate najprej zbrati podatke za njihovo usposabljanje. Podjetja naložijo označene slike svojih izdelkov v register črtnih kod spletna stran. Ko so ti podatki naloženi v Preprosta storitev shranjevanja Amazon (Amazon S3) in obdelal AWS Lambda funkcije, ga lahko uporabite za usposabljanje modela za zaznavanje objektov SageMaker. Ta model gostuje na končni točki SageMaker, kjer ga spletno mesto poveže s končnim uporabnikom.
Obstajajo trije ključni koraki za ustvarjanje, ki jih Register črtne kode uporablja za ustvarjanje modela zaznavanja predmetov po meri s SageMakerjem:
- Ustvarite skript za usposabljanje za izvajanje SageMakerja.
- Zgradite vsebnik Docker iz skripta za usposabljanje in ga naložite v Amazon ECR.
- Uporabite konzolo SageMaker za usposabljanje modela z algoritmom po meri.
Podatki o izdelku
Kot predpogoj za usposabljanje modela za zaznavanje predmeta boste potrebovali račun AWS in slike za usposabljanje, sestavljene iz vsaj 100 visokokakovostnih (visoke ločljivosti in v več svetlobnih pogojih) slik vašega predmeta. Kot pri vsakem modelu ML so visokokakovostni podatki najpomembnejši. Za usposabljanje modela zaznavanja objektov potrebujemo slike, ki vsebujejo ustrezne izdelke, kot tudi omejevalne okvirje, ki opisujejo, kje so izdelki na slikah, kot je prikazano v naslednjem primeru.
Za usposabljanje učinkovitega modela so potrebne slike vsakega izdelka blagovne znamke z različnimi ozadji in svetlobnimi pogoji – približno 30–100 edinstvenih označenih slik za vsak izdelek.
Ko so slike naložene na spletni strežnik, se naložijo v Amazon S3 z uporabo AWS SDK za PHP. Lambda dogodek se sproži vsakič, ko je slika naložena. Funkcija odstrani metapodatke Exif iz slik, kar lahko včasih povzroči, da so videti zasukane, ko jih odprejo knjižnice ML, ki se pozneje uporabijo za usposabljanje modela. Povezani podatki o mejnem polju so shranjeni v datotekah JSON in naloženi v Amazon S3, da spremljajo slike.
SageMaker za modele zaznavanja objektov
SageMaker je upravljana storitev ML, ki vključuje različna orodja za gradnjo, usposabljanje in gostovanje modelov v oblaku. Zlasti TheBarcodeRegistry uporablja SageMaker za svojo storitev zaznavanja objektov zaradi SageMakerjevega zanesljivega in razširljivega usposabljanja za model ML in storitev gostovanja. To pomeni, da imajo lahko številne blagovne znamke usposobljene in gostovane lastne modele zaznavanja objektov in tudi če uporaba nepredvidljivo naraste, ne bo izpadov.
Register črtne kode uporablja vsebnike Docker po meri, naložene v Registar elastičnih zabojnikov Amazon (Amazon ECR), da bi imeli natančnejši nadzor nad algoritmom za zaznavanje predmetov, ki se uporablja za usposabljanje in sklepanje ter podporo za Strežnik z več modeli (MMS). MMS je zelo pomemben za primer uporabe odkrivanja ponaredkov, saj omogoča stroškovno učinkovito gostovanje modelov več blagovnih znamk na istem strežniku. Lahko pa uporabite tudi vgrajeno algoritem zaznavanja predmetov za hitro uvajanje standardnih modelov, ki jih je razvil AWS.
Usposobite model za zaznavanje predmetov po meri s SageMakerjem
Najprej morate dodati svoj algoritem za zaznavanje predmetov. V tem primeru naložite vsebnik Docker s skripti za usposabljanje modela zaznavanja objektov Yolov5 v Amazon ECR:
- Na konzoli SageMaker pod notebook v podoknu za krmarjenje izberite Primeri prenosnih računalnikov.
- Izberite Ustvari primerek prenosnega računalnika.
- Vnesite ime za primerek zvezka in pod Dovoljenja in šifriranje izberite AWS upravljanje identitete in dostopa (IAM) vlogo s potrebnimi dovoljenji.
- odprite Git skladišča meni.
- Izberite Javno shrambo Git klonirajte samo v ta primerek prenosnega računalnika in prilepite naslednje URL skladišča Git: https://github.com/portoaj/SageMakerObjectDetection
- klik Ustvari primerek prenosnega računalnika in počakajte približno pet minut, da se stanje primerka posodobi iz Do do V službi v Primerek zvezka meni.
- Ko je zvezek enkrat V službi, izberite in kliknite Proces in Odprite Jupyter da zaženete primerek zvezka v novem zavihku.
- Izberite SageMakerObjectDetection imenik in nato kliknite na
sagemakerobjectdetection.ipynb
za zagon prenosnika Jupyter. - Izberite
conda_python3
jedro in kliknite Nastavite jedro. - Izberite kodno celico in nastavite
aws_account_id
spremenljivko za vaš ID računa AWS. - klik Run za začetek postopka gradnje vsebnika Docker in njegovega nalaganja v Amazon ECR. Ta postopek lahko traja približno 20 minut.
- Ko je vsebnik Docker naložen, se vrnite na Primeri prenosnih računalnikov izberite svoj primerek in kliknite Proces in stop da izklopite primerek prenosnega računalnika.
Ko je algoritem izdelan in potisnjen v Amazon ECR, ga lahko uporabite za usposabljanje modela prek konzole SageMaker.
- Na konzoli SageMaker pod usposabljanje v podoknu za krmarjenje izberite Usposabljanja.
- Izberite Ustvarite delovno mesto za usposabljanje.
- Vnesite ime za delo in izberite AWS upravljanje identitete in dostopa (IAM) vlogo s potrebnimi dovoljenji.
- za Vir algoritmatako, da izberete Vaš lasten vsebnik algoritmov v ECR.
- za Posoda, vnesite pot do registra.
- Nastavitev enega samega primerka ml.p2.xlarge pod konfiguracijo vira bi morala zadostovati za usposabljanje modela Yolov5.
- Določite lokacije Amazon S3 za vaše vhodne podatke in izhodno pot ter vse druge nastavitve, kot je konfiguracija VPC prek Navidezni zasebni oblak Amazon (Amazon VPC) ali omogočanje Managed Spot Training.
- Izberite Ustvarite delovno mesto za usposabljanje.
Napredek pri usposabljanju modela lahko spremljate na konzoli SageMaker.
Avtomatsko usposabljanje modela
Naslednji diagram ponazarja delovni tok samodejnega usposabljanja modela:
Da bi SageMaker začel usposabljati model zaznavanja objektov takoj, ko uporabnik konča nalaganje svojih podatkov, spletni strežnik uporablja Amazon API Gateway za obveščanje funkcije Lambda, da je znamka končala, in za začetek usposabljanja.
Ko je model znamke uspešno usposobljen, Amazon EventBridge pokliče funkcijo Lambda, ki premakne usposobljeni model v vedro S3 žive končne točke, kjer je končno pripravljen za sklepanje. Novejša alternativa uporabi Amazon EventBridge za premikanje modelov skozi življenjski cikel MLOps, ki bi jo morali upoštevati, je SageMaker cevovodi.
Gostite model za sklepanje
Naslednji diagram ponazarja potek dela sklepanja:
Za uporabo usposobljenih modelov SageMaker zahteva, da model sklepanja gosti končna točka. Končna točka je strežnik ali niz strežnikov, ki se uporabljajo za dejansko gostovanje modela sklepanja. Podobno kot vsebnik za usposabljanje, ki smo ga ustvarili, vsebnik Docker za sklepanje gostuje v Amazon ECR. Inferenčni model uporablja ta vsebnik Docker in vzame vhodno sliko, ki jo je uporabnik posnel s svojim telefonom, jo požene skozi naučeni model zaznavanja objektov in izda rezultat.
Ponovno register črtne kode uporablja vsebnike Docker po meri za sklepni model, da omogoči uporabo strežnika z več modeli, če pa je potreben samo en model, ga je mogoče preprosto gostiti prek vgrajenega algoritma za zaznavanje objektov.
zaključek
Register črtne kode (v povezavi s svojim partnerjem Buyabarcode.com) uporablja AWS za svoj celoten cevovod za odkrivanje predmetov. Spletni strežnik zanesljivo shranjuje podatke v Amazon S3 in uporablja funkcije API Gateway in Lambda za povezavo spletnega strežnika z oblakom. SageMaker zlahka usposablja in gosti modele ML, kar pomeni, da lahko uporabnik fotografira izdelek na svojem telefonu in preveri, ali je izdelek ponaredek. Ta objava prikazuje, kako ustvariti in gostiti model zaznavanja objektov s SageMakerjem ter kako avtomatizirati postopek.
Pri testiranju je modelu uspelo doseči več kot 90-odstotno natančnost na učnem nizu 62 slik in testnem nizu 32 slik, kar je precej impresivno za model, ki je bil učen brez človeškega posredovanja. Če želite sami začeti učiti modele zaznavanja objektov, si oglejte uradnika Dokumentacija ali se naučite, kako razmestite model zaznavanja objektov do roba z uporabo AWS IoT Greengrass.
Vsebina in mnenja v tej objavi so mnenja neodvisnega avtorja in AWS ni odgovoren za vsebino ali točnost te objave.
O avtorjih
Andrej Masek, programski inženir pri The Barcode Registry.
Erik Quisling, izvršni direktor The Barcode Registry.
- Coinsmart. Najboljša evropska borza bitcoinov in kriptovalut.
- Platoblockchain. Web3 Metaverse Intelligence. Razširjeno znanje. PROST DOSTOP.
- CryptoHawk. Altcoin radar. Brezplačen preizkus.
- Vir: https://aws.amazon.com/blogs/machine-learning/how-the-barcode-registry-detects-counterfeit-products-using-object-detection-and-amazon-sagemaker/
- "
- 000
- 10
- 100
- 7
- O meni
- dostop
- Račun
- algoritem
- Čeprav
- Amazon
- API
- Avtomatizirano
- AWS
- meja
- Pasovi
- blagovne znamke
- Building
- vgrajeno
- Vzrok
- ceo
- Cloud
- Koda
- zbiranje
- Podjetja
- konfiguracija
- Konzole
- Posoda
- Zabojniki
- vsebina
- nadzor
- Ponarejeni
- Ustvarjanje
- kazenska
- po meri
- Stranke, ki so
- datum
- Baze podatkov
- razporedi
- Odkrivanje
- razvili
- drugačen
- razpravlja
- Lučki delavec
- navzdol
- odmore
- Droge
- enostavno
- Edge
- Učinkovito
- omogočanje
- Končna točka
- inženir
- Podjetje
- Event
- Primer
- končno
- prva
- po
- goljufija
- funkcija
- git
- blago
- Pridelovanje
- Gost
- Gost Prispevek
- pomoč
- Pomaga
- Kako
- Kako
- HTTPS
- človeškega
- identiteta
- slika
- Pomembno
- Internet stvari
- IT
- Job
- Ključne
- Zadnji
- kosilo
- UČITE
- učenje
- Lokacije
- stroj
- strojno učenje
- upravlja
- ML
- Model
- modeli
- več
- premikanje
- ostalo
- prenosnik
- ponujanje
- Uradni
- Komentarji
- Da
- Ostalo
- lastništvo
- partner
- slika
- precej
- Preprečevanje
- zasebna
- Postopek
- Izdelek
- Izdelki
- obetaven
- javnega
- hitro
- priznajo
- pomembno
- Skladišče
- vir
- odgovorna
- Run
- prodaja
- razširljive
- SDK
- Storitev
- Storitve
- nastavite
- Podoben
- Enostavno
- Snap
- Software
- Software Engineer
- Rešitev
- Komercialni
- Začetek
- začel
- Status
- shranjevanje
- trgovine
- Uspešno
- podpora
- Tehnologije
- Testiranje
- svet
- tretjih oseb
- skozi
- čas
- orodja
- sledenje
- tradicionalna
- usposabljanje
- vlaki
- edinstven
- Nadgradnja
- uporaba
- Preverjanje
- Virtual
- Počakaj
- web
- spletni strežnik
- Spletna stran
- brez
- svet
- po vsem svetu
- leto