Ez egy vendégbejegyzés szerzője Andrew Masek, a The Barcode Registry szoftvermérnöke és Erik Quisling, a The Barcode Registry vezérigazgatója.
A termékhamisítás a világ legnagyobb bűnügyi vállalkozása. Az elmúlt két évtizedben több mint 10,000 1.7%-kal nőtt a hamisított áruk értékesítése világszerte évi XNUMX billió dollárt tesz ki, ami több, mint a kábítószer- és embercsempészet. Bár a hamisítás megelőzésének hagyományos módszerei, mint például az egyedi vonalkódok és a termékellenőrzés, nagyon hatékonyak lehetnek, az új gépi tanulási (ML) technológiák, mint például a tárgyfelismerés, nagyon ígéretesnek tűnnek. A tárgyfelismeréssel most képet készíthet egy termékről, és szinte azonnal megtudhatja, hogy a termék valószínűleg jogos vagy csaló.
A Vonalkód nyilvántartás (partnerével együtt Buyabarcode.com) egy teljes körű szolgáltatást nyújtó megoldás, amely segít az ügyfeleknek a termékcsalás és a hamisítás megelőzésében. Ezt egyedi GS1-regisztrált vonalkódok értékesítésével, terméktulajdonjog-ellenőrzésével, valamint a felhasználók termékeinek és vonalkódjainak átfogó adatbázisban történő regisztrálásával teszi. Legújabb ajánlatuk, amelyet ebben a bejegyzésben tárgyalunk, használja Amazon SageMaker objektumészlelési modellek létrehozásához, amelyek segítenek azonnal felismerni a hamisított termékeket.
A megoldás áttekintése
Ezen objektumészlelési modellek használatához először adatokat kell gyűjtenie a betanításukhoz. A vállalatok megjegyzésekkel ellátott képeket töltenek fel termékeikről a The Barcode Registry-be . Az adatok feltöltése után Amazon egyszerű tárolási szolgáltatás (Amazon S3) és feldolgozta AWS Lambda függvényeket, használhatja a SageMaker objektumészlelési modell betanításához. Ezt a modellt egy SageMaker-végpont tárolja, ahol a webhely összekapcsolja a végfelhasználóval.
A vonalkód-nyilvántartás létrehozásának három kulcsfontosságú lépése van, hogy egyéni objektumészlelési modellt hozzon létre a SageMakerrel:
- Hozzon létre egy képzési szkriptet a SageMaker futtatásához.
- Hozzon létre egy Docker-tárolót a képzési szkriptből, és töltse fel az Amazon ECR-be.
- Használja a SageMaker konzolt egy modell egyéni algoritmussal történő betanításához.
Termékadatok
Az objektumészlelési modell betanításának előfeltételeként szüksége lesz egy AWS-fiókra és képzési képekre, amelyek legalább 100 kiváló minőségű (nagy felbontású és többféle megvilágítású) képből állnak az objektumról. Mint minden ML modellnél, itt is a kiváló minőségű adatok a legfontosabbak. Egy objektumészlelési modell betanításához szükségünk van a releváns termékeket tartalmazó képekre, valamint határolódobozokra, amelyek leírják, hogy a termékek hol találhatók a képeken, amint az a következő példában látható.
A hatékony modell betanításához a márka minden termékéről különböző háttérrel és fényviszonyokkal rendelkező képekre van szükség – körülbelül 30–100 egyedi, megjegyzésekkel ellátott kép minden termékhez.
Miután feltöltötte a képeket a webszerverre, az Amazon S3-ra tölti fel őket a AWS SDK PHP-hez. A Lambda esemény minden egyes kép feltöltésekor elindul. A funkció eltávolítja az Exif-metaadatokat a képekről, ami néha azt eredményezheti, hogy elforgatva jelennek meg, amikor a modell betanítására használt ML-könyvtárak megnyitják őket. A kapcsolódó határolókeret-adatokat a rendszer JSON-fájlokban tárolja, és feltölti az Amazon S3-ra a képek kíséretében.
SageMaker objektumészlelési modellekhez
A SageMaker egy felügyelt ML-szolgáltatás, amely számos eszközt tartalmaz a modellek felhőben történő felépítéséhez, képzéséhez és üzemeltetéséhez. A TheBarcodeRegistry a SageMaker-t használja objektumészlelési szolgáltatásához a SageMaker megbízható és méretezhető ML-modell képzési és hosting szolgáltatásai miatt. Ez azt jelenti, hogy sok márka rendelkezhet saját tárgyészlelési modellekkel, amelyek kiképezhetők és tárolhatók, és még ha a használat előre nem látható módon is megugrik, nem lesz leállás.
A Vonalkód-nyilvántartás a ide feltöltött egyéni Docker-tárolókat használja Amazon Elastic Container Registry (Amazon ECR) annak érdekében, hogy pontosabban vezérelhesse a betanításhoz és következtetésekhez használt objektumészlelési algoritmust, valamint Több modell szerver (MMS). Az MMS nagyon fontos a hamisítás-észlelési eseteknél, mert lehetővé teszi több márka modelljének költséghatékony tárolását ugyanazon a szerveren. Alternatív megoldásként használhatja a beépített objektumfelismerő algoritmus az AWS által kifejlesztett szabványos modellek gyors üzembe helyezéséhez.
Tanítson egyéni objektumészlelési modellt a SageMaker segítségével
Először is hozzá kell adnia az objektumészlelési algoritmust. Ebben az esetben töltsön fel egy Docker-tárolót, amely szkripteket tartalmaz, hogy betanítsa a Yolov5 objektumészlelési modellt az Amazon ECR-be:
- A SageMaker konzolon, alatt jegyzetfüzet a navigációs ablakban válassza a lehetőséget Notebook példányok.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Jegyzetfüzet példány létrehozása.
- Adja meg a jegyzetfüzet-példány nevét és alatta Engedélyek és titkosítás válassz egy AWS Identity and Access Management (IAM) szerepkört a szükséges engedélyekkel.
- Nyissa meg a Git adattárak menüben.
- választ Nyilvános Git-lerakatot klónozzon csak ehhez a jegyzetfüzet-példányhoz és illessze be a következőket Git tárhely URL-je: https://github.com/portoaj/SageMakerObjectDetection
- Kattints Jegyzetfüzet példány létrehozása és várjon körülbelül öt percet, amíg a példány állapota frissül Függőben levő nak nek Szolgálatban a Notebook példány menüben.
- Miután a jegyzetfüzet Szolgálatban, válassza ki és kattintson Hozzászólások és a Nyissa meg a Jupytert a notebook példány új lapon való elindításához.
- Válassza ki a SageMakerObjectDetection könyvtárat, majd kattintson a gombra
sagemakerobjectdetection.ipynb
hogy elindítsa a Jupyter notebookot. - Válassza ki a
conda_python3
kernel és kattintson Kernel beállítása. - Válassza ki a kódcellát, és állítsa be a
aws_account_id
változót az AWS-fiókazonosítóhoz. - Kattints futás hogy megkezdje a Docker-tároló felépítésének és az Amazon ECR-be való feltöltésének folyamatát. Ez a folyamat körülbelül 20 percig tarthat.
- A Docker-tároló feltöltése után térjen vissza a Notebook példányok menüből válassza ki a példányt, és kattintson Hozzászólások és a megáll hogy leállítsa a notebook példányát.
Az algoritmus felépítése és az Amazon ECR-be való továbbítása után felhasználhatja a modell betanításához a SageMaker konzolon keresztül.
- A SageMaker konzolon, alatt Képzések a navigációs ablakban válassza a lehetőséget Képzési munkák.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Hozzon létre képzési munkát.
- Adja meg a munka nevét, és válassza ki a AWS Identity and Access Management (IAM) szerepkört a szükséges engedélyekkel.
- A Algoritmus forrásaválassza Saját algoritmus tároló az ECR-ben.
- A Konténer, adja meg a rendszerleíró adatbázis elérési útját.
- Egyetlen ml.p2.xlarge példány beállítása az erőforrás-konfiguráció alatt elegendő egy Yolov5 modell betanításához.
- Adja meg az Amazon S3 helyeit mind a bemeneti adatokhoz, mind a kimeneti útvonalhoz, valamint minden egyéb beállításhoz, például a VPC konfigurálásához Amazon Virtual Private Cloud (Amazon VPC) vagy a Managed Spot Training engedélyezése.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Hozzon létre képzési munkát.
A SageMaker konzolon nyomon követheti a modell edzési előrehaladását.
Automatizált modellképzés
Az alábbi diagram az automatizált modellképzési munkafolyamatot mutatja be:
Annak érdekében, hogy a SageMaker elkezdje az objektumészlelési modell betanítását, amint a felhasználó befejezi az adatok feltöltését, a webszerver Amazon API átjáró értesíteni egy Lambda funkciót, hogy a márka befejeződött, és elkezdeni egy képzési munkát.
Ha egy márka modelljét sikeresen betanítják, Amazon EventBridge Lambda függvényt hív meg, amely áthelyezi a betanított modellt az élő végpont S3 tárolójába, ahol végre készen áll a következtetésre. Az Amazon EventBridge használatának újabb alternatívája a modellek MLOps életcikluson keresztüli mozgatására, amelyet érdemes megfontolni SageMaker csővezetékek.
Hozd le a modellt a következtetéshez
Az alábbi diagram a következtetés munkafolyamatát mutatja be:
A betanított modellek használatához a SageMakernek egy végpont által üzemeltetett következtetési modellre van szüksége. A végpont a kiszolgáló vagy kiszolgálók tömbje, amelyet a következtetési modell tényleges tárolására használnak. Az általunk létrehozott képzési tárolóhoz hasonlóan a következtetések levonására szolgáló Docker-tárolót az Amazon ECR tárolja. A következtetési modell ezt a Docker-tárolót használja, és elkészíti a felhasználó által a telefonjával készített bemeneti képet, végigfut a betanított objektumészlelési modellen, és kiadja az eredményt.
A vonalkód-nyilvántartó ismét egyéni Docker-tárolókat használ a következtetési modellhez, hogy lehetővé tegye a Multi Model Server használatát, de ha csak egy olyan modellre van szükség, amely könnyen tárolható a beépített objektumészlelési algoritmuson keresztül.
Következtetés
A vonalkód-nyilvántartás (a partnerével, a Buyabarcode.com-tal együtt) az AWS-t használja a teljes objektumészlelési folyamathoz. A webszerver megbízhatóan tárolja az adatokat az Amazon S3-ban, és API Gateway és Lambda funkciókat használ a webszerver és a felhő összekapcsolásához. A SageMaker könnyen betanítja és tárolja az ML modelleket, ami azt jelenti, hogy a felhasználó lefényképezheti a terméket a telefonján, és megnézheti, hogy a termék hamisítvány-e. Ez a bejegyzés bemutatja, hogyan hozhat létre és tárolhat objektumészlelési modellt a SageMaker segítségével, valamint hogyan automatizálhatja a folyamatot.
A tesztelés során a modell több mint 90%-os pontosságot tudott elérni egy 62 képből álló képzési sorozaton és egy 32 képből álló tesztkészleten, ami elég lenyűgöző egy emberi beavatkozás nélkül kiképzett modell esetében. Az objektumészlelési modellek képzésének megkezdéséhez tekintse meg a hivatalos oldalt dokumentáció vagy tanuld meg, hogyan kell helyezzen üzembe egy objektumészlelési modellt a szélére az AWS IoT Greengrass használatával.
A bejegyzés tartalma és véleménye a harmadik fél szerzője, és az AWS nem vállal felelősséget a bejegyzés tartalmáért vagy pontosságáért.
A szerzőkről
Andrew Masek, szoftvermérnök a The Barcode Registry-nél.
Erik Quisling, a The Barcode Registry vezérigazgatója.
- Coinsmart. Európa legjobb Bitcoin- és kriptográfiai tőzsdéje.
- Platoblockchain. Web3 metaverzum intelligencia. Felerősített tudás. SZABAD HOZZÁFÉRÉS.
- CryptoHawk. Altcoin radar. Ingyenes próbaverzió.
- Forrás: https://aws.amazon.com/blogs/machine-learning/how-the-barcode-registry-detects-counterfeit-products-using-object-detection-and-amazon-sagemaker/
- "
- 000
- 10
- 100
- 7
- Rólunk
- hozzáférés
- Fiók
- algoritmus
- Bár
- amazon
- api
- Automatizált
- AWS
- határ
- Doboz
- márka
- Épület
- beépített
- Okoz
- vezérigazgató
- felhő
- kód
- gyűjt
- Companies
- Configuration
- Konzol
- Konténer
- Konténerek
- tartalom
- ellenőrzés
- Hamisítvány
- létrehozása
- Bűnügyi
- szokás
- Ügyfelek
- dátum
- adatbázis
- telepíteni
- Érzékelés
- fejlett
- különböző
- megvitatni
- Dokkmunkás
- le-
- állásidő
- Kábítószer
- könnyen
- él
- Hatékony
- lehetővé téve
- Endpoint
- mérnök
- Vállalkozás
- esemény
- példa
- Végül
- vezetéknév
- következő
- csalás
- funkció
- megy
- áruk
- Növekvő
- Vendég
- Vendég bejegyzés
- segít
- segít
- Hogyan
- How To
- HTTPS
- emberi
- Identitás
- kép
- fontos
- tárgyak internete
- IT
- Munka
- Kulcs
- legutolsó
- indít
- TANUL
- tanulás
- helyszínek
- gép
- gépi tanulás
- sikerült
- ML
- modell
- modellek
- több
- mozog
- Navigáció
- jegyzetfüzet
- felajánlás
- hivatalos
- Vélemények
- érdekében
- Más
- tulajdon
- partner
- kép
- szép
- Megelőzés
- magán
- folyamat
- Termékek
- Termékek
- biztató
- nyilvános
- gyorsan
- elismerik
- raktár
- forrás
- felelős
- futás
- értékesítés
- skálázható
- sdk
- szolgáltatás
- Szolgáltatások
- készlet
- hasonló
- Egyszerű
- Snap
- szoftver
- Software Engineer
- megoldások
- Spot
- kezdet
- kezdődött
- Állapot
- tárolás
- árnyékolók
- sikeresen
- támogatás
- Technologies
- Tesztelés
- a világ
- harmadik fél
- Keresztül
- idő
- szerszámok
- vágány
- hagyományos
- Képzések
- vonatok
- egyedi
- Frissítések
- használ
- Igazolás
- Tényleges
- várjon
- háló
- webszerver
- weboldal
- nélkül
- világ
- világszerte
- év