Ezt a bejegyzést Santosh Waddival és Nanda Kishore Thatikondával közösen írták a BigBaskettől.
BigBasket India legnagyobb online élelmiszer- és élelmiszerboltja. Többféle e-kereskedelmi csatornában működnek, például gyorskereskedelemben, résszel ellátott kézbesítésben és napi előfizetésekben. Fizikai üzleteikből és automatákból is vásárolhat. Több mint 50,000 1,000 termékből álló nagy választékot kínálnak 500 márkán keresztül, és több mint 10 városban és településen működnek. A BigBasket több mint XNUMX millió ügyfelet szolgál ki.
Ebben a bejegyzésben megvitatjuk, hogyan használta a BigBasket Amazon SageMaker hogy megtanítsák számítógépes látásmodelljüket a Fast-Moving Consumer Goods (FMCG) termékazonosításhoz, ami hozzávetőlegesen 50%-kal csökkentette a képzési időt és 20%-kal csökkentette a költségeket.
Ügyfél kihívásai
Manapság Indiában a legtöbb szupermarket és fizikai üzlet kézi fizetést biztosít a pénztárnál. Ezzel két probléma van:
- Ez további munkaerőt, súlymatricákat és ismételt képzést igényel a bolti operatív csapat számára a méretezés során.
- A legtöbb üzletben a pénztárszámláló eltér a mérlegszámlálótól, ami növeli a súrlódást a vásárló vásárlási útján. Az ügyfelek gyakran elveszítik a súlymatricát, és vissza kell menniük a mérőpultokhoz, hogy ismét gyűjtsenek egyet, mielőtt folytatnák a fizetési folyamatot.
Önellenőrzési folyamat
A BigBasket bevezetett egy mesterséges intelligenciával működő pénztárrendszert a fizikai üzleteikben, amely kamerákat használ a termékek egyedi megkülönböztetésére. Az alábbi ábra áttekintést nyújt a fizetési folyamatról.
A BigBasket csapata nyílt forráskódú, házon belüli ML algoritmusokat futtatott a számítógépes látásobjektum-felismeréshez, hogy a mesterséges intelligencia-kompatibilis fizetést támogassa. fresho (fizikai) üzletek. Meglévő rendszerük működtetése során a következő kihívásokkal kellett szembenéznünk:
- Az új termékek folyamatos bevezetésével a számítógépes látásmodellnek folyamatosan új termékinformációkat kellett beépítenie. A rendszernek egy nagy, több mint 12,000 600 raktározási egységet (SKU) tartalmazó katalógust kellett kezelnie, amelyekhez folyamatosan, havi XNUMX feletti ütemben új SKU-t adnak hozzá.
- Hogy lépést tartsunk az új termékekkel, minden hónapban új modellt gyártottak a legfrissebb edzési adatok felhasználásával. Költséges és időigényes volt a modellek gyakori betanítása, hogy alkalmazkodjanak az új termékekhez.
- A BigBasket az edzési ciklus idejét is csökkenteni akarta, hogy javítsa a piacra kerülési időt. Az SKU-k növekedése miatt a modell által igénybe vett idő lineárisan nőtt, ami befolyásolta a piacra jutás idejét, mivel a képzési gyakoriság nagyon magas volt és sokáig tartott.
- Az adatok kiegészítése a modellképzéshez és a teljes, végpontok közötti képzési ciklus manuális kezelése jelentős többletköltséget jelentett. A BigBasket ezt egy harmadik fél platformján futtatta, ami jelentős költségekkel járt.
Megoldás áttekintése
Javasoltuk, hogy a BigBasket újból építse fel meglévő FMCG-termékészlelési és -osztályozási megoldását a SageMaker segítségével, hogy megbirkózzanak ezzel a kihívással. Mielőtt a teljes körű gyártásra váltott volna, a BigBasket kipróbálta a SageMaker próbaverzióját a teljesítmény, a költségek és a kényelmi mutatók értékelésére.
Céljuk egy meglévő számítógépes látás gépi tanulási (ML) modelljének finomhangolása volt az SKU észleléséhez. Konvolúciós neurális hálózat (CNN) architektúrát használtunk ResNet152 képosztályozáshoz. SKU-nként körülbelül 300 képből álló méretes adatkészletet becsültek a modellképzéshez, ami több mint 4 millió képzési képet eredményezett. Bizonyos SKU-k esetében kiegészítettük az adatokat, hogy a környezeti feltételek szélesebb körét lefedjük.
A következő ábra a megoldás architektúráját mutatja be.
A teljes folyamat a következő magas szintű lépésekben foglalható össze:
- Végezzen adattisztítást, annotációt és kiegészítést.
- Tárolja az adatokat egy Amazon egyszerű tárolási szolgáltatás (Amazon S3) vödör.
- Használd a SageMaker-t és Amazon FSx Lusterhez a hatékony adatbővítés érdekében.
- Ossza fel az adatokat vonat-, érvényesítés- és tesztkészletekre. FSx-et használtunk a Luster és Amazon Relációs adatbázis-szolgáltatás (Amazon RDS) a gyors párhuzamos adatelérésért.
- Használj egyedit PyTorch Docker-tároló, beleértve más nyílt forráskódú könyvtárakat.
- Felhasználás SageMaker elosztott adatok párhuzamossága (SMDDP) a gyorsított elosztott képzéshez.
- Naplómodell képzési mérőszámok.
- Másolja át a végső modellt egy S3 vödörbe.
BigBasket használt SageMaker notebookok ML modelljeik betanításához, és könnyen át tudták portolni meglévő nyílt forráskódú PyTorch- és más nyílt forráskódú függőségeiket egy SageMaker PyTorch tárolóba, és zökkenőmentesen futtatni a folyamatot. Ez volt az első előny, amelyet a BigBasket csapata látott, mivel alig volt szükség a kódon bármilyen változtatásra, hogy kompatibilis legyen a SageMaker környezetben.
A modellhálózat egy ResNet 152 architektúrából, majd teljesen összekapcsolt rétegekből áll. Lefagyasztottuk az alacsony szintű jellemzőrétegeket, és megtartottuk az ImageNet modellből származó átviteli tanulás során szerzett súlyokat. A modell összes paramétere 66 millió volt, amely 23 millió betanítható paraméterből állt. Ez az átviteli tanuláson alapuló megközelítés segített nekik kevesebb képet használni a képzés során, és gyorsabb konvergenciát tett lehetővé, és csökkentette a teljes képzési időt.
A modell felépítése és betanítása Amazon SageMaker Studio integrált fejlesztői környezetet (IDE) biztosított mindennel, ami a modellek előkészítéséhez, építéséhez, betanításához és hangolásához szükséges. A képzési adatok olyan technikákkal történő kiegészítése, mint a képek kivágása, elforgatása és átfordítása, javította a modell betanítási adatait és a modell pontosságát.
A modellképzést 50%-kal felgyorsította az SMDDP könyvtár használata, amely kifejezetten az AWS infrastruktúrához tervezett optimalizált kommunikációs algoritmusokat tartalmaz. Az adatolvasási/írási teljesítmény javítása érdekében a modell betanítása és az adatbővítés során az FSx for Lustert használtuk a nagy teljesítményű átvitel érdekében.
A kezdő edzési adatok mérete meghaladta az 1.5 TB-ot. Kettőt használtunk Amazon rugalmas számítási felhő (Amazon EC2) p4d.24 nagy példányok 8 GPU-val és 40 GB GPU memóriával. A SageMaker elosztott képzéshez a példányoknak ugyanabban az AWS-régióban és elérhetőségi zónában kell lenniük. Ezenkívül az S3 tárolóban tárolt edzésadatoknak ugyanabban az elérhetőségi zónában kell lenniük. Ez az architektúra azt is lehetővé teszi a BigBasket számára, hogy más példánytípusokra váltson, vagy további példányokat adjon hozzá a jelenlegi architektúrához, hogy megfeleljen bármilyen jelentős adatnövekedésnek, vagy a képzési idő további csökkentése érdekében.
Hogyan segített az SMDDP-könyvtár csökkenteni a képzési időt, a költségeket és a bonyolultságot
A hagyományos elosztott adatképzésben a képzési keretrendszer rangokat rendel a GPU-khoz (dolgozókhoz), és minden GPU-n létrehozza a modell másolatát. Minden betanítási iteráció során a globális adatköteg darabokra (kötegelt szilánkokra) van osztva, és egy darabot osztanak ki minden dolgozónak. Ezután minden dolgozó a betanítási parancsfájlban meghatározott előre és hátra lépéssel folytatja az egyes GPU-kon. Végül a különböző modellreplikákból származó modellsúlyok és gradiensek szinkronizálásra kerülnek az iteráció végén az AllReduce nevű kollektív kommunikációs műveleten keresztül. Miután minden dolgozó és GPU rendelkezik a modell szinkronizált replikájával, megkezdődik a következő iteráció.
Az SMDDP-könyvtár egy kollektív kommunikációs könyvtár, amely javítja ennek az elosztott adatokkal párhuzamos képzési folyamatának teljesítményét. Az SMDDP könyvtár csökkenti a kulcsfontosságú kollektív kommunikációs műveletek, például az AllReduce kommunikációs többletköltségét. Az AllReduce megvalósítását az AWS infrastruktúrához tervezték, és felgyorsíthatja az edzést az AllReduce művelet és a hátramenet átfedésével. Ez a megközelítés közel lineáris skálázási hatékonyságot és gyorsabb képzési sebességet ér el a CPU-k és a GPU-k közötti kernelműveletek optimalizálásával.
Vegye figyelembe a következő számításokat:
- A globális köteg mérete (csomópontok száma egy fürtben) * (GPU-k száma csomópontonként) * (kötegelt szilánkonként)
- A kötegelt szilánk (kis köteg) az egyes GPU-khoz (dolgozókhoz) iterációnként hozzárendelt adatkészlet egy részhalmaza.
A BigBasket az SMDDP könyvtárat használta a teljes képzési idő csökkentésére. Az FSx for Lustre segítségével csökkentettük az adatolvasási/írási átviteli sebességet a modell betanítása és az adatbővítés során. Az adatok párhuzamosságának köszönhetően a BigBasket közel 50%-kal gyorsabb és 20%-kal olcsóbb edzést tudott elérni más alternatívákhoz képest, így a legjobb teljesítményt nyújtotta az AWS-en. A SageMaker a befejezést követően automatikusan leállítja a képzési folyamatot. A projekt sikeresen befejeződött 50%-kal gyorsabb képzési idővel az AWS-ben (4.5 nap AWS-ben, szemben 9 nappal a régi platformon).
A bejegyzés írásakor a BigBasket több mint 6 hónapja futotta a teljes megoldást termelésben, és új városok kiszolgálásával bővítette a rendszert, és minden hónapban új üzletekkel bővítjük.
„Az AWS-szel az SMDDP-ajánlatot használó elosztott képzésre való migráció terén létrejött partnerségünk nagy győzelem volt. Nemcsak 50%-kal csökkentette az edzésidőnket, hanem 20%-kal olcsóbb is volt. Az AWS teljes együttműködésünk során felállította a mércét az ügyfelek megszállottságában és az eredmények elérésében – velünk együtt dolgozik az ígért előnyök megvalósításán.”
– Keshav Kumar, a BigBasket mérnöki részlegének vezetője.
Következtetés
Ebben a bejegyzésben megvitattuk, hogy a BigBasket hogyan használta a SageMaker-t a számítógépes látásmodelljének az FMCG termékazonosításhoz való betanításához. A mesterséges intelligencia által hajtott automatizált önpénztári rendszer bevezetése az innováció révén jobb lakossági vásárlói élményt biztosít, miközben kiküszöböli az emberi hibákat a fizetési folyamat során. Az új termékek bevezetésének felgyorsítása a SageMaker elosztott képzés segítségével csökkenti az SKU bevezetési idejét és költségeit. Az FSx for Luster integrálása gyors párhuzamos adathozzáférést tesz lehetővé a hatékony modell-átképzés érdekében, havonta több száz új SKU-val. Összességében ez a mesterséges intelligencia-alapú önellenőrző megoldás továbbfejlesztett vásárlási élményt biztosít, mentes a frontend fizetési hibáktól. Az automatizálás és az innováció átalakította a kiskereskedelmi pénztári és beszállási műveleteiket.
A SageMaker teljes körű ML fejlesztési, üzembe helyezési és felügyeleti lehetőségeket biztosít, mint például a SageMaker Studio notebook környezet kódíráshoz, adatgyűjtéshez, adatcímkézéshez, modell betanításhoz, modellhangoláshoz, telepítéshez, megfigyeléshez és még sok máshoz. Ha vállalkozása az ebben a bejegyzésben leírt kihívások bármelyikével szembesül, és időt szeretne megtakarítani a piacra jutáshoz és a költségek javításához, lépjen kapcsolatba az AWS-fiókkal a régiójában, és kezdje el a SageMaker használatát.
A szerzőkről
Santosh Waddi a BigBasket vezető mérnöke, több mint egy évtizedes tapasztalattal rendelkezik az AI kihívások megoldásában. Erős számítógépes látás, adattudomány és mély tanulási háttérrel rendelkezik, posztgraduális diplomát szerzett az IIT Bombay-n. Santosh jelentős IEEE-kiadványokat írt, és tapasztalt technológiai blogszerzőként a Samsungnál eltöltött ideje alatt jelentős mértékben hozzájárult a számítógépes látási megoldások fejlesztéséhez.
Nanda Kishore Thatikonda mérnöki vezető, aki a BigBasket adatmérnöki és elemzési területét vezeti. A Nanda több alkalmazást is készített az anomáliák észlelésére, és hasonló területen szabadalmat nyújtott be. Dolgozott vállalati szintű alkalmazások kiépítésén, adatplatformok kiépítésén több szervezetben és jelentéskészítési platformokon az adatokkal alátámasztott döntések egyszerűsítése érdekében. A Nanda több mint 18 éves tapasztalattal rendelkezik a Java/J2EE, a Spring technológiák és a Hadoop-ot és az Apache Sparkot használó big data keretrendszerek terén.
Sudhanshu Gyűlölet az AWS fő AI és ML szakértője, és az ügyfelekkel együttműködve tanácsot ad nekik MLOp-jukkal és generatív AI-útjukkal kapcsolatban. Korábbi beosztásában egy alapos, nyílt forráskódú mesterséges intelligencia- és játékplatform felépítéséhez vezetett, megalkotott és csapatokat vezetett, és több mint 100 ügyféllel sikeresen kereskedelmi forgalomba hozta. Sudhanshu érdeme néhány szabadalom; 2 könyvet, több dolgozatot és blogot írt; és különböző fórumokon ismertette álláspontját. Gondolatvezető és előadó volt, és közel 25 éve dolgozik a szakmában. Dolgozott a Fortune 1000 ügyfelekkel szerte a világon, legutóbb pedig Indiában dolgozik digitális natív ügyfelekkel.
Ayush Kumar az AWS megoldások építésze. Az AWS-ügyfelek széles skálájával dolgozik együtt, segítve őket a legújabb modern alkalmazások átvételében, és a felhőalapú natív technológiákkal gyorsabb innovációban. Szabadidejében a konyhában kísérletezik.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
- PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
- PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
- PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
- Forrás: https://aws.amazon.com/blogs/machine-learning/how-bigbasket-improved-ai-enabled-checkout-at-their-physical-stores-using-amazon-sagemaker/
- :van
- :is
- :nem
- 10 millió $
- $ UP
- 000
- 1
- 10
- 100
- 12
- 120
- 13
- 152
- 23
- 24
- 25
- 300
- 40
- 50
- 500
- 600
- 66
- 7
- 8
- 80
- 9
- 98
- a
- Képes
- felgyorsult
- gyorsuló
- hozzáférés
- Fiók
- pontosság
- Elérése
- ér
- szerzett
- beszerzés
- át
- alkalmazkodni
- hozzá
- hozzáadott
- hozzáadásával
- További
- cím
- Hozzáteszi
- elfogadja
- tanácsot ad
- Után
- újra
- AI
- AI-hajtású
- algoritmusok
- lehetővé teszi, hogy
- majdnem
- Is
- alternatívák
- amazon
- Amazon EC2
- Amazon RDS
- Amazon SageMaker
- Az Amazon Web Services
- an
- analitika
- és a
- anomália észlelése
- bármilyen
- Apache
- alkalmazások
- megközelítés
- körülbelül
- építészet
- VANNAK
- körül
- AS
- kijelölt
- választék
- At
- bővített
- szerző
- Szerző által
- Automatizált
- automatikusan
- Automatizálás
- elérhetőség
- AWS
- vissza
- háttal ellátott
- háttér
- bár
- BE
- mert
- óta
- előtt
- elkezdődik
- hogy
- haszon
- Előnyök
- BEST
- között
- Nagy
- Big adatok
- Blog
- blogok
- Könyvek
- márka
- Bring
- tágabb
- épít
- Épület
- épült
- üzleti
- megvesz
- by
- számítások
- hívott
- kamerák
- TUD
- képességek
- katalógus
- ellát
- ellátás
- bizonyos
- kihívások
- változik
- Változások
- csatornák
- olcsóbb
- Megrendelés
- városok
- besorolás
- ügyfél részére
- Fürt
- CNN
- kód
- gyűjt
- Kollektív
- Kereskedelem
- közlés
- képest
- összeegyeztethető
- teljes
- Befejezett
- Kiszámít
- számítógép
- Számítógépes látás
- Körülmények
- összefüggő
- Összeáll
- áll
- fogyasztó
- fogyasztó
- Konténer
- folyamatosan
- folyamatos
- folyamatosan
- hozzájárulások
- kényelem
- Konvergencia
- Költség
- drága
- kiadások
- Számláló
- számlálók
- Pár
- készítette
- teremt
- hitel
- Jelenlegi
- szokás
- vevő
- Vásárlói élmény
- Ügyfelek
- vágás
- ciklus
- napi
- dátum
- adat hozzáférés
- adat-tudomány
- adatbázis
- Nap
- évtized
- határozatok
- mély
- mély tanulás
- meghatározott
- Fok
- átadó
- szállít
- kézbesítés
- függőségek
- bevetés
- leírt
- tervezett
- Érzékelés
- Fejlesztés
- diagram
- DID
- különböző
- digitális
- megvitatni
- tárgyalt
- különbséget tesz
- megosztott
- elosztott képzés
- megosztott
- Dokkmunkás
- le-
- két
- alatt
- minden
- könnyen
- e-kereskedelem
- hatékonyság
- hatékony
- megszüntetése
- engedélyezve
- lehetővé teszi
- felölel
- végén
- végtől végig
- mérnök
- Mérnöki
- fokozott
- vállalati szintű
- Egész
- Környezet
- környezeti
- hibák
- becsült
- értékelni
- Minden
- minden
- létező
- tapasztalat
- kísérletezik
- szakvélemény
- néző
- GYORS
- gyorsan mozgó
- gyorsabb
- Funkció
- kevesebb
- Ábra
- iktatott
- utolsó
- Végül
- Találjon
- vezetéknév
- fmcg
- követ
- következő
- élelmiszer
- A
- Szerencse
- fórumok
- Előre
- Keretrendszer
- keretek
- Frekvencia
- gyakran
- súrlódás
- ból ből
- frontend
- teljes körű
- teljesen
- további
- Gamification
- nemző
- Generatív AI
- kap
- Globális
- földgolyó
- Go
- áruk
- GPU
- GPU
- színátmenetek
- nagy
- Növekedés
- fogantyú
- Legyen
- he
- fej
- segített
- segít
- Magas
- magas szinten
- nagy teljesítményű
- őt
- övé
- tart
- Hogyan
- HTML
- http
- HTTPS
- emberi
- Több száz
- Azonosítás
- IEEE
- if
- illusztrálja
- kép
- Képosztályozás
- képek
- befolyásolta
- végrehajtás
- javul
- javított
- javítja
- in
- raktáron
- magában foglalja a
- Beleértve
- bele
- Növeli
- növekvő
- felmerült
- India
- ipar
- információ
- Infrastruktúra
- újít
- Innováció
- példa
- integrált
- integrálása
- bele
- Bevezetett
- Bevezetés
- kérdések
- IT
- tételek
- ismétlés
- ITS
- utazás
- jpg
- Tart
- tartás
- Kulcs
- Kumar
- nagy
- legnagyobb
- legutolsó
- tojók
- vezető
- vezető
- tanulás
- Led
- Örökség
- könyvtárak
- könyvtár
- mint
- Hosszú
- hosszú idő
- veszít
- gép
- gépi tanulás
- gép
- készült
- csinál
- menedzser
- kezelése
- kézikönyv
- kézzel
- piacára
- Memory design
- Metrics
- elvándorlás
- millió
- ML
- MLOps
- modell
- modellek
- modern
- ellenőrzés
- Hónap
- havi
- hónap
- több
- a legtöbb
- mozgó
- sok
- többszörös
- bennszülött
- közel
- Szükség
- szükséges
- igények
- hálózat
- ideg-
- neurális hálózat
- Új
- új termék
- új termékek
- következő
- csomópont
- csomópontok
- figyelemre méltó
- jegyzetfüzet
- szám
- tárgy
- célkitűzés
- of
- ajánlat
- felajánlás
- gyakran
- on
- Beszállás
- ONE
- online
- csak
- nyitva
- nyílt forráskódú
- működik
- üzemeltetési
- működés
- operatív
- Művelet
- optimalizált
- optimalizálása
- or
- szervezetek
- Más
- mi
- ki
- felett
- átfogó
- felső
- áttekintés
- Béke
- papírok
- Párhuzamos
- paraméterek
- Létrehozása
- elhalad
- szabadalom
- Szabadalmak
- mert
- teljesítmény
- fizikai
- darab
- darabok
- pilóta
- csővezeték
- emelvény
- Platformok
- Plató
- Platón adatintelligencia
- PlatoData
- pont
- Nézőpont
- állás
- posztgraduális
- hatalom
- Készít
- bemutatott
- előző
- Fő
- bevétel
- folyamat
- Készült
- Termékek
- Termék információ
- Termelés
- Termékek
- program
- igért
- ad
- feltéve,
- biztosít
- kiadványok
- Vásárlás
- pytorch
- Quick
- hatótávolság
- soraiban
- Arány
- el
- észre
- nemrég
- elismerés
- ajánlott
- csökkenteni
- Csökkent
- csökkenti
- csökkentés
- vidék
- megismételt
- válasz
- Jelentő
- megköveteli,
- kapott
- kiskereskedelem
- Szerep
- futás
- futás
- sagemaker
- azonos
- Samsung
- Megtakarítás
- Skála
- skálázás
- Tudomány
- forgatókönyv
- zökkenőmentesen
- fűszerezett
- látott
- szolgálja
- Szolgáltatások
- készlet
- Szettek
- felépítés
- számos
- Bevásárlás
- kikapcsol
- jelentős
- hasonló
- Egyszerű
- jókora
- Méret
- kicsi
- megoldások
- Megoldások
- Megoldása
- forrás
- Hely
- Szikra
- Hangszóró
- szakember
- kifejezetten
- sebesség
- tavasz
- kezdődött
- Kezdve
- Lépései
- matricák
- készlet
- tárolás
- tárolni
- memorizált
- árnyékolók
- áramvonal
- erős
- stúdió
- előfizetések
- sikeresen
- ilyen
- rendszer
- meghozott
- csapat
- csapat
- tech
- technikák
- Technologies
- teszt
- mint
- hogy
- A
- azok
- Őket
- akkor
- Ott.
- Ezek
- ők
- harmadik fél
- ezt
- gondoltam
- Keresztül
- áteresztőképesség
- idő
- alkalommal
- nak nek
- vett
- Végösszeg
- városok
- hagyományos
- Vonat
- Képzések
- átruházás
- át
- kipróbált
- dallam
- hangolás
- kettő
- típusok
- egyedileg
- egységek
- us
- használ
- használt
- használ
- segítségével
- érvényesítés
- fajta
- különféle
- nagyon
- Megnézem
- látomás
- vs
- kívánatos
- akar
- volt
- Út..
- we
- háló
- webes szolgáltatások
- mérés
- súly
- voltak
- ami
- míg
- egész
- széles
- nyer
- val vel
- belül
- dolgozott
- munkás
- dolgozók
- dolgozó
- művek
- írás
- írott
- év
- te
- A te
- zephyrnet
- zóna