See postitus on kirjutatud koos Santosh Waddi ja Nanda Kishore Thatikondaga BigBasketist.
BigBasket on India suurim toidu- ja toidupood Internetis. Nad tegutsevad mitmes e-kaubanduse kanalis, nagu kiirkaubandus, ajavahemikega kohaletoimetamine ja igapäevased tellimused. Saate osta ka nende füüsilistest kauplustest ja automaatidest. Nad pakuvad laias valikus üle 50,000 1,000 toote 500 kaubamärgi kohta ning tegutsevad enam kui 10 linnas ja alevis. BigBasket teenindab üle XNUMX miljoni kliendi.
Selles postituses arutame, kuidas BigBasket kasutas Amazon SageMaker koolitada oma arvutinägemismudelit kiiresti liikuvate tarbekaupade (FMCG) toodete tuvastamiseks, mis aitas neil vähendada koolituse aega ligikaudu 50% ja säästa kulusid 20%.
Kliendi väljakutsed
Tänapäeval pakuvad enamik Indias asuvaid supermarketeid ja füüsilisi poode käsitsi kassast. Sellel on kaks probleemi:
- See nõuab kaupluse operatiivmeeskonnalt täiendavat tööjõudu, kaalukleebiseid ja korduvat koolitust.
- Enamikus kauplustes erineb kassaloendur kaalumisloenduritest, mis suurendab kliendi ostuteekonnal hõõrdumist. Kliendid kaotavad sageli kaalukleebise ja peavad enne ostuprotsessi jätkamist uuesti kaalumislettide juurde minema, et see uuesti koguda.
Enesekontrolli protsess
BigBasket tutvustas oma füüsilistes kauplustes tehisintellektil töötavat kassasüsteemi, mis kasutab kaameraid kaupade ainulaadseks eristamiseks. Järgmine joonis annab ülevaate kassaprotsessist.
BigBasketi meeskond kasutas avatud lähtekoodiga ettevõttesiseseid ML-algoritme arvutinägemise objektide tuvastamiseks, et võimaldada tehisintellekti toega kassas oma juures. fresho (füüsilised) kauplused. Nende olemasoleva seadistuse haldamisel seisime silmitsi järgmiste väljakutsetega:
- Uute toodete pideva kasutuselevõtuga pidi arvutinägemise mudel pidevalt hõlmama uut tooteteavet. Süsteem vajas suuremahulise, üle 12,000 600 laoseisuühiku (SKU) kataloogi haldamiseks, kusjuures uusi SKUsid lisatakse pidevalt kiirusega üle XNUMX kuus.
- Uute toodetega sammu pidamiseks toodeti iga kuu uus mudel, kasutades uusimaid treeningandmeid. Mudelite sagedane koolitamine uute toodetega kohanemiseks oli kulukas ja aeganõudev.
- BigBasket soovis ka vähendada koolitustsükli aega, et parandada turule jõudmise aega. SKUde suurenemise tõttu kasvas mudelile kuluv aeg lineaarselt, mis mõjutas nende turuletuleku aega, kuna koolituste sagedus oli väga kõrge ja võttis kaua aega.
- Andmete täiendamine mudelikoolituse jaoks ja täieliku koolitustsükli käsitsi haldamine suurendas märkimisväärseid üldkulusid. BigBasket käitas seda kolmanda osapoole platvormil, mis tõi kaasa märkimisväärseid kulusid.
Lahenduse ülevaade
Soovitasime BigBasketil nende probleemide lahendamiseks oma olemasoleva FMCG-toodete tuvastamise ja klassifitseerimise lahenduse SageMakeri abil ümber kujundada. Enne täismahus tootmisele üleminekut proovis BigBasket SageMakeri pilootprogrammi, et hinnata jõudluse, kulude ja mugavuse mõõdikuid.
Nende eesmärk oli viimistleda olemasolevat arvutinägemise masinõppe (ML) mudelit SKU tuvastamiseks. Kasutasime koos konvolutsioonilise närvivõrgu (CNN) arhitektuuri ResNet152 piltide klassifitseerimiseks. Mudelitreeningu jaoks hinnati umbes 300 kujutist SKU kohta, mille tulemuseks oli üle 4 miljoni treeningpildi. Teatud SKU-de puhul täiendasime andmeid, et hõlmata laiemat valikut keskkonnatingimusi.
Järgnev diagramm illustreerib lahenduse arhitektuuri.
Kogu protsessi võib kokku võtta järgmisteks kõrgetasemelisteks sammudeks:
- Tehke andmete puhastamine, märkuste lisamine ja suurendamine.
- Andmete salvestamine an Amazoni lihtne salvestusteenus (Amazon S3) kopp.
- Kasutage SageMakerit ja Amazon FSx Lusteri jaoks tõhusaks andmete täiendamiseks.
- Andmete jagamine rongi-, valideerimis- ja katsekomplektideks. Kasutasime FSx-i Lusteri ja Amazoni relatsioonide andmebaasiteenus (Amazon RDS) kiireks paralleelseks juurdepääsuks andmetele.
- Kasutage kohandatud PyTorch Dockeri konteiner, sealhulgas muud avatud lähtekoodiga teegid.
- Kasutama SageMakeri hajutatud andmete paralleelsus (SMDDP) kiirendatud hajutatud koolituse jaoks.
- Logimudeli koolituse mõõdikud.
- Kopeerige lõplik mudel S3 ämbrisse.
BigBasket kasutatud SageMakeri märkmikud koolitada oma ML-mudeleid ja said olemasoleva avatud lähtekoodiga PyTorchi ja muud avatud lähtekoodiga sõltuvused hõlpsasti SageMaker PyTorchi konteinerisse portida ja torujuhet sujuvalt käivitada. See oli esimene eelis, mida BigBasketi meeskond nägi, sest koodis ei olnud vaja peaaegu mingeid muudatusi, et see ühilduks SageMakeri keskkonnas.
Mudelvõrk koosneb ResNet 152 arhitektuurist, millele järgneb täielikult ühendatud kiht. Külmutasime madala taseme funktsioonide kihid ja säilitasime ImageNeti mudelist õppimise käigus omandatud kaalud. Mudeli parameetrite kogusumma oli 66 miljonit, mis koosnes 23 miljonist treenitavast parameetrist. See ülekandmisel põhinev lähenemisviis aitas neil kasutada koolituse ajal vähem pilte ning võimaldas ka kiiremat lähenemist ja vähendas kogu treeninguaega.
Mudeli loomine ja koolitamine Amazon SageMaker Studio pakkus integreeritud arenduskeskkonda (IDE) koos kõige vajalikuga mudelite ettevalmistamiseks, ehitamiseks, koolitamiseks ja häälestamiseks. Treeningandmete täiendamine selliste tehnikatega nagu piltide kärpimine, pööramine ja ümberpööramine aitas parandada mudelitreeningu andmeid ja mudeli täpsust.
Mudelite väljaõpe kiirendati 50% tänu SMDDP teegile, mis sisaldab spetsiaalselt AWS-i infrastruktuuri jaoks loodud optimeeritud suhtlusalgoritme. Andmete lugemise/kirjutamise jõudluse parandamiseks mudeli koolituse ja andmete täiendamise ajal kasutasime suure jõudlusega läbilaskevõime jaoks FSx for Luster.
Nende treeningu algandmete suurus oli üle 1.5 TB. Kasutasime kahte Amazon Elastic Compute Cloud (Amazon EC2) p4d.24 suured eksemplarid 8 GPU ja 40 GB GPU mäluga. SageMakeri hajutatud koolituse jaoks peavad eksemplarid asuma samas AWS-i piirkonnas ja saadavuse tsoonis. Samuti peavad S3 ämbrisse salvestatud treeningandmed olema samas kättesaadavustsoonis. See arhitektuur võimaldab BigBasketil vahetada ka teisi eksemplaritüüpe või lisada praegusele arhitektuurile rohkem eksemplare, et rahuldada märkimisväärset andmekasvu või vähendada treeninguaega veelgi.
Kuidas SMDDP teek aitas vähendada koolituse aega, kulusid ja keerukust
Traditsioonilise hajutatud andmekoolituse korral määrab koolitusraamistik GPU-dele (töötajatele) auastmed ja loob teie mudeli koopia igas GPU-s. Iga koolituse iteratsiooni ajal jagatakse globaalne andmepakett tükkideks (partii killud) ja tükk jagatakse igale töötajale. Seejärel jätkab iga töötaja edasi- ja tagasikäiku, mis on määratletud teie treeningskriptis igas GPU-s. Lõpuks sünkroonitakse iteratsiooni lõpus erinevate mudelite koopiate mudelite kaalud ja gradiendid kollektiivse suhtlusoperatsiooni nimega AllReduce. Pärast seda, kui igal töötajal ja GPU-l on mudeli sünkroonitud koopia, algab järgmine iteratsioon.
SMDDP teek on kollektiivne suhtlusteek, mis parandab selle hajutatud andmete paralleelse koolitusprotsessi jõudlust. SMDDP teek vähendab peamiste kollektiivsete suhtlustoimingute, näiteks AllReduce'i side üldkulusid. Selle AllReduce'i rakendamine on loodud AWS-i infrastruktuuri jaoks ja võib kiirendada treenimist, kattes AllReduce'i toimingu tagasikäiguga. See lähenemine saavutab peaaegu lineaarse skaleerimise efektiivsuse ja kiirema treeningkiiruse, optimeerides tuuma toiminguid CPU-de ja GPU-de vahel.
Pange tähele järgmisi arvutusi:
- Globaalse partii suurus on (sõlmede arv klastris) * (GPU-de arv sõlme kohta) * (partii killu kohta)
- Partiikild (väike partii) on igale GPU-le (töötajale) iteratsiooni kohta määratud andmestiku alamhulk
BigBasket kasutas SMDDP teeki oma üldise treeningaja lühendamiseks. FSx for Lustre abil vähendasime mudeli koolituse ja andmete suurendamise ajal andmete lugemise/kirjutamise läbilaskevõimet. Andmete paralleelsusega suutis BigBasket saavutada peaaegu 50% kiirema ja 20% odavama koolituse võrreldes teiste alternatiividega, pakkudes AWS-is parimat jõudlust. SageMaker lülitab koolituse pärast lõpetamist automaatselt välja. Projekt lõppes edukalt 50% kiirema koolitusajaga AWS-is (4.5 päeva AWS-is vs. 9 päeva nende pärandplatvormil).
Selle postituse kirjutamise ajal on BigBasket kogu lahendust tootmises kasutanud rohkem kui 6 kuud ja laiendanud süsteemi uute linnade jaoks ning me lisame iga kuu uusi poode.
„Meie partnerlus AWS-iga nende SMDDP pakkumist kasutades hajutatud koolitusele üleminekul on olnud suurepärane võit. See mitte ainult ei vähendanud meie treeninguid 50%, vaid oli ka 20% odavam. Kogu meie partnerluses on AWS seadnud lati klientide kinnisideele ja tulemuste saavutamisele – töötades koos meiega kogu tee, et saavutada lubatud kasu.
– Keshav Kumar, BigBasketi insenerijuht.
Järeldus
Selles postituses arutasime, kuidas BigBasket kasutas SageMakerit oma arvutinägemismudeli koolitamiseks FMCG-toodete tuvastamiseks. Tehisintellektil töötava automatiseeritud iseteenindussüsteemi rakendamine pakub uuenduste kaudu paremat jaeklientide kogemust, välistades samal ajal kassaprotsessis inimlikud vead. Uute toodete kasutuselevõtu kiirendamine SageMakeri hajutatud koolituse abil vähendab SKU kasutuselevõtu aega ja kulusid. FSx for Lusteri integreerimine võimaldab kiiret paralleelset juurdepääsu andmetele tõhusaks mudelite ümberõppeks sadade uute SKU-dega kuus. Üldiselt pakub see tehisintellektil põhinev iseteeninduslahendus täiustatud ostlemiskogemust, mis ei sisalda esiosa kassavigu. Automatiseerimine ja innovatsioon on muutnud nende jaemüügi kassa- ja liitumistoiminguid.
SageMaker pakub täielikke ML-i arendus-, juurutamis- ja jälgimisvõimalusi, nagu SageMaker Studio sülearvuti keskkond koodi kirjutamiseks, andmete hankimiseks, andmete märgistamiseks, mudeli koolituseks, mudeli häälestamiseks, juurutamiseks, jälgimiseks ja paljuks muuks. Kui teie ettevõte seisab silmitsi mõne selles postituses kirjeldatud väljakutsega ja soovite säästa aega turundamiseks ja kulude parandamiseks, võtke ühendust oma piirkonna AWS-i kontomeeskonnaga ja alustage SageMakeriga.
Autoritest
Santosh Waddi on BigBasketi peainsener, omab üle kümne aasta kogemusi tehisintellekti väljakutsete lahendamisel. Tal on tugev arvutinägemise, andmeteaduse ja süvaõppe taust ning tal on magistrikraad IIT Bombayst. Santosh on kirjutanud märkimisväärseid IEEE väljaandeid ja kogenud tehnikablogi autorina on ta Samsungis töötamise ajal andnud märkimisväärse panuse ka arvutinägemislahenduste arendamisse.
Nanda Kishore Thatikonda on insenerijuht, kes juhib BigBasketi andmetehnikat ja analüüsi. Nanda on anomaaliate tuvastamiseks loonud mitu rakendust ja on sarnases ruumis esitanud patendi. Ta on töötanud ettevõtte tasemel rakenduste loomisel, andmeplatvormide loomisel mitmes organisatsioonis ja aruandlusplatvormides, et lihtsustada andmetel põhinevaid otsuseid. Nandal on üle 18-aastane kogemus Java/J2EE, Spring tehnoloogiate ja Hadoopi ja Apache Sparki kasutavate suurandmete raamistike vallas.
Sudhanshu vihkamine on AWS-iga AI ja ML peamine spetsialist ja töötab klientidega, et nõustada neid nende MLO-de ja generatiivse AI teekonna kohta. Eelmises rollis töötas ta välja ja juhtis meeskondi, et luua maapealne avatud lähtekoodiga tehisintellekti ja gamifitseerimise platvorm ning turustada seda edukalt enam kui 100 kliendiga. Sudhanshul on paar patenti; on kirjutanud 2 raamatut, mitu referaati ja ajaveebi; ja on esitanud oma seisukohti erinevates foorumites. Ta on olnud mõttejuht ja kõneleja ning tegutsenud selles valdkonnas peaaegu 25 aastat. Ta on töötanud Fortune 1000 klientidega üle kogu maailma ja viimati töötab digitaalsete kohalike klientidega Indias.
Ayush Kumar on AWS-i lahenduste arhitekt. Ta töötab paljude AWS-i klientidega, aidates neil kasutusele võtta uusimad kaasaegsed rakendused ja pilvepõhiste tehnoloogiate abil kiiremini uuendada. Leiad ta vabal ajal köögis katsetamas.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
- PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
- PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
- PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/machine-learning/how-bigbasket-improved-ai-enabled-checkout-at-their-physical-stores-using-amazon-sagemaker/
- :on
- :on
- :mitte
- $ 10 miljonit
- $ UP
- 000
- 1
- 10
- 100
- 12
- 120
- 13
- 152
- 23
- 24
- 25
- 300
- 40
- 50
- 500
- 600
- 66
- 7
- 8
- 80
- 9
- 98
- a
- Võimalik
- kiirendatud
- kiirendades
- juurdepääs
- konto
- täpsus
- Saavutada
- Saavutab
- omandatud
- omandamine
- üle
- kohandama
- lisama
- lisatud
- lisades
- Täiendavad lisad
- aadress
- Lisab
- vastu võtma
- nõustama
- pärast
- jälle
- AI
- Tehisintellekti toega
- algoritme
- võimaldab
- peaaegu
- Ka
- alternatiive
- Amazon
- Amazon EC2
- Amazoni RDS
- Amazon SageMaker
- Amazon Web Services
- an
- analytics
- ja
- anomaalia tuvastamine
- mistahes
- Apache
- rakendused
- lähenemine
- umbes
- arhitektuur
- OLEME
- ümber
- AS
- määratud
- valik
- At
- suurendatud
- autor
- autor on
- Automatiseeritud
- automaatselt
- Automaatika
- kättesaadavus
- AWS
- tagasi
- tagatud
- tagapõhi
- baar
- BE
- sest
- olnud
- enne
- algab
- on
- kasu
- Kasu
- BEST
- vahel
- Suur
- Big andmed
- Blogi
- blogid
- Raamatud
- brändid
- Toob
- laiem
- ehitama
- Ehitus
- ehitatud
- äri
- ostma
- by
- arvutused
- kutsutud
- Kaamerad
- CAN
- võimeid
- kataloog
- rahuldada
- toitlustamine
- kindel
- väljakutseid
- muutma
- Vaidluste lahendamine
- kanalid
- odavam
- Vormista ost
- Linnad
- klassifikatsioon
- kliendid
- Cluster
- CNN
- kood
- koguma
- Kollektiivne
- Kaubandus
- KOMMUNIKATSIOON
- võrreldes
- kokkusobiv
- täitma
- Lõpetatud
- Arvutama
- arvuti
- Arvuti visioon
- Tingimused
- seotud
- Koosneb
- koosneb
- tarbija
- tarbivad
- Konteiner
- jätkuvalt
- pidev
- pidevalt
- sissemaksed
- mugavus
- Lähenemine
- Maksma
- kulukas
- kulud
- Võidelda
- loendurid
- Paar
- loodud
- loob
- krediit
- Praegune
- tava
- klient
- Kliendi kogemus
- Kliendid
- lõigatud
- tsükkel
- iga päev
- andmed
- juurdepääs andmetele
- andmeteadus
- andmebaas
- Päeva
- kümme aastat
- otsused
- sügav
- sügav õpe
- määratletud
- Kraad
- edastamine
- annab
- tarne
- sõltuvused
- kasutuselevõtu
- kirjeldatud
- kavandatud
- Detection
- & Tarkvaraarendus
- skeem
- DID
- erinev
- digitaalne
- arutama
- arutatud
- eristama
- jagatud
- jagatud koolitus
- jagatud
- laevalaadija
- alla
- kaks
- ajal
- iga
- kergesti
- pood
- efektiivsus
- tõhus
- kõrvaldades
- lubatud
- võimaldab
- hõlmab
- lõpp
- Lõpuks-lõpuni
- insener
- Inseneriteadus
- tõhustatud
- ettevõtte tasemel
- Kogu
- keskkond
- keskkonna-
- vead
- Hinnanguliselt
- hindama
- Iga
- kõik
- olemasolevate
- kogemus
- katsetamine
- teadmised
- ees
- KIIRE
- kiiresti liikuv
- kiiremini
- tunnusjoon
- vähem
- Joonis
- esitatud
- lõplik
- Lõpuks
- leidma
- esimene
- fmcg
- Järgneb
- Järel
- toit
- eest
- heaolu
- Foorumid
- edasi
- Raamistik
- raamistikud
- Sagedus
- sageli
- hõõrdumine
- Alates
- Frontend
- täismahus
- täielikult
- edasi
- Gamification
- generatiivne
- Generatiivne AI
- saama
- Globaalne
- maakera
- Go
- kaubad
- GPU
- GPU
- kalded
- suur
- Kasv
- käepide
- Olema
- he
- juhataja
- aitas
- aidates
- Suur
- kõrgetasemeline
- suur jõudlus
- teda
- tema
- omab
- Kuidas
- HTML
- http
- HTTPS
- inim-
- sajad
- Identifitseerimine
- IEEE
- if
- illustreerib
- pilt
- Piltide klassifikatsioon
- pildid
- mõjutatud
- täitmine
- parandama
- paranenud
- parandab
- in
- Laos
- hõlmab
- Kaasa arvatud
- lisada
- Tõstab
- kasvav
- tekkinud
- India
- tööstus
- info
- Infrastruktuur
- uuendama
- Innovatsioon
- Näiteks
- integreeritud
- Integreerimine
- sisse
- sisse
- Sissejuhatus
- küsimustes
- IT
- kirjed
- iteratsioon
- ITS
- teekond
- jpg
- hoidma
- pidamine
- Võti
- kumar
- suur
- suurim
- hiljemalt
- kihid
- juht
- juhtivate
- õppimine
- Led
- Pärand
- raamatukogud
- Raamatukogu
- nagu
- Pikk
- kaua aega
- kaotama
- masin
- masinõpe
- masinad
- tehtud
- tegema
- juht
- juhtiv
- käsiraamat
- käsitsi
- Turg
- Mälu
- Meetrika
- ränne
- miljon
- ML
- MLOps
- mudel
- mudelid
- Kaasaegne
- järelevalve
- kuu
- igakuine
- kuu
- rohkem
- kõige
- liikuv
- palju
- mitmekordne
- emakeelena
- peaaegu
- Vajadus
- vaja
- vajadustele
- võrk
- närvi-
- Närvivõrgus
- Uus
- uus toode
- uute toodete
- järgmine
- sõlme
- sõlmed
- märkimisväärne
- märkmik
- number
- objekt
- eesmärk
- of
- pakkuma
- pakkumine
- sageli
- on
- Pardal
- ONE
- Internetis
- ainult
- avatud
- avatud lähtekoodiga
- töötama
- tegutsevad
- töö
- töökorras
- Operations
- optimeeritud
- optimeerimine
- or
- organisatsioonid
- Muu
- meie
- välja
- üle
- üldine
- üldkulud
- ülevaade
- tempo
- dokumendid
- Parallel
- parameetrid
- Partnerlus
- sooritama
- patent
- Patendi
- kohta
- jõudlus
- füüsiline
- tükk
- tükki
- piloot
- torujuhe
- inimesele
- Platvormid
- Platon
- Platoni andmete intelligentsus
- PlatoData
- Punkt
- Vaatepunkt
- post
- kraadiõppes
- võim
- Valmistama
- esitatud
- eelmine
- Peamine
- tulu
- protsess
- Toodetud
- Toode
- Toote informatsioon
- Produktsioon
- Toodet
- projekt
- lubas
- anda
- tingimusel
- annab
- väljaanded
- ostma
- pütorch
- Kiire
- valik
- auastmed
- määr
- jõudma
- mõistma
- hiljuti
- tunnustamine
- soovitatav
- vähendama
- Lühendatud
- vähendab
- vähendamine
- piirkond
- korduv
- vastus
- Aruandlus
- Vajab
- tulemuseks
- jaemüük
- Roll
- jooks
- jooksmine
- salveitegija
- sama
- Samsung
- Säästa
- Skaala
- ketendamine
- teadus
- käsikiri
- sujuvalt
- maitsestatud
- nähtud
- teenib
- Teenused
- komplekt
- Komplektid
- seade
- mitu
- ostud
- Lülitab välja
- märkimisväärne
- sarnane
- lihtne
- suur
- SUURUS
- väike
- lahendus
- Lahendused
- Lahendamine
- allikas
- Ruum
- Säde
- Kõneleja
- spetsialist
- eriti
- kiirus
- kevad
- alustatud
- Käivitus
- Sammud
- kleebised
- varu
- ladustamine
- salvestada
- ladustatud
- kauplustes
- kiirendama
- tugev
- stuudio
- tellimuste
- Edukalt
- selline
- süsteem
- võtnud
- meeskond
- meeskonnad
- tech
- tehnikat
- Tehnoloogiad
- test
- kui
- et
- .
- oma
- Neile
- SIIS
- Seal.
- Need
- nad
- kolmanda osapoole
- see
- arvasin
- Läbi
- läbilaskevõime
- aeg
- korda
- et
- võttis
- Summa
- linnades
- traditsiooniline
- Rong
- koolitus
- üle
- ümber
- proovitud
- meloodia
- häälestamine
- kaks
- liigid
- ainulaadselt
- üksused
- us
- kasutama
- Kasutatud
- kasutusalad
- kasutamine
- kinnitamine
- sort
- eri
- väga
- vaade
- nägemus
- vs
- tagaotsitav
- tahab
- oli
- Tee..
- we
- web
- veebiteenused
- kaalumine
- kaal
- olid
- mis
- kuigi
- kogu
- lai
- võitma
- koos
- jooksul
- töötas
- töötaja
- töötajate
- töö
- töötab
- kirjutamine
- kirjalik
- aastat
- sa
- Sinu
- sephyrnet
- tsoon