Amazon SageMaker pakub laia valikut masinõppe (ML) infrastruktuuri ja mudeli juurutusvõimalusi, mis aitavad teie ML-i järeldamisvajadusi rahuldada. See on täielikult hallatav teenus ja integreerub MLOps-i tööriistadega, et saaksite oma mudeli juurutamist skaleerida, vähendada järelduskulusid, hallata mudeleid tootmises tõhusamalt ja vähendada tegevuskoormust. SageMaker pakub mitut järeldusvõimalused et saaksite valida oma töökoormusega kõige paremini sobiva valiku.
Uue põlvkonna protsessorid pakuvad tänu spetsiaalsetele sisseehitatud juhistele ML-i järelduste jõudluse märkimisväärset paranemist. Selles postituses keskendume sellele, kuidas saate seda ära kasutada AWS Graviton3põhinev Amazon Elastic Compute Cloud (EC2) C7g eksemplarid et aidata vähendada järelduskulusid kuni 50% võrreldes võrreldavate EC2 eksemplaridega reaalajas järeldus Amazon SageMakeris. Näitame, kuidas saate vaid mõne sammuga hinnata järelduste toimivust ja lülitada oma ML-i töökoormused AWS Gravitoni eksemplaridele.
Populaarsete ja laia valiku kliendirakenduste katmiseks käsitleme selles postituses PyTorchi, TensorFlow, XGBoosti ja scikit-learn raamistike järelduste toimivust. Me käsitleme arvutinägemist (CV), loomuliku keele töötlemist (NLP), klassifikatsiooni ja järjestamise stsenaariume mudelite ning ml.c6g, ml.c7g, ml.c5 ja ml.c6i SageMakeri eksemplaride jaoks võrdlusuuringute jaoks.
Võrdlusuuringu tulemused
AWS mõõtis kuni 50% kulude kokkuhoidu PyTorchi, TensorFlow, XGBoosti ja scikit-learn mudeli järeldamisel AWS Graviton3-põhiste EC2 C7g eksemplaridega võrreldes Amazon SageMakeri võrreldavate EC2 eksemplaridega. Samal ajal väheneb ka järelduste latentsus.
Võrdluseks kasutasime nelja erinevat eksemplari tüüpi:
Kõigil neljal eksemplaril on 16 vCPU-d ja 32 GiB mälu.
Järgmisel graafikul mõõtsime nelja eksemplari tüübi järelduse maksumust miljoni kohta. Lisaks normaliseerisime järeldustulemuste maksumuse miljoni kohta c5.4xsuureks eksemplariks, mida mõõdetakse diagrammi Y-teljel väärtusega 1. Näete, et XGBoosti mudelite puhul moodustab c7g.4xlarge (AWS Graviton3) kulu miljoni kohta umbes 50% mudelist c5.4xlarge ja 40% mudelist c6i.4xlarge; PyTorchi NLP mudelite puhul on kulude kokkuhoid umbes 30–50% võrreldes c5 ja c6i.4xlarge eksemplaridega. Teiste mudelite ja raamistike puhul mõõtsime vähemalt 30% kulude kokkuhoidu võrreldes c5 ja c6i.4xlarge eksemplaridega.
Sarnaselt eelnevale järelduskulude võrdlusgraafikule näitab järgmine graafik mudeli p90 latentsust sama nelja eksemplaritüübi jaoks. Lisaks normaliseerisime latentsustulemused eksemplarile c5.4xlarge, mida mõõdetakse diagrammi Y-teljel väärtusega 1. Mudeli c7g.4xlarge (AWS Graviton3) järeldus latentsus on kuni 50% parem kui mudelitel c5.4xlarge ja c6i.4xlarge mõõdetud latentsusajad.
Minge üle AWS Gravitoni eksemplaridele
Mudelite juurutamiseks AWS Gravitoni eksemplaridesse võite kasutada mõlemat AWS-i süvaõppekonteinerid (DLC-d) või kaasa oma konteinerid mis ühilduvad ARMv8.2 arhitektuuriga.
Teie mudelite migreerimine (või uus juurutamine) AWS Gravitoni eksemplaridele on lihtne, kuna AWS ei paku mitte ainult konteinereid PyTorchi, TensorFlow, scikit-learni ja XGBoostiga mudelite hostimiseks, vaid mudelid on ka arhitektuuriliselt agnostlikud. Võite tuua ka oma teeke, kuid veenduge, et teie konteiner on ehitatud keskkonnas, mis toetab ARMv8.2 arhitektuuri. Lisateabe saamiseks vt Oma algoritmikonteineri ehitamine.
Mudeli juurutamiseks peate tegema kolm sammu.
- Looge SageMakeri mudel. See sisaldab muude parameetrite hulgas teavet mudelifaili asukoha, juurutamiseks kasutatava konteineri ja järeldusskripti asukoha kohta. (Kui teil on olemasolev mudel juba arvutatud optimeeritud järelduseksemplaris kasutusele võetud, võite selle sammu vahele jätta.)
- Looge lõpp-punkti konfiguratsioon. See sisaldab teavet lõpp-punkti jaoks soovitud eksemplari tüübi kohta (nt ml.c7g.xlarge AWS Graviton3 jaoks), eelmises etapis loodud mudeli nime ja eksemplaride arvu lõpp-punkti kohta.
- Käivitage lõpp-punkt eelmises etapis loodud lõpp-punkti konfiguratsiooniga.
Üksikasjalike juhiste saamiseks vaadake Käivitage masinõppe järelduste töökoormusi AWS Gravitoni-põhistel eksemplaridel rakendusega Amazon SageMaker
Võrdlusuuringu metoodika
Me kasutasime Amazon SageMakeri järelduste soovitus et automatiseerida eri eksemplaride toimivuse võrdlusuuringuid. See teenus võrdleb teie ML-mudeli toimivust latentsusaja ja kulude osas erinevatel eksemplaridel ning soovitab eksemplari ja konfiguratsiooni, mis tagab parima jõudluse madalaima kuluga. Oleme eelnimetatud jõudlusandmed kogunud Inference Recommenderi abil. Lisateabe saamiseks vaadake GitHub repo.
Võite kasutada märkmiku näidis etalonide käitamiseks ja tulemuste taasesitamiseks. Võrdlusuuringuks kasutasime järgmisi mudeleid:
Järeldus
AWS mõõtis kuni 50% kulude kokkuhoidu PyTorchi, TensorFlow, XGBoosti ja scikit-learn mudeli järeldamisel AWS Graviton3-põhiste EC2 C7g eksemplaridega võrreldes Amazon SageMakeri võrreldavate EC2 eksemplaridega. Saate oma olemasolevaid järelduste kasutusjuhtumeid migreerida või AWS Gravitonis uusi ML-mudeleid juurutada, järgides selles postituses toodud samme. Võite viidata ka AWS Gravitoni tehniline juhend, mis pakub loendit optimeeritud teekidest ja parimatest tavadest, mis aitavad teil saavutada AWS Gravitoni eksemplaride kulukasu erinevatel töökoormustel.
Kui leiate kasutusjuhtumeid, kus AWS Gravitonis sarnast jõudluse kasvu ei täheldata, võtke meiega ühendust. Jätkame jõudluse täiustuste lisamist, et muuta AWS Graviton kõige kuluefektiivsemaks ja tõhusamaks üldotstarbeliseks protsessoriks ML-i järelduste tegemiseks.
Autoritest
Sunita Nadampalli on AWS-i tarkvaraarenduse juht. Ta juhib Gravitoni tarkvara jõudluse optimeerimist masinõppe, HPC ja multimeedia töökoormuse jaoks. Ta on kirglik avatud lähtekoodiga arendustegevuse ja Arm SoC-dega kuluefektiivsete tarkvaralahenduste pakkumise vastu.
Jaymin Desai on tarkvaraarenduse insener koos Amazon SageMaker Inference meeskonnaga. Ta on kirglik tehisintellekti massidesse viimise ja tipptasemel tehisintellekti varade kasutatavuse parandamise vastu, tootestades need funktsioonideks ja teenusteks. Vabal ajal meeldib talle muusikaga tutvuda ja reisida.
Mike Schneider on süsteemide arendaja, mis asub Phoenixis AZ. Ta on Deep Learning konteinerite liige, mis toetab erinevaid raamistiku konteineri kujutisi, sealhulgas Graviton Inference. Ta on pühendunud infrastruktuuri tõhususele ja stabiilsusele.
Mohan Gandhi on AWS-i vanemtarkvarainsener. Ta on olnud AWS-is viimased 10 aastat ja töötanud erinevate AWS-teenustega, nagu EMR, EFA ja RDS. Praegu on ta keskendunud SageMakeri järelduskogemuse täiustamisele. Vabal ajal naudib ta matkamist ja maratone.
Qingwei Li on Amazon Web Servicesi masinõppe spetsialist. Ta sai doktorikraadi. operatsioonide uurimisel pärast seda, kui ta murdis oma nõustaja uurimistoetuse konto ja ei suutnud väljastada lubatud Nobeli preemiat. Praegu aitab ta finantsteenuste ja kindlustussektori klientidel luua AWS-is masinõppelahendusi. Vabal ajal meeldib talle lugeda ja õpetada.
Wayne Toh on AWS-i Gravitoni lahenduste eriarhitekt. Ta keskendub klientide abistamisele ARM-i arhitektuuri kasutuselevõtul suuremahuliste konteinerite töökoormuste jaoks. Enne AWS-iga liitumist töötas Wayne mitme suure tarkvaramüüja juures, sealhulgas IBM ja Red Hat.
Lauren Mullennex on lahenduste arhitekt, mis asub Denveris, CO. Ta töötab klientidega, et aidata neil AWS-i lahendusi välja töötada. Vabal ajal naudib ta matkamist ja Hawaii köögi kokkamist.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoAiStream. Web3 andmete luure. Täiustatud teadmised. Juurdepääs siia.
- Tuleviku rahapaja Adryenn Ashley. Juurdepääs siia.
- Ostke ja müüge IPO-eelsete ettevõtete aktsiaid koos PREIPO®-ga. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/machine-learning/reduce-amazon-sagemaker-inference-cost-with-aws-graviton/
- :on
- :on
- :mitte
- : kus
- $ UP
- 1
- 10
- 100
- 7
- 98
- a
- MEIST
- konto
- Saavutada
- üle
- lisama
- vastu võtma
- ADEelis
- pärast
- AI
- algoritm
- juba
- Ka
- Amazon
- Amazon SageMaker
- Amazon Web Services
- vahel
- an
- ja
- rakendused
- arhitektuur
- OLEME
- ARM
- AS
- vara
- At
- automatiseerima
- AWS
- põhineb
- BE
- sest
- olnud
- võrdlusuuringud
- kriteeriumid
- Kasu
- BEST
- parimaid tavasid
- Parem
- tooma
- lai
- Murdis
- ehitama
- ehitatud
- sisseehitatud
- koormus
- kuid
- by
- CAN
- juhtudel
- Joonis
- klassifikatsioon
- Cloud
- CO
- võrreldav
- võrreldes
- võrdlus
- kokkusobiv
- täitma
- Arvutama
- arvuti
- Arvuti visioon
- konfiguratsioon
- sisaldama
- Konteiner
- Konteinerid
- jätkama
- Maksma
- kulude kokkuhoid
- kuluefektiivne
- kulud
- cover
- loodud
- Praegu
- klient
- Kliendid
- andmed
- pühendunud
- sügav
- sügav õpe
- tarnima
- edastamine
- Denver
- juurutada
- lähetatud
- kasutuselevõtu
- üksikasjalik
- detailid
- arendaja
- & Tarkvaraarendus
- erinev
- arutama
- ei
- kaks
- tõhusalt
- efektiivsus
- tõhus
- kumbki
- Lõpp-punkt
- insener
- keskkond
- hindama
- näide
- olemasolevate
- kogemus
- Avastades
- Ebaõnnestunud
- FUNKTSIOONID
- vähe
- fail
- finants-
- finantsteenus
- leidma
- Keskenduma
- keskendunud
- keskendub
- Järel
- eest
- neli
- Raamistik
- raamistikud
- tasuta
- edasi
- Kasum
- Üldine otstarve
- Põlvkonnad
- annab
- anda
- graafik
- müts
- Olema
- he
- aitama
- aidates
- aitab
- siin
- tema
- võõrustaja
- Kuidas
- hpc
- HTML
- HTTPS
- IBM
- if
- pildid
- paranemine
- parandusi
- Paranemist
- in
- sisaldama
- Kaasa arvatud
- tööstus
- info
- Infrastruktuur
- Näiteks
- juhised
- kindlustus
- Integreerib
- sisse
- liitumine
- jpg
- lihtsalt
- keel
- suur
- viimane
- Hilinemine
- Leads
- õppimine
- kõige vähem
- raamatukogud
- nagu
- meeldib
- nimekiri
- liising
- madalaim
- masin
- masinõpe
- tegema
- juhtima
- juht
- massid
- Vastama
- liige
- Mälu
- rännanud
- ränne
- miljon
- ML
- MLOps
- mudel
- mudelid
- rohkem
- kõige
- Multimeedia
- mitmekordne
- muusika
- nimi
- Natural
- Natural Language Processing
- Vajadus
- vajadustele
- Uus
- nlp
- nobeli preemia
- number
- of
- pakkuma
- on
- ainult
- avatud lähtekoodiga
- töökorras
- Operations
- optimeeritud
- valik
- Valikud
- or
- et
- Muu
- välja
- enda
- parameetrid
- kirglik
- jõudlus
- fööniks
- valima
- Platon
- Platoni andmete intelligentsus
- PlatoData
- palun
- populaarne
- post
- tavad
- eelmine
- Eelnev
- preemia
- töötlemine
- Protsessor
- Produktsioon
- lubas
- anda
- tingimusel
- annab
- pütorch
- valik
- Edetabel
- jõudma
- Lugemine
- saadud
- soovitab
- Red
- Red Hat
- vähendama
- Lühendatud
- teadustöö
- Tulemused
- jooks
- salveitegija
- SageMakeri järeldus
- sama
- Hoiused
- Skaala
- stsenaariumid
- skikit õppima
- vaata
- valik
- vanem
- teenus
- Teenused
- mitu
- ta
- näitama
- Näitused
- märkimisväärne
- sarnane
- So
- tarkvara
- tarkvaraarenduse
- Tarkvara insener
- Lahendused
- spetsialist
- spetsialiseeritud
- Stabiilsus
- modernne
- Samm
- Sammud
- lihtne
- Toetamine
- Toetab
- Lüliti
- süsteemid
- Võtma
- võtmine
- õpetamine
- meeskond
- Tehniline
- tensorivool
- tingimused
- kui
- et
- .
- teave
- Neile
- see
- kolm
- aeg
- et
- töövahendid
- Reisimine
- tüüp
- liigid
- us
- kasutatavus
- kasutama
- Kasutatud
- kasutamine
- eri
- müüjad
- nägemus
- tahan
- we
- web
- veebiteenused
- Hästi
- mis
- will
- koos
- Töö
- töötas
- töötab
- XGBoost
- aastat
- sa
- Sinu
- sephyrnet