Amazon Sage Maker tarjoaa laajan valikoiman koneoppimisinfrastruktuuria (ML) ja mallin käyttöönottovaihtoehtoja, jotka auttavat vastaamaan ML-johtopäätöstarpeisiisi. Se on täysin hallittu palvelu, ja se integroituu MLOps-työkaluihin, jotta voit työskennellä mallin käyttöönoton skaalaamiseksi, vähentää päättelykuluja, hallita malleja tehokkaammin tuotannossa ja vähentää toiminnallista taakkaa. SageMaker tarjoaa useita päättelyvaihtoehdot joten voit valita työmäärääsi parhaiten vastaavan vaihtoehdon.
Uudet prosessorien sukupolvet tarjoavat merkittävän suorituskyvyn parannuksen ML-päätelmissä erityisten sisäänrakennettujen ohjeiden ansiosta. Tässä viestissä keskitymme siihen, miten voit hyödyntää AWS Graviton 3-pohjainen Amazon Elastic Compute Cloud (EC2) C7g-esiintymiä auttaa vähentämään päättelykuluja jopa 50 % verrattuna vastaaviin EC2-tapauksiin reaaliaikainen johtopäätös Amazon SageMakerissa. Näytämme, kuinka voit arvioida päättelyn suorituskykyä ja vaihtaa ML-työkuormasi AWS Graviton -esiintymiin muutamassa vaiheessa.
Kattaaksemme suositut ja laajat asiakassovellukset, tässä viestissä keskustelemme PyTorchin, TensorFlown, XGBoostin ja scikit-learn-kehysten päättelysuorituskyvystä. Katamme tietokonenäön (CV), luonnollisen kielen käsittelyn (NLP), luokituksen ja ranking-skenaariot malleille sekä ml.c6g-, ml.c7g-, ml.c5- ja ml.c6i SageMaker-esiintymille vertailua varten.
Benchmarking-tulokset
AWS mittasi jopa 50 % kustannussäästöjä PyTorch-, TensorFlow-, XGBoost- ja scikit-learn-mallipäätelmissä AWS Graviton3 -pohjaisilla EC2 C7g -esiintymillä verrattuna vastaaviin EC2-esiintymiin Amazon SageMakerissa. Samalla myös päättelyn latenssi pienenee.
Vertailun vuoksi käytimme neljää eri instanssityyppiä:
Kaikissa neljässä esiintymässä on 16 vCPU:ta ja 32 GiB muistia.
Seuraavassa kaaviossa mittasimme neljän ilmentymätyypin päättelyn miljoonan kustannukset. Normalisoimme edelleen kustannus per miljoonaa päättelytuloksia c5.4xlarge-instanssiin, joka mitataan 1:llä kaavion Y-akselilla. Voit nähdä, että XGBoost-malleissa c7g.4xlargen (AWS Graviton3) miljoonan hinta on noin 50 % c5.4xlargesta ja 40 % c6i.4xlargesta; PyTorchin NLP-malleissa kustannussäästöt ovat noin 30–50 % verrattuna c5- ja c6i.4xlarge-esiintymiin. Muiden mallien ja kehysten osalta mittasimme vähintään 30 % kustannussäästöjä verrattuna c5- ja c6i.4xlarge-esiintymiin.
Samoin kuin edellinen päättelykustannusten vertailukaavio, seuraava kaavio näyttää mallin p90 latenssin samoilla neljällä ilmentymätyypillä. Normalisoimme edelleen latenssitulokset c5.4xlarge-instanssiin, joka mitataan 1:nä kaavion Y-akselilla. Mallin c7g.4xlarge (AWS Graviton3) päättelyviive on jopa 50 % parempi kuin c5.4xlarge- ja c6i.4xlarge-malleissa mitatut latenssit.
Siirrä AWS Graviton -esiintymiin
Voit ottaa mallisi käyttöön AWS Graviton -esiintymissä käyttämällä joko AWS Deep Learning Containers (DLC:t) tai tuo omat astiat mukaan jotka ovat yhteensopivia ARMv8.2-arkkitehtuurin kanssa.
Mallien siirto (tai uusi käyttöönotto) AWS Graviton -esiintymiin on yksinkertaista, koska AWS ei ainoastaan tarjoa säiliöitä PyTorchin, TensorFlow-, scikit-learn- ja XGBoost-malleille, vaan mallit ovat myös arkkitehtonisesti agnostisia. Voit myös tuoda omia kirjastojasi, mutta varmista, että konttisi on rakennettu ympäristössä, joka tukee ARMv8.2-arkkitehtuuria. Katso lisätietoja Oman algoritmikontin rakentaminen.
Sinun on suoritettava kolme vaihetta ottaaksesi mallin käyttöön:
- Luo SageMaker-malli. Tämä sisältää muiden parametrien ohella tiedot mallitiedoston sijainnista, käyttöönotossa käytettävästä säilöstä ja päättelykomentosarjan sijainnista. (Jos sinulla on jo olemassa oleva malli, joka on jo otettu käyttöön laskentaoptimoidussa päättelyesiintymässä, voit ohittaa tämän vaiheen.)
- Luo päätepistemääritys. Tämä sisältää tietoja päätepisteelle haluamasi ilmentymän tyypistä (esimerkiksi ml.c7g.xlarge AWS Graviton3:lle), edellisessä vaiheessa luomasi mallin nimestä ja esiintymien lukumäärästä päätepistettä kohti.
- Käynnistä päätepiste edellisessä vaiheessa luodulla päätepistemäärityksellä.
Katso tarkemmat ohjeet osoitteesta Suorita koneoppimispäätelmien työkuormia AWS Graviton -pohjaisissa tapauksissa Amazon SageMakerin avulla
Benchmarking-metodologia
Käytimme Amazon SageMakerin päätelmäsuositus automatisoida suorituskyvyn vertailu eri tapauksissa. Tämä palvelu vertaa ML-mallisi suorituskykyä viiveen ja kustannusten suhteen eri esiintymissä ja suosittelee ilmentymää ja kokoonpanoa, jotka tarjoavat parhaan suorituskyvyn alhaisin kustannuksin. Olemme keränneet edellä mainitut suorituskykytiedot Inference Recommenderin avulla. Katso lisätietoja osoitteesta GitHub repo.
Voit käyttää muistikirjan näyte suorittaa vertailuarvot ja toistaa tulokset. Vertailussa käytimme seuraavia malleja:
Yhteenveto
AWS mittasi jopa 50 % kustannussäästöjä PyTorch-, TensorFlow-, XGBoost- ja scikit-learn-mallipäätelmissä AWS Graviton3 -pohjaisilla EC2 C7g -esiintymillä verrattuna vastaaviin EC2-esiintymiin Amazon SageMakerissa. Voit siirtää olemassa olevat päätelmäkäyttötapaukset tai ottaa käyttöön uusia ML-malleja AWS Gravitonissa noudattamalla tässä viestissä annettuja ohjeita. Voit myös viitata AWS Graviton tekninen opas, joka tarjoaa luettelon optimoiduista kirjastoista ja parhaista käytännöistä, jotka auttavat sinua saavuttamaan kustannushyötyjä AWS Graviton -esiintymillä erilaisissa työkuormissa.
Jos huomaat käyttötapauksia, joissa AWS Gravitonissa ei havaita vastaavia suorituskyvyn parannuksia, ota meihin yhteyttä. Jatkamme lisää suorituskyvyn parannuksia tehdäksemme AWS Gravitonista kustannustehokkaimman ja tehokkaimman yleiskäyttöisen prosessorin ML-päätelmien tekemiseen.
Tietoja kirjoittajista
Sunita Nadampalli on AWS:n ohjelmistokehityspäällikkö. Hän johtaa Graviton-ohjelmiston suorituskyvyn optimointia koneoppimiseen, HPC:hen ja multimedian työkuormiin. Hän on intohimoinen avoimen lähdekoodin kehittämiseen ja kustannustehokkaiden ohjelmistoratkaisujen toimittamiseen Arm SoC:illa.
Jaymin Desai on ohjelmistokehitysinsinööri Amazon SageMaker Inference -tiimin kanssa. Hän on intohimoinen tekoälyn levittämiseen massoihin ja uusimpien tekoälyresurssien käytettävyyden parantamiseen tuotteistamalla ne ominaisuuksiksi ja palveluiksi. Vapaa-ajallaan hän nauttii musiikin tutkimisesta ja matkustamisesta.
Mike Schneider on järjestelmäkehittäjä, jonka kotipaikka on Phoenix AZ. Hän on Deep Learning -säilöjen jäsen, joka tukee erilaisia Framework-säilökuvia, mukaan lukien Graviton Inference. Hän on omistautunut infrastruktuurin tehokkuudelle ja vakaudelle.
Mohan Gandhi on AWS:n vanhempi ohjelmistosuunnittelija. Hän on työskennellyt AWS:ssä viimeiset 10 vuotta ja työskennellyt useiden AWS-palvelujen, kuten EMR, EFA ja RDS, parissa. Tällä hetkellä hän keskittyy parantamaan SageMaker Inference -kokemusta. Vapaa-ajallaan hän harrastaa patikointia ja maratoneja.
Qingwei Li on koneoppimisen asiantuntija Amazon Web Services -palvelussa. Hän sai tohtorin tutkinnon. Operations Researchissa, kun hän rikkoi neuvonantajansa apurahatilin ja jätti lunastamansa Nobel -palkinnon. Tällä hetkellä hän auttaa finanssi- ja vakuutusalan asiakkaita rakentamaan koneoppimisratkaisuja AWS: lle. Vapaa -ajallaan hän pitää lukemisesta ja opettamisesta.
Wayne Toh on erikoisratkaisuarkkitehti Gravitonille AWS:ssä. Hän keskittyy auttamaan asiakkaita ottamaan käyttöön ARM-arkkitehtuurin suuria konttityökuormia varten. Ennen AWS:ään liittymistään Wayne työskenteli useille suurille ohjelmistotoimittajille, mukaan lukien IBM ja Red Hat.
Lauren Mullennex on ratkaisuarkkitehti Denverissä, CO. Hän työskentelee asiakkaiden kanssa auttaakseen heitä suunnittelemaan ratkaisuja AWS:lle. Vapaa-ajallaan hän nauttii vaelluksesta ja havaijilaisen keittiön ruoanlaitosta.
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- PlatoAiStream. Web3 Data Intelligence. Tietoa laajennettu. Pääsy tästä.
- Tulevaisuuden lyöminen Adryenn Ashley. Pääsy tästä.
- Osta ja myy osakkeita PRE-IPO-yhtiöissä PREIPO®:lla. Pääsy tästä.
- Lähde: https://aws.amazon.com/blogs/machine-learning/reduce-amazon-sagemaker-inference-cost-with-aws-graviton/
- :on
- :On
- :ei
- :missä
- $ YLÖS
- 1
- 10
- 100
- 7
- 98
- a
- Meistä
- Tili
- Saavuttaa
- poikki
- lisätä
- hyväksyä
- Etu
- Jälkeen
- AI
- algoritmi
- jo
- Myös
- Amazon
- Amazon Sage Maker
- Amazon Web Services
- keskuudessa
- an
- ja
- sovellukset
- arkkitehtuuri
- OVAT
- ARM
- AS
- Varat
- At
- automatisoida
- AWS
- perustua
- BE
- koska
- ollut
- benchmarking
- Viitearvot
- Hyödyt
- PARAS
- parhaat käytännöt
- Paremmin
- tuoda
- laaja
- Broke
- rakentaa
- rakennettu
- sisäänrakennettu
- taakka
- mutta
- by
- CAN
- tapauksissa
- Kaavio
- luokittelu
- pilvi
- CO
- vertailukelpoinen
- verrattuna
- vertailu
- yhteensopiva
- täydellinen
- Laskea
- tietokone
- Tietokoneen visio
- Konfigurointi
- sisältää
- Kontti
- Kontit
- jatkaa
- Hinta
- kustannussäästöjä
- kustannustehokas
- kustannukset
- kattaa
- luotu
- Tällä hetkellä
- asiakas
- Asiakkaat
- tiedot
- omistautunut
- syvä
- syvä oppiminen
- toimittaa
- tuottaa
- Denver
- sijoittaa
- käyttöön
- käyttöönotto
- yksityiskohtainen
- yksityiskohdat
- Kehittäjä
- Kehitys
- eri
- pohtia
- ei
- kaksi
- tehokkaasti
- tehokkuus
- tehokas
- myöskään
- päätepiste
- insinööri
- ympäristö
- arvioida
- esimerkki
- olemassa
- experience
- Tutkiminen
- Epäonnistui
- Ominaisuudet
- harvat
- filee
- taloudellinen
- rahoituspalvelu
- Löytää
- Keskittää
- keskityttiin
- keskittyy
- jälkeen
- varten
- neljä
- Puitteet
- puitteet
- Ilmainen
- edelleen
- voitto
- yleinen tarkoitus
- sukupolvet
- antaa
- myöntää
- kaavio
- hattu
- Olla
- he
- auttaa
- auttaa
- auttaa
- hänen
- hänen
- isäntä
- Miten
- hpc
- HTML
- HTTPS
- IBM
- if
- kuvien
- parannus
- parannuksia
- parantaminen
- in
- sisältää
- Mukaan lukien
- teollisuus
- tiedot
- Infrastruktuuri
- esimerkki
- ohjeet
- vakuutus
- integroi
- tulee
- tuloaan
- jpg
- vain
- Kieli
- suuri
- Sukunimi
- Viive
- Liidit
- oppiminen
- vähiten
- kirjastot
- pitää
- tykkää
- Lista
- sijainti
- alin
- kone
- koneoppiminen
- tehdä
- hoitaa
- johtaja
- massat
- Tavata
- jäsen
- Muisti
- vaeltaa
- muutto
- miljoona
- ML
- MLOps
- malli
- mallit
- lisää
- eniten
- multimedia
- moninkertainen
- Musiikki
- nimi
- Luonnollinen
- Luonnollinen kielen käsittely
- Tarve
- tarpeet
- Uusi
- NLP
- Nobel palkinto
- numero
- of
- kampanja
- on
- vain
- avoimen lähdekoodin
- toiminta-
- Operations
- optimoitu
- Vaihtoehto
- Vaihtoehdot
- or
- tilata
- Muut
- ulos
- oma
- parametrit
- intohimoinen
- suorituskyky
- feeniks
- poimia
- Platon
- Platonin tietotieto
- PlatonData
- Ole hyvä
- Suosittu
- Kirje
- käytännöt
- edellinen
- Aikaisempi
- palkinto
- käsittely
- Suoritin
- tuotanto
- luvattu
- toimittaa
- mikäli
- tarjoaa
- pytorch
- alue
- Sijoitus
- tavoittaa
- Lukeminen
- sai
- suosittelee
- punainen
- Red Hat
- vähentää
- Vähentynyt
- tutkimus
- tulokset
- ajaa
- sagemaker
- SageMaker-johtopäätös
- sama
- Säästöt
- Asteikko
- skenaariot
- scikit opittava
- nähdä
- valinta
- vanhempi
- palvelu
- Palvelut
- useat
- hän
- näyttää
- Näytä
- merkittävä
- samankaltainen
- So
- Tuotteemme
- ohjelmistokehitys
- Software Engineer
- Ratkaisumme
- asiantuntija
- erikoistunut
- Pysyvyys
- huippu-
- Vaihe
- Askeleet
- suora
- Tukea
- Tukee
- Vaihtaa
- järjestelmät
- ottaa
- ottaen
- Opetus
- joukkue-
- Tekninen
- tensorflow
- ehdot
- kuin
- että
- -
- tiedot
- Niitä
- tätä
- kolmella
- aika
- että
- työkalut
- Matkustaminen
- tyyppi
- tyypit
- us
- käytettävyys
- käyttää
- käytetty
- käyttämällä
- eri
- myyjät
- visio
- haluta
- we
- verkko
- verkkopalvelut
- HYVIN
- joka
- tulee
- with
- Referenssit
- työskenteli
- toimii
- XGBoost
- vuotta
- Voit
- Sinun
- zephyrnet