Amazon SageMaker kunder kan se og administrere kvotegrensene sine gjennom Tjenestekvoter. I tillegg kan de se nesten sanntids utnyttelsesberegninger og lage Amazon CloudWatch beregninger for å vise og programmessig spørre SageMaker-kvoter.
SageMaker hjelper deg med å bygge, trene og distribuere maskinlæringsmodeller (ML) enkelt. For å lære mer, se Komme i gang med Amazon SageMaker. Service Quotas forenkler grenseadministrasjonen ved å la deg se og administrere kvotene dine for SageMaker fra et sentralt sted.
Med tjenestekvoter kan du se maksimalt antall ressurser, handlinger eller elementer i din AWS-konto eller AWS-region. Du kan også bruke tjenestekvoter til å be om en økning for justerbare kvoter.
Med den økende bruken av MLOps-praksis, og derfor etterspørselen etter ressurser utpekt for ML-modelleksperimentering og omskolering, må flere kunder kjøre flere forekomster, ofte av samme forekomsttype samtidig.
Mange datavitenskapsteam jobber ofte parallelt, og bruker flere instanser for prosessering, opplæring og tuning samtidig. Tidligere nådde brukere noen ganger en justerbar kontogrense for en bestemt instanstype og måtte manuelt be om en grenseøkning fra AWS.
For å be om kvoteøkninger manuelt fra Service Quotas UI, kan du velge kvoten fra listen og velge Be om kvoteøkning. For mer informasjon, se Ber om kvoteøkning.
I dette innlegget viser vi hvordan du kan bruke de nye funksjonene til å automatisk be om grenseøkninger når et høyt nivå av forekomster er nådd.
Løsningsoversikt
Følgende diagram illustrerer løsningsarkitekturen.
Denne arkitekturen inkluderer følgende arbeidsflyt:
- En CloudWatch-beregning overvåker bruken av ressursen. En CloudWatch-alarm utløses når ressursbruken går utover en viss forhåndskonfigurert terskel.
- Det sendes en melding til Amazon enkel varslingstjeneste (Amazon SNS).
- Meldingen mottas av en AWS Lambda funksjon.
- Lambdafunksjonen ber om kvoteøkning.
Bortsett fra å be om en kvoteøkning for den spesifikke kontoen, kan Lambda-funksjonen også legge til kvoteøkningen til organisasjonsmal (opptil 10 kvoter). På denne måten har enhver ny konto opprettet under en gitt AWS-organisasjon de økte kvoteforespørslene som standard.
Forutsetninger
Fullfør følgende forutsetningstrinn:
- Sett opp en AWS-konto og opprett en AWS identitets- og tilgangsadministrasjon (IAM) bruker. For instruksjoner, se Sikre din AWS-konto.
- Installer AWS SAM CLI.
Distribuer ved hjelp av AWS Serverless Application Model
For å distribuere applikasjonen ved å bruke GitHub repo, kjør følgende kommando i terminalen:
Etter at løsningen er distribuert, bør du ha en ny alarm på CloudWatch-konsollen. Denne alarmen overvåker bruken av SageMaker-notebook-forekomster for ml.t3.medium-forekomsten.
Hvis ressursbruken din når mer enn 50 %, utløses alarmen og Lambda-funksjonen ber om en økning.
Hvis kontoen du har er en del av en AWS-organisasjon og du har mal for kvoteforespørsel aktivert, bør du også se disse økningene på malen, hvis malen har ledige spor. På denne måten har nye kontoer fra den organisasjonen også økningene konfigurert ved opprettelse.
Distribuer ved hjelp av CloudWatch-konsollen
For å distribuere applikasjonen ved hjelp av CloudWatch-konsollen, fullfør følgende trinn:
- På CloudWatch-konsollen velger du Alle alarmer i navigasjonsruten.
- Velg Lag alarm.
- Velg Velg beregning.
- Velg bruk.
- Velg beregningen du vil overvåke.
- Velg tilstanden for når du vil at alarmen skal utløses.
For flere mulige konfigurasjoner når du konfigurerer alarmen, se Lag en CloudWatch-alarm basert på en statisk terskel.
- Konfigurer SNS-emnet for å bli varslet om alarmen.
Du kan også bruke Amazon SNS til å utløse en Lambda-funksjon når alarmen utløses. Se Bruker AWS Lambda med Amazon SNS for mer informasjon.
- Til Alarmnavn, skriv inn et navn.
- Velg neste.
- Velg Lag alarm.
Rydd opp
For å rydde opp i ressursene som er opprettet som en del av dette innlegget, sørg for å slette alle de opprettede stablene. For å gjøre det, kjør følgende kommando:
konklusjonen
I dette innlegget viste vi hvordan du kan bruke den nye integrasjonen fra SageMaker med Service Quotas for å automatisere forespørslene om kvoteøkninger for SageMaker-ressurser. På denne måten kan datavitenskapsteam effektivt arbeide parallelt og redusere problemer knyttet til utilgjengelighet av forekomster.
Du kan lære mer om Amazon SageMaker-kvoter ved å gå til dokumentasjon. Du kan også lære mer om tjenestekvoter her..
Om forfatterne
Bruno Klein er maskinlæringsingeniør i AWS ProServe-teamet. Han liker spesielt godt å lage automatiseringer og forbedre livssyklusen til modeller i produksjon. På fritiden liker han å være ute og gå på tur.
Paras Mehra er senior produktsjef i AWS. Han er fokusert på å hjelpe med å bygge Amazon SageMaker Training and Processing. På fritiden liker Paras å tilbringe tid med familien og sykle rundt i Bay Area. Du kan finne ham på Linkedin.
- SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
- Platoblokkkjede. Web3 Metaverse Intelligence. Kunnskap forsterket. Tilgang her.
- kilde: https://aws.amazon.com/blogs/machine-learning/best-practices-for-viewing-and-querying-amazon-sagemaker-service-quota-usage/
- :er
- $OPP
- 10
- 100
- 7
- 8
- a
- Om oss
- adgang
- Tilgang
- Logg inn
- kontoer
- handlinger
- tillegg
- justerbar
- alarm
- Alle
- tillate
- Amazon
- Amazon SageMaker
- og
- Søknad
- arkitektur
- AREA
- rundt
- AS
- At
- automatisere
- automatisk
- tilgjengelig
- AWS
- AWS Lambda
- basert
- bukt
- BE
- BEST
- beste praksis
- Beyond
- bygge
- by
- CAN
- CD
- sentral
- viss
- Velg
- fullføre
- tilstand
- Konsoll
- skape
- opprettet
- Opprette
- skaperverket
- Kunder
- dato
- datavitenskap
- Misligholde
- Etterspørsel
- utplassere
- utplassert
- utpekt
- effektivt
- aktivert
- ingeniør
- Enter
- familie
- Egenskaper
- Finn
- fokuserte
- etter
- Til
- Gratis
- fra
- funksjon
- gå
- gitt
- Går
- Ha
- hjelpe
- hjelper
- Høy
- Hvordan
- HTML
- http
- HTTPS
- Identitet
- bedre
- in
- inkluderer
- Øke
- økt
- øker
- økende
- informasjon
- f.eks
- instruksjoner
- integrering
- saker
- varer
- jpg
- LÆRE
- læring
- Nivå
- Livssyklus
- i likhet med
- BEGRENSE
- grenser
- Liste
- plassering
- maskin
- maskinlæring
- gjøre
- administrer
- ledelse
- leder
- manuelt
- maksimal
- medium
- melding
- metrisk
- Metrics
- ML
- MLOps
- modell
- modeller
- Overvåke
- skjermer
- mer
- flere
- navn
- Navigasjon
- Nær
- Trenger
- Ny
- Nye funksjoner
- neste
- bærbare
- varsling
- Antall
- of
- on
- organisasjon
- utendørs
- brød
- Parallel
- del
- Spesielt
- spesielt
- plato
- Platon Data Intelligence
- PlatonData
- mulig
- Post
- praksis
- tidligere
- prosessering
- Produkt
- Produktsjef
- Produksjon
- å nå
- nådd
- Når
- sanntids
- mottatt
- redusere
- region
- i slekt
- anmode
- forespørsler
- ressurs
- Ressurser
- vei
- Kjør
- sagemaker
- Sam
- samme
- Vitenskap
- senior
- server~~POS=TRUNC
- tjeneste
- flere
- bør
- Vis
- Enkelt
- spilleautomater
- løsning
- noen
- spesifikk
- bruke
- utgifter
- Stabler
- startet
- Steps
- lag
- lag
- mal
- terminal
- Det
- De
- deres
- derfor
- terskel
- Gjennom
- tid
- til
- Tema
- Tog
- Kurs
- utløse
- utløst
- sant
- etter
- bruk
- bruke
- Bruker
- Brukere
- Se
- Vei..
- med
- Arbeid
- ville
- Du
- Din
- zephyrnet