Leta 2021 smo lansirali Proaktivne storitve podpore AWS kot del Podpora za podjetja AWS načrt. Od njegove uvedbe smo stotinam strank pomagali optimizirati njihove delovne obremenitve, postaviti zaščitne ograje in izboljšati preglednost stroškov in uporabe delovnih obremenitev strojnega učenja (ML).
V tej seriji objav delimo pridobljene izkušnje o optimizaciji stroškov v Amazon SageMaker. v Del 1, smo pokazali, kako začeti uporabljati Raziskovalec stroškov AWS za prepoznavanje priložnosti za optimizacijo stroškov v SageMakerju. V tej objavi se osredotočamo na okolja sklepanja SageMaker: sklepanje v realnem času, paketno preoblikovanje, asinhrono sklepanje in sklepanje brez strežnika.
SageMaker ponuja več možnosti sklepanja med katerimi lahko izbirate glede na vaše zahteve glede delovne obremenitve:
- Sklepanje v realnem času za zahteve po spletu, nizko zakasnitev ali visoko prepustnost
- Paketno preoblikovanje za obdelavo brez povezave, po urniku in ko ne potrebujete trajne končne točke
- Asinhrono sklepanje ko imate velike koristne obremenitve z dolgimi časi obdelave in želite zahteve postaviti v čakalno vrsto
- Brezstrežniško sklepanje ko imate občasne ali nepredvidljive prometne vzorce in lahko prenašate hladne zagone
V naslednjih razdelkih podrobneje obravnavamo vsako možnost sklepanja.
Sklepanje SageMaker v realnem času
Ko ustvarite končno točko, SageMaker priloži Trgovina z elastičnimi bloki Amazon (Amazon EBS) prostor za shranjevanje v Amazonski elastični računalniški oblak (Amazon EC2), ki gosti končno točko. To velja za vse vrste primerkov, ki nimajo pomnilnika SSD. Ker so vrste instanc d* opremljene s shrambo NVMe SSD, SageMaker tem instancam računanja ML ne pripne nosilca za shranjevanje EBS. Nanašati se na Količine pomnilnika instance gostitelja za velikost prostorov za shranjevanje, ki jih SageMaker pripne za vsako vrsto primerka za posamezno končno točko in za končno točko z več modeli.
Stroški končnih točk SageMaker v realnem času temeljijo na porabi na uro instance za posamezno instanco, medtem ko se končna točka izvaja, stroških GB-meseca omogočenega shranjevanja (prostor EBS), kot tudi na GB podatkov, obdelanih v in iz njih. primerka končne točke, kot je opisano v Cene Amazon SageMaker. V Cost Explorerju si lahko ogledate stroške končne točke v realnem času z uporabo filtra za vrsto uporabe. Imena teh vrst uporabe so strukturirana na naslednji način:
REGION-Host:instanceType
(npr.USE1-Host:ml.c5.9xlarge
)REGION-Host:VolumeUsage.gp2
(npr.USE1-Host:VolumeUsage.gp2
)REGION-Hst:Data-Bytes-Out
(npr.USE2-Hst:Data-Bytes-In
)REGION-Hst:Data-Bytes-Out
(npr.USW2-Hst:Data-Bytes-Out)
Kot je prikazano na naslednjem posnetku zaslona, filtriranje po vrsti uporabe Host:
prikaže seznam vrst uporabe gostovanja v realnem času v računu.
Izberete lahko določene vrste uporabe ali izberete Izberi vse In izberite Uporabi za prikaz razčlenitve stroškov uporabe gostovanja SageMaker v realnem času. Če si želite ogledati razčlenitev stroškov in uporabe po urah primerkov, morate preklicati izbiro vseh REGION-Host:VolumeUsage.gp2
vrste uporabe, preden uporabite filter vrste uporabe. Uporabite lahko tudi dodatne filtre, kot so številka računa, vrsta primerka EC2, oznaka za dodelitev stroškov, regija in več. Naslednji posnetek zaslona prikazuje grafe stroškov in uporabe za izbrane vrste uporabe gostovanja.
Poleg tega lahko raziščete stroške, povezane z enim ali več primerki gostovanja, tako da uporabite Vrsta primerka filter. Naslednji posnetek zaslona prikazuje razčlenitev stroškov in uporabe za primerek gostovanja ml.p2.xlarge.
Podobno je mogoče prikazati stroške za obdelane in obdelane podatke GB tako, da kot uporabljeni filter izberete povezane vrste uporabe, kot je prikazano na naslednjem posnetku zaslona.
Ko s filtri in združevanjem dosežete želene rezultate, lahko svoje rezultate prenesete tako, da izberete Prenesite kot CSV ali shranite poročilo tako, da izberete Shrani v knjižnico poročil. Za splošne napotke o uporabi raziskovalca stroškov glejte Nov videz in običajni primeri uporabe AWS Cost Explorer.
Po želji lahko omogočite Poročila o stroških in uporabi AWS (AWS CUR), da pridobite vpogled v podatke o stroških in uporabi za vaše račune. AWS CUR vsebuje podrobnosti o urni porabi AWS. Shranjeno je v Preprosta storitev shranjevanja Amazon (Amazon S3) v računu plačnika, ki združuje podatke za vse povezane račune. Zaženete lahko poizvedbe, da analizirate trende vaše uporabe in izvedete ustrezne ukrepe za optimizacijo stroškov. Amazonska Atena je storitev poizvedb brez strežnika, ki jo lahko uporabite za analizo podatkov iz AWS CUR v Amazon S3 z uporabo standardnega SQL. Več informacij in primere poizvedb lahko najdete v Knjižnica poizvedb AWS CUR.
Podatke AWS CUR lahko vnesete tudi v Amazon QuickSight, kjer ga lahko narežete na kocke, kakor koli želite, za namene poročanja ali vizualizacije. Za navodila glejte Kako vnesem in vizualiziram poročilo o stroških in uporabi AWS (CUR) v Amazon QuickSight.
Od AWS CUR lahko pridobite informacije na ravni vira, kot so ARN končne točke, vrste instanc končne točke, urna stopnja instance, dnevne ure uporabe in drugo. V svojo poizvedbo lahko vključite tudi oznake za dodelitev stroškov za dodatno raven razdrobljenosti. Naslednji primer poizvedbe vrne uporabo virov gostovanja v realnem času v zadnjih 3 mesecih za dani račun plačnika:
Naslednji posnetek zaslona prikazuje rezultate, dobljene pri izvajanju poizvedbe s programom Athena. Za več informacij glejte Iskanje poročil o stroških in uporabi z uporabo Amazon Athena.
Rezultat poizvedbe pokaže to končno točko mme-xgboost-housing
s primerkom ml.x4.xlarge poroča o 24 urah izvajanja več zaporednih dni. Cena primerka je 0.24 USD/uro, dnevni strošek za 24-urno delovanje pa 5.76 USD.
Rezultati AWS CUR vam lahko pomagajo prepoznati vzorce končnih točk, ki se izvajajo zaporedne dni v vsakem od povezanih računov, kot tudi končne točke z najvišjimi mesečnimi stroški. To vam lahko tudi pomaga pri odločitvi, ali je mogoče končne točke v neprodukcijskih računih izbrisati, da prihranite stroške.
Optimizirajte stroške za končne točke v realnem času
Z vidika upravljanja stroškov je pomembno identificirati premalo izkoriščene (ali prevelike) primerke ter prilagoditi velikost in število primerkov, če je to potrebno, v skladu z zahtevami delovne obremenitve. Zapisane so običajne sistemske metrike, kot sta uporaba procesorja/grafične procesorske enote in uporaba pomnilnika amazoncloudwatch za vse primerke gostovanja. Za končne točke v realnem času daje SageMaker v CloudWatch na voljo več dodatnih meritev. Nekatere pogosto nadzorovane metrike vključujejo število klicev in napake 4xx/5xx klicev. Za celoten seznam meritev glejte Spremljajte Amazon SageMaker z Amazon CloudWatch.
metrika CPUUtilization
zagotavlja vsoto izkoriščenosti vsakega posameznega jedra procesorja. Izkoriščenost procesorja vsakega območja jeder je 0–100. Na primer, če obstajajo štirje procesorji, je CPUUtilization
razpon je 0–400 %. metrika MemoryUtilization
je odstotek pomnilnika, ki ga uporabljajo vsebniki na primerku. Ta razpon vrednosti je 0–100 %. Naslednji posnetek zaslona prikazuje primer metrike CloudWatch CPUUtilization
in MemoryUtilization
za primerek končne točke ml.m4.10xlarge, ki je opremljen s 40 vCPE in 160 GiB pomnilnika.
Ti metrični grafi prikazujejo največjo izkoriščenost procesorja približno 3,000 %, kar je enako 30 vCPE. To pomeni, da ta končna točka ne uporablja več kot 30 vCPU-jev od skupne zmogljivosti 40 vCPU-jev. Podobno je izkoriščenost pomnilnika pod 6 %. Z uporabo teh informacij lahko poskusite z manjšim primerkom, ki lahko ustreza tej potrebi po virih. Poleg tega je CPUUtilization
metrika prikazuje klasičen vzorec periodičnih visokih in nizkih zahtev CPE, zaradi česar je ta končna točka dober kandidat za samodejno skaliranje. Začnete lahko z manjšim primerkom in ga najprej povečate, ko se vaše računalniške zahteve spremenijo. Za informacije glejte Samodejno prilagodi modele Amazon SageMaker.
SageMaker je odličen za preizkušanje novih modelov, saj jih lahko preprosto namestite v A/B testno okolje z proizvodne variantein plačate samo tisto, kar porabite. Vsaka produkcijska različica se izvaja na lastni računalniški instanci in zaračunamo vam na uro instance, porabljeno za vsako instanco, medtem ko se različica izvaja.
Podpira tudi SageMaker senčne variante, ki imajo enake komponente kot produkcijska različica in delujejo na lastni računalniški instanci. S senčnimi različicami SageMaker samodejno razmesti model v testnem okolju, usmeri kopijo zahtev za sklepanje, ki jih je prejel produkcijski model, v testni model v realnem času in zbira metrike zmogljivosti, kot sta zakasnitev in prepustnost. To vam omogoča, da preverite katero koli novo kandidatno komponento sklada za streženje vašega modela, preden jo povišate v proizvodnjo.
Ko končate s preizkusi in končne točke ali različic ne uporabljate več v veliki meri, jo izbrišite, da prihranite stroške. Ker je model shranjen v Amazon S3, ga lahko po potrebi znova ustvarite. Te končne točke lahko samodejno zaznate in izvedete popravne ukrepe (na primer njihovo brisanje) z uporabo Amazon CloudWatch Dogodki in AWS Lambda funkcije. Na primer, lahko uporabite Invocations
metriko, da dobite skupno število zahtev, poslanih na končno točko modela, in nato zaznate, ali so bile končne točke v preteklem številu ur nedejavne (brez klicev v določenem obdobju, na primer 24 ur).
Če imate več premalo izkoriščenih primerkov končne točke, razmislite o možnostih gostovanja, kot je npr končne točke več modelov (MME), končne točke z več vsebniki (MCE) in serijski inferenčni cevovodi za konsolidacijo uporabe na manj primerkov končnih točk.
Za realnočasovno in asinhrono uvajanje modela sklepanja lahko optimizirate stroške in zmogljivost z uvajanjem modelov v SageMaker z AWS Graviton. AWS Graviton je družina procesorjev, ki jih je zasnoval AWS, ki zagotavljajo najboljšo cenovno zmogljivost in so energetsko učinkovitejši od svojih primerkov x86. Za smernice o uvajanju modela ML v primerke, ki temeljijo na AWS Graviton, in podrobnosti o prednosti cenovne uspešnosti glejte Zaženite delovne obremenitve sklepanja strojnega učenja na instancah, ki temeljijo na AWS Graviton, z Amazon SageMaker. Podpira tudi SageMaker Sklepanje AWS pospeševalniki skozi ml.inf2 družina primerkov za uvajanje modelov ML za sprotno in asinhrono sklepanje. Te primerke lahko uporabite v SageMakerju, da dosežete visoko zmogljivost z nizkimi stroški za modele generativne umetne inteligence (AI), vključno z velikimi jezikovnimi modeli (LLM) in transformatorji vida.
Poleg tega lahko uporabite Amazon SageMaker Inference Recommender za izvajanje obremenitvenih testov in ovrednotenje prednosti cenovne uspešnosti uvedbe vašega modela na teh primerkih. Za dodatna navodila o samodejnem zaznavanju nedejavnih končnih točk SageMaker, kot tudi o pravilnem določanju velikosti primerka in samodejnem skaliranju za končne točke SageMaker, glejte Zagotovite učinkovite računalniške vire na Amazon SageMaker.
Serijska preobrazba SageMaker
Paketno sklepanje, oz sklepanje brez povezave, je postopek generiranja napovedi na podlagi niza opazovanj. Napovedi brez povezave so primerne za večje nabore podatkov in v primerih, ko si lahko privoščite čakanje več minut ali ur na odgovor.
Stroški za paketno pretvorbo SageMaker temeljijo na porabi na instančno uro za posamezen primerek, medtem ko se izvaja paketno preoblikovanje, kot je opisano v Cene Amazon SageMaker. V Cost Explorerju lahko raziskujete stroške paketne transformacije z uporabo filtra za vrsto uporabe. Ime te vrste uporabe je strukturirano kot REGION-Tsform:instanceType
(npr. USE1-Tsform:ml.c5.9xlarge
).
Kot je prikazano na naslednjem posnetku zaslona, filtriranje po vrsti uporabe Tsform:
prikaže seznam vrst uporabe paketne transformacije SageMaker v računu.
Izberete lahko določene vrste uporabe ali izberete Izberi vse In izberite Uporabi za prikaz razčlenitve stroškov uporabe primerka paketnega preoblikovanja za izbrane vrste. Kot smo že omenili, lahko uporabite tudi dodatne filtre. Naslednji posnetek zaslona prikazuje grafe stroškov in uporabe za izbrane vrste uporabe paketne transformacije.
Optimizirajte stroške za paketno pretvorbo
Paketno preoblikovanje SageMaker vam zaračuna le primerke, uporabljene med izvajanjem vaših opravil. Če so vaši podatki že v Amazonu S3, potem ni stroškov za branje vhodnih podatkov iz Amazona S3 in pisanje izhodnih podatkov v Amazon S3. Vsi izhodni predmeti se poskušajo naložiti v Amazon S3. Če so vsi uspešni, je opravilo paketnega preoblikovanja označeno kot dokončano. Če en ali več objektov ne uspe, je opravilo paketnega preoblikovanja označeno kot neuspelo.
Stroški za opravila paketnega preoblikovanja veljajo v naslednjih scenarijih:
- Delo je uspešno
- Neuspeh zaradi
ClientError
modelna posoda pa je SageMaker oz ogrodje, ki ga upravlja SageMaker - Neuspeh zaradi
AlgorithmError
orClientError
in vsebnik modela je vaš lasten vsebnik po meri (BYOC)
Sledi nekaj najboljših praks za optimizacijo opravila paketnega preoblikovanja SageMaker. Ta priporočila lahko skrajšajo skupni čas izvajanja vašega opravila paketnega preoblikovanja in s tem znižajo stroške:
- Kompleti BatchStrategy do
MultiRecord
inSplitType
doLine
če potrebujete opravilo paketnega preoblikovanja za izdelavo mini paketov iz vhodne datoteke. Če nabora podatkov ne more samodejno razdeliti na mini pakete, ga lahko razdelite na mini pakete tako, da vsak paket postavite v ločeno vhodno datoteko, ki je postavljena v vedro izvora podatkov S3. - Prepričajte se, da se velikost serije prilega pomnilniku. SageMaker običajno to uredi samodejno; pri ročnem deljenju serij pa je treba to prilagoditi glede na pomnilnik.
- Paketno preoblikovanje razdeli objekte S3 v vhodu po ključu in preslika te objekte v primerke. Če imate več datotek, lahko obdela en primerek
input1.csv
in drug primerek lahko obdelainput2.csv
. Če imate eno vhodno datoteko, a inicializirate več primerkov računanja, samo en primerek obdela vhodno datoteko, ostali primerki pa so nedejavni. Prepričajte se, da je število datotek enako ali večje od števila primerkov. - Če imate veliko število majhnih datotek, je morda koristno združiti več datotek v majhno število večjih datotek, da zmanjšate čas interakcije Amazon S3.
- Če uporabljate CreateTransformJob API, lahko skrajšate čas, potreben za dokončanje opravil paketnega preoblikovanja, z uporabo optimalnih vrednosti za parametre, kot je npr MaxPayloadInMB, MaxConcurrentTransformsali BatchStrategy:
MaxConcurrentTransforms
označuje največje število vzporednih zahtev, ki jih je mogoče poslati vsakemu primerku v opravilu preoblikovanja. Idealna vrednost zaMaxConcurrentTransforms
je enako številu jeder vCPE v primerku.MaxPayloadInMB
je največja dovoljena velikost koristnega tovora v MB. Vrednost vMaxPayloadInMB
mora biti večja ali enaka velikosti posameznega zapisa. Če želite oceniti velikost zapisa v MB, delite velikost nabora podatkov s številom zapisov. Če želite zagotoviti, da se zapisi ujemajo z največjo velikostjo tovora, priporočamo uporabo nekoliko večje vrednosti. Privzeta vrednost je 6 MB.MaxPayloadInMB
ne sme biti večji od 100 MB. Če navedete neobveznoMaxConcurrentTransforms
parameter, nato vrednost (MaxConcurrentTransforms
*MaxPayloadInMB
) tudi ne sme presegati 100 MB.- Za primere, ko je koristna obremenitev lahko poljubno velika in se prenaša s kodiranjem HTTP v kosih, nastavite vrednost MaxPayloadInMB na 0. Ta funkcija deluje samo v podprtih algoritmih. Trenutno vgrajeni algoritmi SageMaker ne podpirajo kodiranja HTTP v kosih.
- Naloge paketnega sklepanja so običajno dobri kandidati za horizontalno skaliranje. Vsak delavec znotraj gruče lahko deluje z drugačno podmnožico podatkov, ne da bi moral izmenjevati informacije z drugimi delavci. AWS ponuja več možnosti za shranjevanje in računanje, ki omogočajo vodoravno skaliranje. Če en sam primerek ne zadostuje za izpolnjevanje vaših zahtev glede zmogljivosti, razmislite o uporabi več primerkov vzporedno za porazdelitev delovne obremenitve. Za ključne pomisleke pri načrtovanju opravil paketnega preoblikovanja glejte Paketno sklepanje v velikem obsegu z Amazon SageMaker.
- Nenehno spremljajte meritve uspešnosti svojih opravil paketnega preoblikovanja SageMaker z uporabo CloudWatch. Poiščite ozka grla, kot je visoka izkoriščenost procesorja ali grafičnega procesorja, uporaba pomnilnika ali prepustnost omrežja, da ugotovite, ali morate prilagoditi velikosti ali konfiguracije primerkov.
- SageMaker uporablja Amazon S3 večdelni API za nalaganje za nalaganje rezultatov iz opravila paketnega preoblikovanja v Amazon S3. Če pride do napake, so naloženi rezultati odstranjeni iz Amazon S3. V nekaterih primerih, na primer ko pride do izpada omrežja, lahko nepopolno večdelno nalaganje ostane v Amazon S3. Da bi se izognili stroškom shranjevanja, priporočamo, da dodate Politika vedra S3 na pravila življenjskega cikla vedra S3. Ta pravilnik izbriše nepopolna večdelna nalaganja, ki so lahko shranjena v vedru S3. Za več informacij glejte Upravljanje vašega življenjskega cikla shranjevanja.
Asinhroni sklep SageMaker
Asinhrono sklepanje je odlična izbira za stroškovno občutljive delovne obremenitve z velikimi koristnimi obremenitvami in hitrim prometom. Obdelava zahtev lahko traja do 1 ure in imajo velikost koristne obremenitve do 1 GB, zato je primernejša za delovne obremenitve, ki imajo sproščene zahteve glede zakasnitve.
Priklic asinhronih končnih točk se razlikuje od končnih točk v realnem času. Namesto da bi vsebino zahteve posredovali sinhrono z zahtevo, koristno vsebino naložite v Amazon S3 in posredujete URI S3 kot del zahteve. Interno SageMaker vzdržuje čakalno vrsto s temi zahtevami in jih obdeluje. Med ustvarjanjem končne točke lahko po želji določite Amazon Simple notification Service (Amazon SNS) za prejemanje obvestil o uspehu ali napaki. Ko prejmete obvestilo, da je bila vaša zahteva za sklepanje uspešno obdelana, lahko dostopate do rezultata na izhodni lokaciji Amazon S3.
Stroški za asinhrono sklepanje temeljijo na porabi na uro primerka za vsak primerek med delovanjem končne točke, stroških GB-meseca omogočenega shranjevanja in podatkov GB, obdelanih v in izven primerka končne točke, kot je opisano v Cene Amazon SageMaker. V Cost Explorerju lahko filtrirate stroške asinhronega sklepanja tako, da uporabite filter za vrsto uporabe. Ime te vrste uporabe je strukturirano kot REGION-AsyncInf:instanceType
(npr. USE1-AsyncInf:ml.c5.9xlarge
). Upoštevajte, da so vrste uporabe količine GB in obdelanih podatkov GB enake kot končne točke v realnem času, kot je bilo omenjeno prej v tej objavi.
Kot je prikazano na naslednjem posnetku zaslona, filtriranje po vrsti uporabe AsyncInf:
v Raziskovalcu stroškov prikaže razčlenitev stroškov glede na vrste uporabe asinhronih končnih točk.
Če si želite ogledati razčlenitev stroškov in uporabe po urah primerkov, morate preklicati izbiro vseh REGION-Host:VolumeUsage.gp2
vrste uporabe, preden uporabite filter vrste uporabe. Uporabite lahko tudi dodatne filtre. Informacije na ravni vira, kot so ARN končne točke, vrste instanc končne točke, urna stopnja instance in dnevne ure uporabe, je mogoče pridobiti iz AWS CUR. Sledi primer poizvedbe AWS CUR za pridobitev asinhrone uporabe virov gostovanja v zadnjih 3 mesecih:
Naslednji posnetek zaslona prikazuje rezultate, pridobljene pri izvajanju poizvedbe AWS CUR z uporabo Athene.
Rezultat poizvedbe pokaže to končno točko sagemaker-abc-model-5
s primerkom ml.m5.xlarge poroča o 24 urah izvajanja za več zaporednih dni. Cena primerka je 0.23 USD/uro, dnevni strošek za 24-urno delovanje pa 5.52 USD.
Kot smo že omenili, vam lahko rezultati AWS CUR pomagajo prepoznati vzorce končnih točk, ki se izvajajo zaporedne dni, kot tudi končne točke z najvišjimi mesečnimi stroški. To vam lahko tudi pomaga pri odločitvi, ali je mogoče končne točke v neprodukcijskih računih izbrisati, da prihranite stroške.
Optimizirajte stroške za asinhrono sklepanje
Tako kot končne točke v realnem času tudi stroški za asinhrone končne točke temeljijo na uporabi vrste instance. Zato je pomembno prepoznati premalo izkoriščene instance in jim spremeniti velikost glede na zahteve delovne obremenitve. Za spremljanje asinhronih končnih točk SageMaker naredi več meritev kot ApproximateBacklogSize
, HasBacklogWithoutCapacity
, in več je na voljo v CloudWatchu. Te metrike lahko prikažejo zahteve v čakalni vrsti za primerek in se lahko uporabljajo za samodejno skaliranje končne točke. Asinhrono sklepanje SageMaker vključuje tudi meritve na ravni gostitelja. Za informacije o meritvah na ravni gostitelja glejte SageMaker Jobs and Endpoint Metrics. Te metrike lahko pokažejo uporabo virov, ki vam lahko pomagajo pri pravilni velikosti primerka.
SageMaker podpira samodejno skaliranje za asinhrone končne točke. Za razliko od končnih točk, gostujočih v realnem času, končne točke asinhronega sklepanja podpirajo zmanjšanje primerkov na nič z nastavitvijo najmanjše zmogljivosti na nič. Za asinhrone končne točke SageMaker močno priporoča, da ustvarite konfiguracijo pravilnika za skaliranje ciljnega sledenja za razporejeni model (različica). Določiti morate pravilnik o skaliranju, ki je bil prilagojen na ApproximateBacklogPerInstance
meritev po meri in nastavite MinCapacity
vrednost na nič.
Asinhrono sklepanje vam omogoča prihranek pri stroških s samodejnim skaliranjem števila instanc na nič, ko ni zahtev za obdelavo, tako da plačate le, ko vaša končna točka obdeluje zahteve. Zahteve, ki so prejete, ko ni primerkov nič, se postavijo v čakalno vrsto za obdelavo, potem ko se končna točka poveča. Zato lahko za primere uporabe, ki lahko dopuščajo nekajminutno kazen hladnega zagona, poljubno zmanjšate število primerkov končne točke na nič, ko ni odprtih zahtev, in povečate, ko prispejo nove zahteve. Čas hladnega zagona je odvisen od časa, potrebnega za zagon nove končne točke iz nič. Tudi, če je sam model velik, potem je čas lahko daljši. Če se pričakuje, da bo vaše delo trajalo dlje od 1-urnega časa obdelave, boste morda želeli razmisliti o paketnem preoblikovanju SageMaker.
Poleg tega lahko pri izbiri vrste primerka upoštevate tudi čas čakanja vaše zahteve v čakalni vrsti in čas obdelave. Na primer, če vaš primer uporabe lahko dopušča ure čakanja, lahko izberete manjši primerek, da prihranite stroške.
Za dodatne napotke o pravilni velikosti primerka in samodejnem skaliranju za končne točke SageMaker glejte Zagotovite učinkovite računalniške vire na Amazon SageMaker.
Brezstrežniško sklepanje
Brezstrežniško sklepanje vam omogoča uvajanje modelov ML za sklepanje, ne da bi vam bilo treba konfigurirati ali upravljati osnovno infrastrukturo. Na podlagi količine zahtev za sklepanje, ki jih prejme vaš model, brezstrežniško sklepanje SageMaker samodejno določi, prilagodi in izklopi računalniško zmogljivost. Posledično plačate le čas izračuna za izvajanje kode sklepanja in količino obdelanih podatkov, ne pa tudi časa nedejavnosti. Za končne točke brez strežnika oskrba primerka ni potrebna. Zagotoviti morate velikost pomnilnika in največja sočasnost. Ker brezstrežniške končne točke zagotavljajo računalniške vire na zahtevo, lahko vaša končna točka doživi nekaj dodatnih sekund zakasnitve (hladen zagon) za prvi priklic po obdobju nedejavnosti. Plačate za računalniško zmogljivost, uporabljeno za obdelavo zahtev za sklepanje, zaračunano na milisekundo, GB-mesečno omogočeno shranjevanje in količino obdelanih podatkov. Računalniška cena je odvisna od konfiguracije pomnilnika, ki jo izberete.
V Cost Explorerju lahko filtrirate stroške končnih točk brez strežnika tako, da uporabite filter za vrsto uporabe. Ime te vrste uporabe je strukturirano kot REGION-ServerlessInf:Mem-MemorySize
(npr. USE2-ServerlessInf:Mem-4GB
). Upoštevajte, da so vrste uporabe količine GB in obdelanih podatkov GB enake kot končne točke v realnem času.
Razčlenitev stroškov si lahko ogledate tako, da uporabite dodatne filtre, kot so številka računa, vrsta primerka, regija in drugo. Naslednji posnetek zaslona prikazuje razčlenitev stroškov z uporabo filtrov za vrsto uporabe sklepanja brez strežnika.
Optimizirajte stroške za sklepanje brez strežnika
Ko konfigurirate končno točko brez strežnika, lahko določite velikost pomnilnika in največje število sočasnih klicev. Brezstrežniško sklepanje SageMaker samodejno dodeli računalniške vire sorazmerno s pomnilnikom, ki ga izberete. Če izberete večjo velikost pomnilnika, ima vaš vsebnik dostop do več vCPU-jev. Pri sklepanju brez strežnika plačate samo računalniško zmogljivost, uporabljeno za obdelavo zahtev za sklepanje, zaračunano na milisekundo, in količino obdelanih podatkov. Računalniška cena je odvisna od konfiguracije pomnilnika, ki jo izberete. Velikosti pomnilnika, ki jih lahko izberete, so 1024 MB, 2048 MB, 3072 MB, 4096 MB, 5120 MB in 6144 MB. Cena se zvišuje s povečanjem velikosti pomnilnika, kot je razloženo v Cene Amazon SageMaker, zato je pomembno, da izberete pravilno velikost pomnilnika. Na splošno mora biti velikost pomnilnika vsaj tako velika kot velikost vašega modela. Vendar je dobra praksa, da se pri odločanju o velikosti pomnilnika končne točke sklicujete na uporabo pomnilnika poleg same velikosti modela.
Splošne najboljše prakse za optimizacijo stroškov sklepanja SageMaker
Optimizacija stroškov gostovanja ni enkraten dogodek. Gre za nenehen proces spremljanja razporejene infrastrukture, vzorcev uporabe in zmogljivosti ter pozornega spremljanja novih inovativnih rešitev, ki jih izda AWS in bi lahko vplivale na stroške. Upoštevajte naslednje najboljše prakse:
- Izberite ustrezno vrsto primerka – SageMaker podpira več vrst instanc, vsaka z različnimi kombinacijami CPE, GPE, pomnilnika in zmogljivosti za shranjevanje. Glede na zahteve po sredstvih vašega modela izberite vrsto primerka, ki zagotavlja potrebne vire brez prekomerne oskrbe. Za informacije o razpoložljivih vrstah primerkov SageMaker, njihovih specifikacijah in navodilih za izbiro pravega primerka glejte Zagotovite učinkovite računalniške vire na Amazon SageMaker.
- Preizkusite v lokalnem načinu – Za hitrejše odkrivanje napak in odpravljanje napak je priporočljivo preizkusiti kodo in vsebnik (v primeru BYOC) v lokalni način preden zaženete delovno obremenitev sklepanja na oddaljenem primerku SageMaker. Lokalni način je odličen način za testiranje vaših skriptov, preden jih zaženete v okolju gostovanja, ki ga upravlja SageMaker.
- Optimizirajte modele, da bodo bolj zmogljivi – Neoptimizirani modeli lahko privedejo do daljšega časa izvajanja in porabijo več virov. Za izboljšanje zmogljivosti se lahko odločite za uporabo več ali večjih primerkov; vendar to vodi do višjih stroškov. Če optimizirate svoje modele, da bodo bolj zmogljivi, boste morda lahko znižali stroške z uporabo manjšega števila ali manjših primerkov, hkrati pa ohranili enake ali boljše karakteristike delovanja. Lahko uporabiš Amazon SageMaker Neo s sklepanjem SageMaker za samodejno optimizacijo modelov. Za več podrobnosti in vzorcev glejte Optimizirajte delovanje modela z uporabo Neo.
- Uporabite oznake in orodja za upravljanje stroškov – Za ohranitev vidnosti vaših sklepnih delovnih obremenitev je priporočljiva uporaba oznak in orodij za upravljanje stroškov AWS, kot je Proračuni AWSje Konzola za obračunavanje AWSin funkcijo napovedovanja Cost Explorerja. Varčevalne načrte SageMaker lahko raziščete tudi kot model prilagodljivih cen. Za več informacij o teh možnostih glejte Del 1 te serije.
zaključek
V tej objavi smo zagotovili smernice za analizo stroškov in najboljše prakse pri uporabi možnosti sklepanja SageMaker. Ker se strojno učenje uveljavlja kot močno orodje v panogah, morata usposabljanje in izvajanje modelov ML ostati stroškovno učinkovita. SageMaker ponuja širok in poglobljen nabor funkcij za olajšanje vsakega koraka v procesu ML in ponuja možnosti za optimizacijo stroškov brez vpliva na zmogljivost ali agilnost. Obrnite se na svojo ekipo AWS za navodila glede stroškov za vaše delovne obremenitve SageMaker.
O avtorjih
Deepali Rajale je višji strokovnjak za AI/ML pri AWS. Sodeluje s podjetniškimi strankami in zagotavlja tehnične smernice z najboljšimi praksami za uvajanje in vzdrževanje rešitev AI/ML v ekosistemu AWS. Delala je s številnimi organizacijami na različnih primerih uporabe globokega učenja, ki vključujejo NLP in računalniški vid. Strastno se zavzema za opolnomočenje organizacij, da izkoristijo generativno umetno inteligenco za izboljšanje uporabniške izkušnje. V prostem času uživa v filmih, glasbi in literaturi.
Uri Rosenberg je strokovni vodja za AI & ML za Evropo, Bližnji vzhod in Afriko. Uri s sedežem v Izraelu si prizadeva opolnomočiti poslovne stranke glede vseh stvari ML za načrtovanje, gradnjo in delovanje v velikem obsegu. V prostem času uživa v kolesarjenju, pohodništvu in plezanju.
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- PlatoAiStream. Podatkovna inteligenca Web3. Razširjeno znanje. Dostopite tukaj.
- Kovanje prihodnosti z Adryenn Ashley. Dostopite tukaj.
- Kupujte in prodajajte delnice podjetij pred IPO s PREIPO®. Dostopite tukaj.
- vir: https://aws.amazon.com/blogs/machine-learning/part-5-analyze-amazon-sagemaker-spend-and-determine-cost-optimization-opportunities-based-on-usage-part-5-hosting/
- :ima
- : je
- :ne
- :kje
- $GOR
- 000
- 1
- 100
- 2021
- 24
- 30
- 40
- 500
- 7
- 8
- a
- Sposobna
- O meni
- pospeševalniki
- dostop
- Račun
- računi
- Doseči
- doseže
- čez
- Ukrep
- dejavnosti
- dodajte
- Poleg tega
- Dodatne
- Afrika
- po
- AI
- AI / ML
- algoritmi
- vsi
- dodelitev
- omogoča
- že
- Prav tako
- Amazon
- Amazon EC2
- Amazon SageMaker
- Amazon Web Services
- znesek
- an
- Analiza
- analizirati
- in
- Še ena
- kaj
- več
- API
- uporabna
- Uporabi
- Uporaba
- primerno
- približno
- SE
- umetni
- Umetna inteligenca
- Umetna inteligenca (AI)
- AS
- povezan
- At
- pripisujejo
- poskus
- avto
- samodejno
- Na voljo
- izogniti
- AWS
- nazaj
- temeljijo
- BE
- ker
- bilo
- pred
- spodaj
- koristno
- koristi
- Prednosti
- BEST
- najboljše prakse
- Boljše
- Big
- večji
- zaračunavanje
- Block
- Razčlenitev
- prinašajo
- izgradnjo
- vgrajeno
- vendar
- by
- CAN
- Kandidat
- kandidati
- zmogljivosti
- kapaciteta
- primeru
- primeri
- nekatere
- Spremembe
- lastnosti
- naboj
- zaračuna
- Stroški
- izbira
- Izberite
- izbiri
- klasična
- Plezanje
- Grozd
- Koda
- hladno
- kombinacije
- združujejo
- kombinirani
- kako
- prihaja
- Skupno
- pogosto
- dokončanje
- komponenta
- deli
- Izračunajte
- računalnik
- Računalniška vizija
- sočasno
- konfiguracija
- zaporedna
- Razmislite
- premislekov
- Konsolidirati
- Konsolidacije
- porabi
- poraba
- Posoda
- Zabojniki
- Vsebuje
- neprekinjeno
- Core
- popravi
- strošek
- Upravljanje stroškov
- stroškovno učinkovito
- stroški
- bi
- ustvarjajo
- Oblikovanje
- Trenutno
- po meri
- Stranke, ki so
- vsak dan
- datum
- nabor podatkov
- Dnevi
- odloča
- Odločanje
- globoko
- globoko učenje
- privzeto
- Povpraševanje
- odvisno
- razporedi
- razporejeni
- uvajanja
- uvajanje
- razpolaga
- Oblikovanje
- zasnovan
- želeno
- Podatki
- Podrobnosti
- Ugotovite,
- drugačen
- razpravlja
- zaslon
- prikazovalniki
- distribuirati
- do
- Ne
- opravljeno
- dont
- podvojila
- navzdol
- prenesi
- 2
- med
- vsak
- prej
- enostavno
- East
- ekosistem
- učinkovite
- bodisi
- opolnomočiti
- pooblastitvi
- omogočajo
- omogoča
- Končna točka
- energija
- okrepi
- zagotovitev
- Podjetje
- okolje
- okolja
- enako
- Enakovredna
- Napaka
- napake
- vzpostavlja
- oceniti
- Evropa
- oceniti
- Event
- Primer
- presega
- Izmenjava
- Pričakuje
- izkušnje
- poskus
- razložiti
- raziskuje
- raziskovalec
- obširno
- dodatna
- oči
- olajšanje
- FAIL
- ni uspelo
- družina
- hitreje
- Feature
- Nekaj
- manj
- file
- datoteke
- filter
- filtriranje
- Filtri
- prva
- fit
- prilagodljiv
- Osredotočite
- po
- sledi
- za
- je pokazala,
- štiri
- iz
- polno
- funkcije
- Poleg tega
- Gain
- splošno
- ustvarjajo
- generativno
- Generativna AI
- dobili
- dana
- dobro
- GPU
- grafi
- veliko
- več
- skupina
- Navodila
- Ročaji
- Imajo
- ob
- he
- pomoč
- pomagal
- jo
- visoka
- več
- najvišja
- njegov
- Horizontalno
- gostila
- gostovanje
- stroški gostovanja
- Gostitelji
- uro
- URE
- Kako
- Kako
- Vendar
- HTML
- http
- HTTPS
- Stotine
- i
- idealen
- identificirati
- Mirovanje
- if
- vpliv
- udarne
- Pomembno
- izboljšanje
- in
- vključujejo
- vključuje
- Vključno
- Poveča
- označuje
- individualna
- industrij
- Podatki
- Infrastruktura
- inovativne
- vhod
- vpogledi
- primer
- Navodila
- Intelligence
- interakcije
- interno
- v
- Predstavitev
- vključujejo
- Izrael
- IT
- ITS
- sam
- Job
- Delovna mesta
- jpg
- Keen
- vzdrževanje
- Ključne
- jezik
- velika
- večja
- Zadnja
- Latenca
- kosilo
- začela
- vodi
- Interesenti
- naučili
- učenje
- vsaj
- Spoznanja
- Pridobljena spoznanja
- Stopnja
- Vzvod
- življenski krog
- kot
- vrstica
- povezane
- Seznam
- literatura
- obremenitev
- lokalna
- kraj aktivnosti
- Long
- več
- Poglej
- nizka
- nižje
- Spuščanje
- stroj
- strojno učenje
- vzdrževati
- vzdrževanje
- vzdržuje
- Znamka
- IZDELA
- upravljanje
- upravlja
- upravljanje
- Orodja za upravljanje
- upravitelj
- ročno
- Zemljevidi
- označeno
- Stave
- največja
- Maj ..
- pomeni
- Srečati
- Spomin
- omenjeno
- meritev
- Meritve
- Bližnji
- srednji vzhod
- morda
- minimalna
- Minute
- ML
- način
- Model
- modeli
- monitor
- spremljati
- spremljanje
- mesec
- mesečno
- mesecev
- več
- filmi
- Končna točka več modelov
- več
- Glasba
- morajo
- Ime
- Imena
- potrebno
- Nimate
- potrebna
- potrebe
- mreža
- IZPAD OMREŽJA
- Novo
- nlp
- št
- Obvestilo
- Obvestila
- Številka
- predmeti
- pridobi
- pridobljeni
- of
- off
- Ponudbe
- offline
- on
- ONE
- na spletu
- samo
- deluje
- Priložnosti
- optimalna
- optimizacija
- Optimizirajte
- optimizacijo
- Možnost
- možnosti
- or
- Da
- organizacije
- Ostalo
- ven
- Prekinitev
- opisano
- izhod
- Neporavnani
- več
- lastne
- vzporedno
- parameter
- parametri
- del
- mimo
- Podaje
- strastno
- preteklosti
- Vzorec
- vzorci
- Plačajte
- odstotek
- performance
- Obdobje
- periodično
- perspektiva
- kramp
- plinovod
- Načrt
- načrti
- platon
- Platonova podatkovna inteligenca
- PlatoData
- politika
- mogoče
- Prispevek
- Prispevkov
- močan
- praksa
- vaje
- Napovedi
- Cena
- cenitev
- model določanja cen
- Proaktivna
- Postopek
- Predelano
- Procesi
- obravnavati
- procesorji
- proizvodnja
- Spodbujanje
- zagotavljajo
- če
- zagotavlja
- zagotavljanje
- zagotavljanje
- namene
- Dajanje
- poizvedbe
- območje
- Oceniti
- precej
- dosežejo
- reading
- pravo
- v realnem času
- prejeti
- prejetih
- prejme
- Priporočamo
- Priporočila
- priporočeno
- priporoča
- zapis
- evidence
- zmanjša
- okolica
- Izpusti
- ostajajo
- daljinsko
- Odstranjeno
- poročilo
- Poročanje
- Poročila
- zahteva
- zahteva
- obvezna
- Zahteve
- vir
- viri
- Odgovor
- REST
- povzroči
- Rezultati
- vrne
- Pravica
- skala
- Roll
- poti
- Pravilo
- pravila
- Run
- tek
- sagemaker
- Sklep SageMaker
- Enako
- Shrani
- Prihranki
- Lestvica
- luske
- skaliranje
- scenariji
- načrtovano
- praska
- skripte
- sekund
- oddelki
- glej
- izbran
- izbiranje
- višji
- poslan
- ločena
- Serija
- Brez strežnika
- Storitev
- Storitve
- služijo
- nastavite
- nastavitev
- več
- Shadow
- Delite s prijatelji, znanci, družino in partnerji :-)
- je
- shouldnt
- Prikaži
- je pokazala,
- pokazale
- Razstave
- podobno
- Enostavno
- saj
- sam
- Velikosti
- velikosti
- Slice
- majhna
- manj
- So
- rešitve
- nekaj
- vir
- specialist
- specifična
- specifikacije
- preživeti
- po delih
- sveženj
- standardna
- Začetek
- začel
- Korak
- shranjevanje
- shranjeni
- Močno
- strukturirano
- uspeh
- uspešno
- Uspešno
- taka
- dovolj
- primerna
- podpora
- podpora proaktivna
- Podprti
- Podpira
- sistem
- TAG
- Bodite
- meni
- Naloge
- skupina
- tehnični
- Test
- Testiranje
- testi
- kot
- da
- O
- njihove
- Njih
- POTEM
- Tukaj.
- s tem
- zato
- te
- stvari
- ta
- tisti,
- skozi
- pretočnost
- čas
- krat
- do
- orodje
- orodja
- temo
- Skupaj za plačilo
- Prometa
- usposabljanje
- Transform
- transformatorji
- Trends
- Res
- zavoji
- tip
- Vrste
- osnovni
- za razliko od
- nepredvidljivo
- naložili
- Uporaba
- uporaba
- primeru uporabe
- Rabljeni
- uporablja
- uporabo
- navadno
- Uporaben
- POTRDI
- vrednost
- Vrednote
- Variant
- različnih
- Poglej
- vidljivost
- Vizija
- vizualizacija
- Obseg
- prostornine
- Počakaj
- želeli
- način..
- we
- web
- spletne storitve
- Dobro
- Kaj
- kdaj
- ali
- ki
- medtem
- široka
- Širok spekter
- bo
- z
- v
- brez
- delal
- delavec
- delavci
- deluje
- pisanje
- pisni
- Vi
- Vaša rutina za
- zefirnet
- nič