2021. aastal käivitasime AWS-i tugiteenused ennetavad teenused osana AWS-i ettevõtte tugi plaan. Alates selle kasutuselevõtust oleme aidanud sadadel klientidel optimeerida oma töökoormust, seada piirded ning parandada nende masinõppe (ML) töökoormuse kulude ja kasutuse nähtavust.
Selles postituste sarjas jagame õppetunde kulude optimeerimise kohta aastal Amazon SageMaker. sisse Osa 1, näitasime, kuidas kasutama hakata AWS-i kuluuurija kulude optimeerimise võimaluste tuvastamiseks SageMakeris. Selles postituses keskendume SageMakeri järelduskeskkondadele: reaalajas järeldus, partii teisendus, asünkroonne järeldus ja serverita järeldus.
SageMaker pakub mitmeid järeldusvõimalusi mille hulgast saate oma töökoormuse nõuete alusel valida:
- Reaalajas järeldus võrgus, madala latentsusajaga või suure läbilaskevõimega nõuete jaoks
- Partii teisendus võrguühenduseta, ajastatud töötlemiseks ja siis, kui te ei vaja püsivat lõpp-punkti
- Asünkroonne järeldus kui teil on suured kasulikud koormused ja pikk töötlemisaeg ja soovite päringuid järjekorda panna
- Serverita järeldus kui teil on katkendlikud või ettearvamatud liiklusmustrid ja talute külmkäivitust
Järgmistes osades käsitleme iga järeldusvõimalust üksikasjalikumalt.
SageMakeri reaalajas järeldus
Lõpp-punkti loomisel lisab SageMaker Amazoni elastsete plokkide pood (Amazon EBS) salvestusmahtu Amazon Elastic Compute Cloud (Amazon EC2) eksemplar, mis hostib lõpp-punkti. See kehtib kõigi eksemplaritüüpide kohta, millel pole SSD-mäluseadet. Kuna d* eksemplaritüüpidega on kaasas NVMe SSD salvestusruum, ei lisa SageMaker nendele ML-i arvutuseksemplaridele EBS-i salvestusmahtu. Viitama Hostieksemplari salvestusmahud salvestusmahtude suuruse jaoks, mille SageMaker lisab iga eksemplaritüübi jaoks ühe lõpp-punkti ja mitme mudeli lõpp-punkti jaoks.
SageMakeri reaalajas lõpp-punktide maksumus põhineb iga eksemplari jaoks kulutatud eksemplari tunnil lõpp-punkti töötamise ajal, varutud salvestusruumi GB-kuu maksumusel (EBS-i maht) ning sisse- ja väljatöötatud GB-andmetel. lõpp-punkti eksemplari, nagu on kirjeldatud Amazon SageMakeri hinnakujundus. Cost Exploreris saate vaadata reaalajas lõpp-punkti kulusid, rakendades kasutustüübile filtri. Nende kasutustüüpide nimed on üles ehitatud järgmiselt:
REGION-Host:instanceType
(näiteks,USE1-Host:ml.c5.9xlarge
)REGION-Host:VolumeUsage.gp2
(näiteks,USE1-Host:VolumeUsage.gp2
)REGION-Hst:Data-Bytes-Out
(näiteks,USE2-Hst:Data-Bytes-In
)REGION-Hst:Data-Bytes-Out
(näiteks,USW2-Hst:Data-Bytes-Out)
Nagu on näidatud järgmisel ekraanipildil, filtreerimine kasutustüübi järgi Host:
kuvab kontol reaalajas hostimise kasutustüüpide loendi.
Saate valida konkreetsed kasutustüübid või valida Vali kõik Ja vali kehtima SageMakeri reaalajas hostikasutuse kulude jaotuse kuvamiseks. Et näha kulude ja kasutuse jaotust eksemplari tundide järgi, peate tühistama kõik valikud REGION-Host:VolumeUsage.gp2
kasutustüübid enne kasutustüübi filtri rakendamist. Saate rakendada ka täiendavaid filtreid, nagu kontonumber, EC2 eksemplari tüüp, kulujaotuse silt, piirkond ja rohkem. Järgmine ekraanipilt näitab valitud hostimiskasutustüüpide kulu- ja kasutusgraafikuid.
Lisaks saate ühe või mitme hostimisjuhtumiga seotud kulusid uurida, kasutades Eksemplari tüüp filter. Järgmisel ekraanipildil on näidatud eksemplari ml.p2.xlarge hostimise kulu ja kasutusjaotus.
Samamoodi saab sisse- ja väljatöödeldud GB-andmete maksumust kuvada, valides rakendatud filtriks seotud kasutustüübid, nagu on näidatud järgmisel ekraanipildil.
Kui olete filtrite ja rühmitustega soovitud tulemused saavutanud, saate oma tulemused alla laadida, valides Laadige alla CSV-vormingus või salvestage aruanne valides Salvestage aruandluskogusse. Üldisi juhiseid Cost Exploreri kasutamise kohta leiate artiklist AWS Cost Exploreri uus välimus ja tavalised kasutusjuhtumid.
Valikuliselt saate lubada AWS-i kulu- ja kasutusaruanded (AWS CUR), et saada ülevaade oma kontode kulu- ja kasutusandmetest. AWS CUR sisaldab tunnipõhiseid AWS-i tarbimise üksikasju. See on salvestatud Amazoni lihtne salvestusteenus (Amazon S3) maksjakontol, mis koondab andmed kõigi lingitud kontode kohta. Saate käitada päringuid, et analüüsida kasutussuundumusi ja võtta kulude optimeerimiseks asjakohaseid meetmeid. Amazonase Athena on serverita päringuteenus, mida saate kasutada AWS CUR-i andmete analüüsimiseks Amazon S3-s, kasutades standardset SQL-i. Lisateavet ja näidispäringuid leiate aadressilt AWS CUR päringuteek.
Samuti saate sisestada AWS CUR-i andmeid Amazon QuickSight, kus saate selle aruandluse või visualiseerimise eesmärgil mis tahes viisil viilutada. Juhiseid vt Kuidas alla laadida ja visualiseerida AWS-i kulu- ja kasutusaruannet (CUR) Amazon QuickSighti.
AWS CUR-ist saate hankida ressursitaseme teavet, nagu lõpp-punkti ARN, lõpp-punkti eksemplari tüübid, eksemplari tunnitasu, igapäevased kasutustunnid ja palju muud. Täiendava detailsuse taseme saavutamiseks võite päringule lisada ka kulude jaotamise silte. Järgmine näidispäring tagastab antud maksjakonto viimase 3 kuu hostimisressursikasutuse reaalajas:
Järgmine ekraanipilt näitab Athena abil päringu käitamisel saadud tulemusi. Lisateabe saamiseks vaadake Kulude ja kasutusaruannete päringute tegemine Amazon Athena abil.
Päringu tulemus näitab seda lõpp-punkti mme-xgboost-housing
koos ml.x4.xlarge eksemplariga annab aru 24-tunnisest käitusajast mitmel järjestikusel päeval. Eksemplari määr on 0.24 dollarit tunnis ja 24-tunnise töötamise päevakulu on 5.76 dollarit.
AWS-i CUR-i tulemused võivad aidata teil tuvastada igal lingitud kontol järjestikustel päevadel töötavate lõpp-punktide mustreid, aga ka kõige kõrgema igakuise kuluga lõpp-punkte. See võib aidata teil ka otsustada, kas tootmisväliste kontode lõpp-punkte saab kulude kokkuhoiuks kustutada.
Optimeerige reaalajas lõpp-punktide kulusid
Kulude haldamise seisukohast on oluline tuvastada alakasutatud (või liiga suured) eksemplarid ning viia eksemplari suurus ja arv vajaduse korral vastavusse töökoormuse nõuetega. Kirjutatakse tavalised süsteemimõõdikud, nagu CPU/GPU kasutus ja mälukasutus Amazon CloudWatch kõigi hostimisjuhtumite jaoks. Reaalajas lõpp-punktide jaoks teeb SageMaker CloudWatchis kättesaadavaks mitu täiendavat mõõdikut. Mõned tavaliselt jälgitavad mõõdikud hõlmavad kutsumiste arvu ja väljakutsumise 4xx/5xx vigu. Mõõdikute täieliku loendi leiate aadressilt Jälgige Amazon SageMakerit rakendusega Amazon CloudWatch.
Mõõdik CPUUtilization
annab iga üksiku CPU tuuma kasutamise summa. Iga tuumavahemiku protsessori kasutamine on 0–100. Näiteks kui protsessorit on neli, siis CPUUtilization
vahemik on 0–400%. Mõõdik MemoryUtilization
on mälu protsent, mida eksemplari konteinerid kasutavad. See väärtusvahemik on 0–100%. Järgmisel ekraanipildil on näide CloudWatchi mõõdikutest CPUUtilization
ja MemoryUtilization
lõpp-punkti eksemplari ml.m4.10xlarge jaoks, mis on varustatud 40 vCPU-ga ja 160 GiB mäluga.
Need mõõdikute graafikud näitavad CPU maksimaalset kasutust umbes 3,000%, mis võrdub 30 vCPU-ga. See tähendab, et see lõpp-punkt ei kasuta rohkem kui 30 vCPU-d 40 vCPU koguvõimsusest. Samamoodi on mälukasutus alla 6%. Seda teavet kasutades saate katsetada väiksema eksemplariga, mis vastab sellele ressursivajadusele. Lisaks on CPUUtilization
mõõdik näitab klassikalist perioodilist kõrge ja madala CPU nõudluse mustrit, mis muudab selle lõpp-punkti heaks kandidaadiks automaatse skaleerimise jaoks. Võite alustada väiksemast eksemplarist ja kõigepealt skaleerida, kui teie arvutusnõudlus muutub. Teavet vt Skaleerige Amazon SageMakeri mudeleid automaatselt.
SageMaker sobib suurepäraselt uute mudelite testimiseks, kuna saate neid hõlpsalt A/B testimiskeskkonda juurutada tootmisvariandidja maksate ainult selle eest, mida kasutate. Iga tootmisvariant töötab oma arvutuseksemplaril ja teilt võetakse variandi töötamise ajal iga eksemplari kulutatud eksemplari tunni eest tasu.
SageMaker toetab ka varju variandid, millel on samad komponendid kui tootmisvariandil ja mis töötavad oma arvutuseksemplaris. Varivariantidega juurutab SageMaker mudeli automaatselt testkeskkonnas, suunab tootmismudeli saadud järelduspäringute koopia reaalajas testmudelisse ning kogub jõudlusmõõdikuid, nagu latentsus ja läbilaskevõime. See võimaldab teil valideerida oma mudeli esituspinu mis tahes uue kandidaatkomponendi enne selle tootmisse reklaamimist.
Kui olete testid lõpetanud ega kasuta enam lõpp-punkti ega variante ulatuslikult, peaksite selle kulude kokkuhoiuks kustutama. Kuna mudel on salvestatud Amazon S3-sse, saate selle vajaduse korral uuesti luua. Saate need lõpp-punktid automaatselt tuvastada ja teha parandusmeetmeid (nt need kustutada), kasutades Amazon CloudWatchi sündmused ja AWS Lambda funktsioonid. Näiteks võite kasutada Invocations
mõõdik, et saada mudeli lõpp-punktile saadetud päringute koguarv ja seejärel tuvastada, kas lõpp-punktid on olnud jõude viimase arvu tundide jooksul (teatud aja jooksul, nt 24 tundi, pole kutsutud).
Kui teil on mitu vähekasutatud lõpp-punkti eksemplari, kaaluge selliseid hostimisvõimalusi nagu mitme mudeli lõpp-punktid (MME), mitme konteineri lõpp-punktid (MCE) ja jadajärelduskonveierid kasutuse koondamiseks vähemate lõpp-punktide eksemplaridesse.
Reaalajas ja asünkroonse järeldusmudeli juurutamiseks saate optimeerida kulusid ja jõudlust, juurutades mudelid SageMakeris, kasutades AWS Graviton. AWS Graviton on AWS-i loodud protsessorite perekond, mis pakub parimat hinnajõudlust ja on energiasäästlikumad kui nende x86 analoogid. Juhised ML-mudeli juurutamiseks AWS Gravitoni-põhistele eksemplaridele ja hinna toimivuse eeliste üksikasjad leiate Käivitage masinõppe järelduste töökoormusi AWS Gravitoni-põhistel eksemplaridel rakendusega Amazon SageMaker. SageMaker toetab ka AWS Inferentia kiirendid läbi ml.inf2 eksemplaride perekond ML-mudelite juurutamiseks reaalajas ja asünkroonsete järelduste tegemiseks. Saate kasutada neid eksemplare rakenduses SageMaker, et saavutada generatiivse tehisintellekti (AI) mudelite, sealhulgas suurte keelemudelite (LLM) ja nägemistrafode kõrge jõudlus madala hinnaga.
Lisaks saate kasutada Amazon SageMakeri järelduste soovitus et käitada koormusteste ja hinnata nendel eksemplaridel mudeli juurutamise hinna ja tulemuslikkuse eeliseid. Täiendavate juhiste saamiseks jõudeolevate SageMakeri lõpp-punktide automaatse tuvastamise, samuti eksemplari õige suuruse määramise ja SageMakeri lõpp-punktide automaatse skaleerimise kohta vaadake Tagada Amazon SageMakeris tõhusad arvutusressursid.
SageMakeri partii teisendus
Partii järeldus või võrguühenduseta järeldus, on ennustuste genereerimise protsess vaatluste partii kohta. Võrguühenduseta ennustused sobivad suuremate andmekogumite jaoks ja juhtudel, kui saate vastust oodata mitu minutit või tunde.
SageMakeri pakkteisenduse maksumus põhineb iga eksemplari jaoks kulutatud eksemplari tunnil, kui partii teisendustöö töötab, nagu on kirjeldatud Amazon SageMakeri hinnakujundus. Cost Exploreris saate pakettmuundamiskulusid uurida, rakendades kasutustüübile filtri. Selle kasutustüübi nimi on üles ehitatud järgmiselt REGION-Tsform:instanceType
(näiteks, USE1-Tsform:ml.c5.9xlarge
).
Nagu on näidatud järgmisel ekraanipildil, filtreerimine kasutustüübi järgi Tsform:
kuvab SageMakeri partii teisenduse kasutustüüpide loendi kontol.
Saate valida konkreetsed kasutustüübid või valida Vali kõik Ja vali kehtima et kuvada valitud tüüpide jaoks partii teisenduse eksemplari kasutamise kulude jaotust. Nagu varem mainitud, saate rakendada ka täiendavaid filtreid. Järgmine ekraanipilt näitab valitud partii teisenduse kasutustüüpide kulu- ja kasutusgraafikuid.
Optimeerige partii teisendamise kulusid
SageMakeri pakkteisendus võtab teilt tasu ainult nende esinemisjuhtude eest, mida kasutatakse teie tööde töötamise ajal. Kui teie andmed on juba Amazon S3-s, siis Amazon S3-st sisendandmete lugemise ja Amazon S3-sse väljundandmete kirjutamise eest ei pea te maksma. Kõik väljundobjektid proovitakse Amazon S3-sse üles laadida. Kui kõik õnnestub, märgitakse pakkteisendustöö lõpetatuks. Kui üks või mitu objekti ebaõnnestub, märgitakse pakkteisendustöö nurjunuks.
Pakettmuundamistööde eest kehtivad tasud järgmistel juhtudel.
- Töö on edukas
- Ebaõnnestumine tingitud
ClientError
ja mudelkonteiner on SageMaker või SageMakeri hallatav raamistik - Ebaõnnestumine tingitud
AlgorithmError
orClientError
ja mudelkonteiner on teie enda kohandatud konteiner (BYOC)
Järgnevalt on toodud mõned parimad tavad SageMakeri partii teisendustöö optimeerimiseks. Need soovitused võivad lühendada teie pakkteisenduse töö kogutööaega, vähendades seeläbi kulusid.
- komplekt Partiistrateegia et
MultiRecord
jaSplitType
etLine
kui teil on sisendfailist minipartiide tegemiseks vaja partii teisendustööd. Kui see ei saa andmestikku automaatselt minipartiideks jagada, saate selle jagada minipartiideks, paigutades iga partii eraldi sisendfaili, mis asetatakse andmeallika S3 ämbrisse. - Veenduge, et partii suurus mahuks mällu. SageMaker tegeleb sellega tavaliselt automaatselt; partiide käsitsi jagamisel tuleb seda aga mälu järgi häälestada.
- Partitsioneerib sisendis olevad S3 objektid võtmega ja kaardistab need objektid eksemplaridesse. Kui teil on mitu faili, võidakse töödelda üks eksemplar
input1.csv
ja teine eksemplar võib töödeldainput2.csv
. Kui teil on üks sisendfail, kuid lähtestate mitu arvutuseksemplari, töötleb sisendfaili ainult üks eksemplar ja ülejäänud eksemplarid on jõude. Veenduge, et failide arv oleks võrdne eksemplaride arvuga või sellest suurem. - Kui teil on palju väikeseid faile, võib Amazon S3 interaktsiooniaja lühendamiseks olla kasulik kombineerida mitu faili väikeseks arvuks suuremateks failideks.
- Kui kasutate LooTransformJob API, saate vähendada pakkteisendustööde lõpuleviimiseks kuluvat aega, kasutades optimaalseid väärtusi sellistele parameetritele nagu MaxPayloadInMB, Max ConcurrentTransformsvõi Partiistrateegia:
MaxConcurrentTransforms
näitab maksimaalset paralleelsete päringute arvu, mida saab teisendustöö igale eksemplarile saata. Ideaalne väärtusMaxConcurrentTransforms
võrdub vCPU tuumade arvuga eksemplaris.MaxPayloadInMB
on kasuliku koormuse maksimaalne lubatud suurus MB-des. Väärtus sisseMaxPayloadInMB
peab olema suurem või võrdne ühe kirje suurusega. Kirje suuruse hindamiseks MB-des jagage andmestiku suurus kirjete arvuga. Tagamaks, et kirjed mahuksid maksimaalsesse kandevõimesse, soovitame kasutada veidi suuremat väärtust. Vaikeväärtus on 6 MB.MaxPayloadInMB
ei tohi olla suurem kui 100 MB. Kui määrate valikuliseMaxConcurrentTransforms
parameeter, siis (MaxConcurrentTransforms
*MaxPayloadInMB
) ei tohi samuti ületada 100 MB.- Juhtudel, kui kasulik koormus võib olla meelevaldselt suur ja seda edastatakse HTTP tükeldatud kodeeringuga, määrake MaxPayloadInMB väärtuseks 0. See funktsioon töötab ainult toetatud algoritmide korral. Praegu ei toeta SageMakeri sisseehitatud algoritmid HTTP tükeldatud kodeeringut.
- Partii järeldamisülesanded on tavaliselt head kandidaadid horisontaalseks skaleerimiseks. Iga klastri töötaja saab töötada erineva andmehulgaga, ilma et oleks vaja teiste töötajatega teavet vahetada. AWS pakub mitut salvestus- ja arvutusvalikut, mis võimaldavad horisontaalset skaleerimist. Kui ühest eksemplarist ei piisa teie jõudlusnõuete täitmiseks, kaaluge töökoormuse jaotamiseks paralleelselt mitme eksemplari kasutamist. Pakettmuundamistööde kavandamisel olulisi kaalutlusi leiate artiklist Partii järeldus mastaabis Amazon SageMakeriga.
- Jälgige CloudWatchi abil pidevalt oma SageMakeri pakkteisendustööde jõudlusmõõdikuid. Otsige kitsaskohti, nagu kõrge protsessori või GPU kasutus, mälukasutus või võrgu läbilaskevõime, et teha kindlaks, kas teil on vaja eksemplari suurust või konfiguratsioone kohandada.
- SageMaker kasutab Amazon S3 mitmeosalise üleslaadimise API pakkteisendustöö tulemuste üleslaadimiseks Amazon S3-sse. Kui ilmneb tõrge, eemaldatakse üleslaaditud tulemused Amazon S3-st. Mõnel juhul, näiteks võrgukatkestuse korral, võib Amazon S3-sse jääda mittetäielik mitmeosaline üleslaadimine. Salvestustasude vältimiseks soovitame lisada S3 ämbripoliitika S3 ämbri elutsükli reeglitele. See reegel kustutab mittetäielikud mitmeosalised üleslaadimised, mis võivad olla salvestatud S3 ämbrisse. Lisateabe saamiseks vt Salvestusruumi elutsükli haldamine.
SageMakeri asünkroonne järeldus
Asünkroonne järeldus on suurepärane valik kulutundlike töökoormuste jaoks, millel on suur kandevõime ja sarivõtteliiklus. Taotluste töötlemine võib kesta kuni 1 tund ja nende kasulik koormus on kuni 1 GB, seega sobib see paremini töökoormustele, mille latentsusnõuded on leebemad.
Asünkroonsete lõpp-punktide kutsumine erineb reaalaja lõpp-punktidest. Selle asemel, et edastada päringu kasulik koormus päringuga sünkroonselt, laadite kasuliku koormuse Amazon S3-sse ja edastate päringu osana S3 URI. Sisemiselt hoiab SageMaker nende päringutega järjekorda ja töötleb neid. Lõpp-punkti loomise ajal saate valikuliselt määrata Amazoni lihtne teavitusteenus (Amazon SNS) teema õnnestumiste või veateadete saamiseks. Kui saate teate, et teie järeldustaotlus on edukalt töödeldud, pääsete tulemusele juurde Amazon S3 väljundi asukohas.
Asünkroonse järelduse maksumus põhineb eksemplari tunnil, mis kulub iga eksemplari jaoks lõpp-punkti töötamise ajal, eraldatud salvestusruumi GB-kuu maksumusel ja lõpp-punkti eksemplaris töödeldud GB andmetel, nagu on kirjeldatud Amazon SageMakeri hinnakujundus. Cost Exploreris saate filtreerida asünkroonseid järelduskulusid, rakendades kasutustüübile filtri. Selle kasutustüübi nimi on üles ehitatud järgmiselt REGION-AsyncInf:instanceType
(näiteks, USE1-AsyncInf:ml.c5.9xlarge
). Pange tähele, et GB mahu ja GB andmete töödeldud kasutustüübid on samad, mis reaalajas lõpp-punktid, nagu selles postituses varem mainitud.
Nagu on näidatud järgmisel ekraanipildil, filtreerimine kasutustüübi järgi AsyncInf:
Cost Exploreris kuvab kulude jaotuse asünkroonsete lõpp-punktide kasutustüüpide järgi.
Et näha kulude ja kasutuse jaotust eksemplari tundide järgi, peate tühistama kõik valikud REGION-Host:VolumeUsage.gp2
kasutustüübid enne kasutustüübi filtri rakendamist. Saate rakendada ka täiendavaid filtreid. Ressursitaseme teavet, nagu lõpp-punkti ARN, lõpp-punkti eksemplari tüübid, eksemplari tunnitasu ja igapäevased kasutustunnid, saab hankida AWS CUR-ist. Järgmine on näide AWS CUR-i päringust viimase 3 kuu asünkroonse hostimisressursi kasutuse saamiseks.
Järgmine ekraanipilt näitab tulemusi, mis on saadud AWS CUR päringu käitamisel Athena abil.
Päringu tulemus näitab seda lõpp-punkti sagemaker-abc-model-5
koos ml.m5.xlarge eksemplariga teatab 24-tunnisest käitusajast mitmel järjestikusel päeval. Eksemplari määr on 0.23 dollarit tunnis ja 24-tunnise töötamise päevakulu on 5.52 dollarit.
Nagu varem mainitud, võivad AWS-i CUR-i tulemused aidata teil tuvastada järjestikustel päevadel töötavate lõpp-punktide mustreid, aga ka kõige kõrgema igakuise kuluga lõpp-punkte. See võib aidata teil ka otsustada, kas tootmisväliste kontode lõpp-punkte saab kulude kokkuhoiuks kustutada.
Asünkroonse järelduse kulude optimeerimine
Nii nagu reaalajas lõpp-punktide puhul, põhineb ka asünkroonsete lõpp-punktide maksumus eksemplari tüübi kasutusel. Seetõttu on oluline tuvastada vähekasutatud eksemplarid ja muuta nende suurust töökoormuse nõuete alusel. Asünkroonsete lõpp-punktide jälgimiseks teeb SageMaker mitu mõõdikut nagu ApproximateBacklogSize
, HasBacklogWithoutCapacity
ja palju muud on saadaval CloudWatchis. Need mõõdikud võivad näidata taotlusi eksemplari järjekorras ja neid saab kasutada lõpp-punkti automaatseks skaleerimiseks. SageMakeri asünkroonne järeldus hõlmab ka hostitaseme mõõdikuid. Lisateavet hostitaseme mõõdikute kohta vt SageMakeri töökohad ja lõpp-punkti mõõdikud. Need mõõdikud võivad näidata ressursside kasutust, mis aitab teil eksemplari õiges suuruses määrata.
SageMaker toetab automaatne skaleerimine asünkroonsete lõpp-punktide jaoks. Erinevalt reaalajas hostitud lõpp-punktidest toetavad asünkroonse järelduse lõpp-punktid eksemplaride skaleerimist nullini, määrates minimaalse võimsuse nulliks. Asünkroonsete lõpp-punktide puhul soovitab SageMaker tungivalt luua juurutatud mudeli (variandi) sihtmärgi jälgimise skaleerimiseks poliitika konfiguratsiooni. Peate määratlema skaleerimispoliitika, mis skaleeriti ApproximateBacklogPerInstance
kohandatud mõõdik ja määrake MinCapacity
väärtus nulli.
Asünkroonne järeldus võimaldab teil säästa kulusid, skaleerides eksemplaride arvu automaatselt nullini, kui töödeldavaid taotlusi pole, nii et maksate ainult siis, kui teie lõpp-punkt töötleb taotlusi. Päringud, mis saadakse siis, kui eksemplare on null, pannakse pärast lõpp-punkti skaleerimist töötlemise järjekorda. Seetõttu saate mõne minuti pikkust külmkäivituse trahvi taluvate kasutusjuhtumite puhul soovi korral lõpp-punkti esinemisjuhtumite arvu nullini skaleerida, kui täitmata päringuid pole, ja uute taotluste saabudes uuesti skaleerida. Külmkäivitusaeg sõltub ajast, mis kulub uue lõpp-punkti nullist käivitamiseks. Samuti, kui mudel ise on suur, võib aeg olla pikem. Kui teie töö võtab eeldatavalt kauem aega kui 1-tunnine töötlemisaeg, võiksite kaaluda SageMakeri partii teisendamist.
Lisaks võite eksemplari tüübi valimiseks arvestada ka oma päringu järjekorras seismise aja ja töötlemisajaga. Näiteks kui teie kasutusjuht talub tundidepikkust ooteaega, saate kulude kokkuhoiuks valida väiksema eksemplari.
Täiendavate juhiste saamiseks eksemplari õige suuruse ja SageMakeri lõpp-punktide automaatse skaleerimise kohta vaadake Tagada Amazon SageMakeris tõhusad arvutusressursid.
Serverita järeldus
Serverita järeldus võimaldab juurutada ML-mudeleid järelduste tegemiseks, ilma et peaksite konfigureerima või haldama aluseks olevat infrastruktuuri. Mudeli vastuvõetud järelduspäringute mahu põhjal loob SageMaker serverita järeldus automaatselt, skaleerib ja lülitab arvutusvõimsuse välja. Selle tulemusena maksate ainult oma järelduskoodi käitamiseks kulunud arvutusaja ja töödeldud andmete hulga, mitte jõudeaja eest. Serverita lõpp-punktide puhul pole eksemplari ettevalmistamine vajalik. Peate esitama mälu suurus ja maksimaalne samaaegsus. Kuna serverita lõpp-punktid arvutavad ressursse nõudmisel, võib teie lõpp-punktil pärast jõudeolekuperioodi esimesel kutsumisel tekkida mõni lisasekundiline latentsusaeg (külmkäivitus). Maksate järeldustaotluste töötlemiseks kasutatud arvutusvõimsuse eest, mille arveldamine toimub millisekundi, GB-kuu eraldatud salvestusruumi ja töödeldavate andmete hulga eest. Arvutustasu sõltub teie valitud mälukonfiguratsioonist.
Cost Exploreris saate filtreerida serverita lõpp-punktide kulusid, rakendades kasutustüübile filtri. Selle kasutustüübi nimi on üles ehitatud järgmiselt REGION-ServerlessInf:Mem-MemorySize
(näiteks, USE2-ServerlessInf:Mem-4GB
). Pange tähele, et GB maht ja GB töödeldud andmete kasutustüübid on samad, mis reaalajas lõpp-punktid.
Kulude jaotust saate vaadata, kui rakendate täiendavaid filtreid, nagu kontonumber, eksemplari tüüp, piirkond ja palju muud. Järgmine ekraanipilt näitab kulude jaotust, rakendades filtreid serverita järelduste kasutustüübi jaoks.
Optimeerige kulusid serverita järelduste tegemiseks
Serverita lõpp-punkti konfigureerimisel saate määrata mälumahu ja samaaegsete kutsete maksimaalse arvu. SageMakeri serverita järeldus määrab automaatselt arvutusressursid proportsionaalselt teie valitud mäluga. Kui valite suurema mälumahu, on teie konteineril juurdepääs rohkematele vCPU-dele. Serverita järeldamise korral maksate ainult järelduspäringute töötlemiseks kasutatud arvutusvõimsuse eest, mille arveldamine toimub millisekundite kaupa, ja töödeldavate andmete hulga eest. Arvutustasu sõltub teie valitud mälukonfiguratsioonist. Mälu suurused, mida saate valida, on 1024 MB, 2048 MB, 3072 MB, 4096 MB, 5120 MB ja 6144 MB. Hind tõuseb koos mälumahu suurenemisega, nagu on selgitatud Amazon SageMakeri hinnakujundus, seega on oluline valida õige mälumaht. Üldreeglina peaks mälumaht olema vähemalt sama suur kui teie mudeli suurus. Siiski on lõpp-punkti mälu suuruse otsustamisel lisaks mudeli suurusele hea tava viidata ka mälukasutusele.
Üldised parimad tavad SageMakeri järelduskulude optimeerimiseks
Majutuskulude optimeerimine ei ole ühekordne sündmus. See on pidev protsess, mille käigus jälgitakse juurutatud infrastruktuuri, kasutusmustreid ja jõudlust ning jälgitakse tähelepanelikult ka AWS-i välja antud uuenduslikke lahendusi, mis võivad kulusid mõjutada. Mõelge järgmistele parimatele tavadele.
- Valige sobiv eksemplari tüüp - SageMaker toetab mitut eksemplari tüüpi, millest igaühel on erinevad CPU, GPU, mälu ja salvestusmahtude kombinatsioonid. Valige oma mudeli ressursinõuete põhjal eksemplari tüüp, mis pakub vajalikke ressursse ilma ülevarustamata. Teavet saadaolevate SageMakeri eksemplaritüüpide, nende spetsifikatsioonide ja õige eksemplari valimise juhiste saamiseks vaadake Tagada Amazon SageMakeris tõhusad arvutusressursid.
- Testige kohaliku režiimi abil – Rikete tuvastamiseks ja kiiremaks silumiseks on soovitatav testida koodi ja konteinerit (BYOC puhul) kohalik režiim enne järelduste töökoormuse käivitamist SageMakeri kaugeksemplaris. Kohalik režiim on suurepärane viis skriptide testimiseks enne nende käivitamist SageMakeri hallatud hostimiskeskkonnas.
- Optimeerige mudeleid, et need oleksid tõhusamad – Optimeerimata mudelid võivad pikendada käitusaega ja kasutada rohkem ressursse. Saate jõudluse parandamiseks kasutada rohkem või suuremaid eksemplare; see aga toob kaasa suuremad kulud. Kui optimeerite oma mudeleid suurema jõudlusega, võite kulusid vähendada, kasutades vähem või väiksemaid eksemplare, säilitades samal ajal samad või paremad jõudlusnäitajad. Sa võid kasutada Amazon SageMaker Neo SageMakeri järeldusega mudelite automaatseks optimeerimiseks. Lisateabe ja näidiste saamiseks vt Optimeerige mudeli jõudlust Neo abil.
- Kasutage silte ja kulude haldamise tööriistu – Järelduste töökoormuse nähtavuse säilitamiseks on soovitatav kasutada silte ja AWS-i kuluhaldustööriistu, nagu näiteks AWS-i eelarved, AWS-i arvelduskonsoolja Cost Exploreri prognoosimisfunktsiooni. Paindliku hinnakujundusmudelina saate tutvuda ka SageMakeri säästuplaanidega. Nende valikute kohta lisateabe saamiseks vaadake Osa 1 sellest sarjast.
Järeldus
Selles postituses andsime juhiseid kuluanalüüsi ja parimate tavade kohta SageMakeri järeldusvõimaluste kasutamisel. Kuna masinõpe on kõigis tööstusharudes tõhus tööriist, peab ML-mudelite väljaõpe ja käitamine jääma kulutõhusaks. SageMaker pakub laia ja sügavat funktsioonide komplekti ML-i konveieri iga etapi hõlbustamiseks ning pakub kulude optimeerimise võimalusi, ilma et see mõjutaks jõudlust või paindlikkust. Pöörduge oma AWS-i meeskonna poole, et saada juhiseid oma SageMakeri töökoormuse kohta.
Autoritest
Deepali Rajale on AWSi AI/ML vanemspetsialist. Ta töötab äriklientidega, pakkudes tehnilisi juhiseid parimate tavade kohta AI/ML-lahenduste juurutamiseks ja hooldamiseks AWS-i ökosüsteemis. Ta on töötanud paljude organisatsioonidega erinevate süvaõppe kasutusjuhtumite kallal, mis hõlmavad NLP-d ja arvutinägemist. Ta on kirglik anda organisatsioonidele võimalus kasutada generatiivset tehisintellekti, et parandada nende kasutuskogemust. Vabal ajal naudib ta filme, muusikat ja kirjandust.
Uri Rosenberg on AI ja ML spetsialiseerunud tehniline juht Euroopas, Lähis-Idas ja Aafrikas. Iisraelist väljas asuv Uri töötab selle nimel, et anda ettevõtetele klientidele võimalus ML-iga projekteerida, ehitada ja mastaapselt tegutseda. Vabal ajal meeldib talle jalgrattaga sõita, matkata ja rock and roll ronida.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoAiStream. Web3 andmete luure. Täiustatud teadmised. Juurdepääs siia.
- Tuleviku rahapaja Adryenn Ashley. Juurdepääs siia.
- Ostke ja müüge IPO-eelsete ettevõtete aktsiaid koos PREIPO®-ga. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/machine-learning/part-5-analyze-amazon-sagemaker-spend-and-determine-cost-optimization-opportunities-based-on-usage-part-5-hosting/
- :on
- :on
- :mitte
- : kus
- $ UP
- 000
- 1
- 100
- 2021
- 24
- 30
- 40
- 500
- 7
- 8
- a
- Võimalik
- MEIST
- kiirendid
- juurdepääs
- konto
- Kontod
- Saavutada
- saavutada
- üle
- tegevus
- meetmete
- lisama
- lisamine
- Täiendavad lisad
- Aafrika
- pärast
- AI
- AI / ML
- algoritme
- Materjal: BPA ja flataatide vaba plastik
- eraldamine
- võimaldab
- juba
- Ka
- Amazon
- Amazon EC2
- Amazon SageMaker
- Amazon Web Services
- summa
- an
- analüüs
- analüüsima
- ja
- Teine
- mistahes
- enam
- API
- rakendatud
- kehtima
- Rakendades
- asjakohane
- umbes
- OLEME
- kunstlik
- tehisintellekti
- Tehisintellekt (AI)
- AS
- seotud
- At
- kinnitage
- üritasin
- auto
- automaatselt
- saadaval
- vältima
- AWS
- tagasi
- põhineb
- BE
- sest
- olnud
- enne
- alla
- kasulik
- kasu
- Kasu
- BEST
- parimaid tavasid
- Parem
- Suur
- suurem
- arvete
- Blokeerima
- Lagunema
- tooma
- ehitama
- sisseehitatud
- kuid
- by
- CAN
- kandidaat
- kandidaadid
- võimsused
- Võimsus
- juhul
- juhtudel
- kindel
- Vaidluste lahendamine
- omadused
- tasu
- laetud
- koormuste
- valik
- Vali
- valimine
- klassika
- Ronimine
- Cluster
- kood
- külm
- kombinatsioonid
- ühendama
- kombineeritud
- Tulema
- tuleb
- ühine
- tavaliselt
- täitma
- komponent
- komponendid
- Arvutama
- arvuti
- Arvuti visioon
- konkurent
- konfiguratsioon
- järjestikune
- Arvestama
- kaalutlused
- Konsolideerida
- Konsolideerub
- tarbitud
- tarbimine
- Konteiner
- Konteinerid
- sisaldab
- pidev
- tuum
- parandada
- Maksma
- Kulude juhtimine
- kuluefektiivne
- kulud
- võiks
- looma
- loomine
- Praegu
- tava
- Kliendid
- iga päev
- andmed
- andmekogumid
- Päeva
- otsustama
- Otsustamine
- sügav
- sügav õpe
- vaikimisi
- Nõudlus
- sõltub
- juurutada
- lähetatud
- juurutamine
- kasutuselevõtu
- juurutab
- Disain
- kavandatud
- soovitud
- detail
- detailid
- Määrama
- erinev
- arutama
- Ekraan
- Näidikute
- levitada
- do
- Ei tee
- tehtud
- Ära
- kahekordistada
- alla
- lae alla
- kaks
- ajal
- iga
- Ajalugu
- kergesti
- Ida
- ökosüsteemi
- tõhus
- kumbki
- volitama
- volitamine
- võimaldama
- võimaldab
- Lõpp-punkt
- energia
- suurendama
- tagama
- ettevõte
- keskkond
- keskkondades
- võrdne
- Samaväärne
- viga
- vead
- kehtestab
- hinnata
- Euroopa
- hindama
- sündmus
- näide
- ületama
- vahetamine
- oodatav
- kogemus
- eksperiment
- selgitas
- uurima
- uurija
- laialdaselt
- lisatasu
- silm
- hõlbustades
- FAIL
- Ebaõnnestunud
- pere
- kiiremini
- tunnusjoon
- vähe
- vähem
- fail
- Faile
- filtreerida
- filtreerimine
- Filtrid
- esimene
- sobima
- paindlik
- Keskenduma
- Järel
- järgneb
- eest
- avastatud
- neli
- Alates
- täis
- funktsioonid
- Pealegi
- kasu
- Üldine
- teeniva
- generatiivne
- Generatiivne AI
- saama
- antud
- hea
- GPU
- graafikud
- suur
- suurem
- Grupp
- juhised
- Varred
- Olema
- võttes
- he
- aitama
- aitas
- siin
- Suur
- rohkem
- kõrgeim
- tema
- Horisontaalne
- võõrustas
- Hosting
- hostimiskulud
- hosts
- tund
- Lahtiolekuajad
- Kuidas
- Kuidas
- aga
- HTML
- http
- HTTPS
- sajad
- i
- ideaalne
- identifitseerima
- Idle
- if
- mõju
- mõjutavad
- oluline
- parandama
- in
- sisaldama
- hõlmab
- Kaasa arvatud
- Tõstab
- näitab
- eraldi
- tööstusharudes
- info
- Infrastruktuur
- uuenduslik
- sisend
- teadmisi
- Näiteks
- juhised
- Intelligentsus
- suhtlemist
- sisemiselt
- sisse
- Sissejuhatus
- kaasates
- Iisrael
- IT
- ITS
- ise
- töö
- Tööturg
- jpg
- Keen
- pidamine
- Võti
- keel
- suur
- suurem
- viimane
- Hilinemine
- algatama
- käivitatud
- viima
- Leads
- õppinud
- õppimine
- kõige vähem
- Lessons
- Õppetunnid
- Tase
- Finantsvõimendus
- eluring
- nagu
- joon
- seotud
- nimekiri
- kirjandus
- koormus
- kohalik
- liising
- Pikk
- enam
- Vaata
- Madal
- vähendada
- Langetamine
- masin
- masinõpe
- säilitada
- säilitamine
- jääb
- tegema
- TEEB
- juhtima
- juhitud
- juhtimine
- juhtimisvahendite
- juht
- käsitsi
- kaardid
- märgitud
- Vastama
- maksimaalne
- mai..
- vahendid
- Vastama
- Mälu
- mainitud
- meetriline
- Meetrika
- Kesk-
- Lähis-Ida
- võib
- miinimum
- protokoll
- ML
- viis
- mudel
- mudelid
- Jälgida
- jälgitakse
- järelevalve
- kuu
- igakuine
- kuu
- rohkem
- Filmid
- Mitme mudeli lõpp-punkt
- mitmekordne
- muusika
- peab
- nimi
- nimed
- vajalik
- Vajadus
- vaja
- vajadustele
- võrk
- VÕRGU KATKESTUS
- Uus
- nlp
- ei
- teade
- teated
- number
- esemeid
- saama
- saadud
- of
- maha
- Pakkumised
- offline
- on
- ONE
- Internetis
- ainult
- töötama
- Võimalused
- optimaalselt
- optimeerimine
- optimeerima
- optimeerimine
- valik
- Valikud
- or
- et
- organisatsioonid
- Muu
- välja
- katkestada
- välja toodud
- väljund
- tasumata
- üle
- enda
- Parallel
- parameeter
- parameetrid
- osa
- sooritama
- Mööduv
- kirglik
- minevik
- Muster
- mustrid
- Maksma
- protsent
- jõudlus
- periood
- perioodiline
- perspektiiv
- valima
- torujuhe
- kava
- plaanid
- Platon
- Platoni andmete intelligentsus
- PlatoData
- poliitika
- võimalik
- post
- Postitusi
- võimas
- tava
- tavad
- Ennustused
- hind
- hinnapoliitika
- hinnamudel
- Proaktiivne
- protsess
- Töödeldud
- Protsessid
- töötlemine
- töötlejad
- Produktsioon
- Edendamine
- anda
- tingimusel
- annab
- pakkudes
- säte
- eesmärkidel
- Putting
- päringud
- valik
- määr
- pigem
- jõudma
- Lugemine
- reaalne
- reaalajas
- saama
- saadud
- saab
- soovitama
- soovitused
- soovitatav
- soovitab
- rekord
- andmed
- vähendama
- piirkond
- Pressiteated
- jääma
- kauge
- Eemaldatud
- aru
- Aruandlus
- Aruanded
- taotleda
- Taotlusi
- nõutav
- Nõuded
- ressurss
- Vahendid
- vastus
- REST
- kaasa
- Tulemused
- Tulu
- õige
- Rokk
- Rull
- liinidel
- Eeskiri
- eeskirjade
- jooks
- jooksmine
- salveitegija
- SageMakeri järeldus
- sama
- Säästa
- Hoiused
- Skaala
- Kaalud
- ketendamine
- stsenaariumid
- plaanitud
- kriimustada
- skripte
- sekundit
- lõigud
- vaata
- väljavalitud
- valides
- vanem
- Saadetud
- eri
- Seeria
- Serverita
- teenus
- Teenused
- teenindavad
- komplekt
- kehtestamine
- mitu
- vari
- Jaga
- ta
- peaks
- näitama
- näitas
- näidatud
- Näitused
- Samamoodi
- lihtne
- alates
- ühekordne
- SUURUS
- suurused
- Viil
- väike
- väiksem
- So
- Lahendused
- mõned
- allikas
- spetsialist
- konkreetse
- spetsifikatsioonid
- kulutama
- jagada
- Kestab
- standard
- algus
- alustatud
- Samm
- ladustamine
- ladustatud
- tugevalt
- struktureeritud
- edu
- edukas
- Edukalt
- selline
- piisav
- sobiv
- toetama
- toetada ennetavat
- Toetatud
- Toetab
- süsteem
- TAG
- Võtma
- võtab
- ülesanded
- meeskond
- Tehniline
- test
- Testimine
- testid
- kui
- et
- .
- oma
- Neile
- SIIS
- Seal.
- sellega
- seetõttu
- Need
- asjad
- see
- need
- Läbi
- läbilaskevõime
- aeg
- korda
- et
- tööriist
- töövahendid
- teema
- Summa
- liiklus
- koolitus
- Muutma
- trafod
- Trends
- tõsi
- lülitub
- tüüp
- liigid
- aluseks
- erinevalt
- prognoosimatu
- laetud
- Kasutus
- kasutama
- kasutage juhtumit
- Kasutatud
- kasutusalad
- kasutamine
- tavaliselt
- kasutades
- KINNITAGE
- väärtus
- Väärtused
- variant
- eri
- vaade
- nähtavus
- nägemus
- visualiseerimine
- maht
- mahud
- ootama
- tahan
- Tee..
- we
- web
- veebiteenused
- Hästi
- M
- millal
- kas
- mis
- kuigi
- lai
- Lai valik
- will
- koos
- jooksul
- ilma
- töötas
- töötaja
- töötajate
- töötab
- kirjutamine
- kirjalik
- sa
- Sinu
- sephyrnet
- null