Izgradnja platforme operacij strojnega učenja (MLOps) v hitro razvijajočem se okolju umetne inteligence (AI) in strojnega učenja (ML) za organizacije je bistvenega pomena za brezhibno premostitev vrzeli med eksperimentiranjem s podatkovno znanostjo in uvajanjem ob izpolnjevanju zahtev v zvezi z zmogljivostjo modela, varnost in skladnost.
Da bi izpolnili regulativne zahteve in zahteve glede skladnosti, so ključne zahteve pri načrtovanju takšne platforme:
- Odmik naslovnih podatkov
- Spremljajte delovanje modela
- Omogočite samodejno prekvalificiranje modela
- Zagotovite postopek za odobritev modela
- Modele hranite v varnem okolju
V tej objavi prikazujemo, kako ustvariti ogrodje MLOps za reševanje teh potreb ob uporabi kombinacije storitev AWS in naborov orodij tretjih oseb. Rešitev vključuje nastavitev v več okoljih z avtomatiziranim ponovnim usposabljanjem modela, paketnim sklepanjem in spremljanjem z Amazonski model monitorja SageMaker, različica modela z Model registra SageMakerin cevovod CI/CD za olajšanje promocije kode ML in cevovodov v različnih okoljih z uporabo Amazon SageMaker, Amazon EventBridge, Amazon Simple notification Service (Amazon S3), HashiCorp Terraform, GitHubin Jenkins CI/CD. Izdelamo model za napovedovanje resnosti (benigne ali maligne) mamografske masne lezije, usposobljene z XGBoost algoritem z uporabo javno dostopnih UCI mamografija Mass nabor podatkov in ga razmestite z uporabo ogrodja MLOps. Celotna navodila s kodo so na voljo v GitHub repozitorij.
Pregled rešitev
Naslednji diagram arhitekture prikazuje pregled ogrodja MLOps z naslednjimi ključnimi komponentami:
- Strategija za več računov – Dve različni okolji (dev in prod) sta nastavljeni v dveh različnih računih AWS v skladu z najboljšimi praksami AWS Well-Architected, tretji račun pa je nastavljen v osrednjem registru modela:
- Dev okolje – Kje an Domena Amazon SageMaker Studio je nastavljen tako, da omogoča razvoj modela, usposabljanje modela in testiranje cevovodov ML (usposabljanje in sklepanje), preden je model pripravljen za napredovanje v višja okolja.
- Proizvajalsko okolje – Kjer so cevovodi ML iz razvijalca napredovani kot prvi korak ter načrtovani in spremljani skozi čas.
- Centralni register modelov - Register modelov Amazon SageMaker je nastavljen v ločenem računu AWS za sledenje različicam modelov, ustvarjenih v okoljih razvijalcev in izdelkov.
- CI/CD in nadzor vira – Uvajanje cevovodov ML v okoljih poteka prek CI/CD, nastavljenega z Jenkinsom, skupaj z nadzorom različic, ki se upravlja prek GitHub. Spremembe kode, združene z ustrezno vejo git okolja, sprožijo potek dela CI/CD za izvedbo ustreznih sprememb v danem ciljnem okolju.
- Šaržne napovedi s spremljanjem modela – Sklepni cevovod, zgrajen s Amazonski cevovodi SageMaker teče po urniku za ustvarjanje napovedi skupaj s spremljanjem modela z uporabo SageMaker Model Monitor za zaznavanje premikanja podatkov.
- Avtomatski mehanizem prekvalifikacije – Učni cevovod, zgrajen s SageMaker Pipelines, se sproži vsakič, ko je v cevovodu sklepanja zaznan premik podatkov. Po usposabljanju se model registrira v centralnem registru modelov, da ga odobri odobritelj modela. Ko je odobrena, se posodobljena različica modela uporabi za ustvarjanje napovedi prek cevovoda sklepanja.
- Infrastruktura kot koda – Infrastruktura kot koda (IaC), ustvarjena z uporabo HashiCorp Terraform, podpira razporejanje inferenčnega cevovoda z EventBridge, proženje vlakovnega cevovoda na podlagi Pravilo EventBridge in pošiljanje obvestil z uporabo Amazon Simple notification Service (Amazon SNS) teme.
Potek dela MLOps vključuje naslednje korake:
- Dostopite do domene SageMaker Studio v razvojnem računu, klonirajte repozitorij GitHub, pojdite skozi postopek razvoja modela z uporabo priloženega vzorčnega modela in ustvarite cevovode za vlak in sklepanje.
- Zaženite cevovod usposabljanja v razvojnem računu, ki generira artefakte modela za različico usposobljenega modela in registrira model v SageMaker Model Registry v računu osrednjega registra modela.
- Odobrite model v registru modelov SageMaker v računu osrednjega registra modelov.
- Potisnite kodo (cevovode usposabljanja in sklepanja ter kodo Terraform IaC za ustvarjanje razporeda EventBridge, pravila EventBridge in teme SNS) v vejo funkcij repozitorija GitHub. Ustvarite zahtevo za vleko, da združite kodo v glavno vejo repozitorija GitHub.
- Sproži cevovod Jenkins CI/CD, ki je nastavljen z repozitorijem GitHub. Cevovod CI/CD razmesti kodo v proizvodni račun za ustvarjanje cevovodov vlaka in sklepanja skupaj s kodo Terraform za zagotavljanje razporeda EventBridge, pravila EventBridge in teme SNS.
- Sklepni cevovod je načrtovan za vsakodnevno izvajanje, medtem ko je vlakovni cevovod nastavljen tako, da se zažene vsakič, ko je iz inferenčnega cevovoda zaznan premik podatkov.
- Obvestila se pošljejo prek teme SNS vsakič, ko pride do okvare vlaka ali sklepnega cevovoda.
Predpogoji
Za to rešitev bi morali imeti naslednje predpogoje:
- Trije računi AWS (razvojni, proizvodni in centralni registrski računi)
- Domena SageMaker Studio, nastavljena v vsakem od treh računov AWS (glejte Na krovu v Amazon SageMaker Studio ali si oglejte video Hitro vkrcajte se v Amazon SageMaker Studio za navodila za namestitev)
- Jenkins (uporabljamo Jenkins 2.401.1) s skrbniškimi pravicami, nameščenimi na AWS
- Terraform različica 1.5.5 ali novejša nameščena na Jenkinsovem strežniku
Za to objavo delamo v us-east-1
Regija za namestitev rešitve.
Zagotavljanje ključev KMS v računih razvijalcev in izdelkov
Naš prvi korak je ustvarjanje AWS Service Key Management (AWS KMS) ključi v računih razvijalcev in izdelkov.
Ustvarite ključ KMS v računu razvijalca in omogočite dostop do računa prod
Izvedite naslednje korake, da ustvarite ključ KMS v računu razvijalca:
- Na konzoli AWS KMS izberite Ključi, ki jih upravlja stranka v podoknu za krmarjenje.
- Izberite Ustvari ključ.
- za Tip ključatako, da izberete Simetrična.
- za Uporaba ključatako, da izberete Šifrirajte in dešifrirajte.
- Izberite Naslednji.
- Vnesite številko produkcijskega računa, da omogočite produkcijskemu računu dostop do ključa KMS, ki je na voljo v računu razvijalca. To je obvezen korak, ker se ob prvem usposabljanju modela v računu razvijalca artefakti modela šifrirajo s ključem KMS, preden se zapišejo v vedro S3 v računu osrednjega registra modela. Produkcijski račun potrebuje dostop do ključa KMS, da lahko dešifrira artefakte modela in zažene cevovod sklepanja.
- Izberite Naslednji in dokončajte ustvarjanje ključa.
Ko je ključ zagotovljen, bi moral biti viden na konzoli AWS KMS.
Ustvarite ključ KMS v računu prod
Pojdite skozi iste korake v prejšnjem razdelku, da ustvarite ključ KMS, ki ga upravlja stranka, v računu produkta. Korak za skupno rabo ključa KMS z drugim računom lahko preskočite.
Nastavite vedro artefaktov modela S3 v računu osrednjega registra modela
Z vrvico ustvarite vedro S3 po vaši izbiri sagemaker
v konvenciji o poimenovanju kot del imena vedra v računu osrednjega registra modela in posodobite politiko vedra na vedru S3, da daste dovoljenja iz računov razvijalcev in izdelkov za branje in pisanje artefaktov modela v vedro S3.
Naslednja koda je pravilnik o vedru, ki ga je treba posodobiti na vedru S3:
Nastavite vloge IAM v svojih računih AWS
Naslednji korak je nastavitev AWS upravljanje identitete in dostopa (IAM) vloge v vaših računih AWS z dovoljenji za AWS Lambda, SageMaker in Jenkins.
Izvršilna vloga Lambda
Nastavitev Lambda izvršilne vloge v računih dev in prod, ki jih bo uporabljala funkcija Lambda, ki se izvaja kot del Lambda korak SageMaker Pipelines. Ta korak se bo izvajal iz cevovoda sklepanja za pridobitev najnovejšega odobrenega modela, na podlagi katerega so bili ustvarjeni sklepi. Ustvarite vloge IAM v računih razvijalcev in izdelkov s konvencijo o poimenovanju arn:aws:iam::<account-id>:role/lambda-sagemaker-role
in priložite naslednje pravilnike IAM:
- Pravilnik 1 – Ustvarite vgrajeni pravilnik z imenom
cross-account-model-registry-access
, ki omogoča dostop do paketa modela, nastavljenega v registru modelov v osrednjem računu: - Pravilnik 2 – Priložiti AmazonSageMakerFullAccess, ki je Politika, ki jo upravlja AWS ki omogoča popoln dostop do SageMakerja. Omogoča tudi izbran dostop do povezanih storitev, kot je npr Samodejno skaliranje aplikacije AWS, Amazon S3, Registar elastičnih zabojnikov Amazon (Amazon ECR) in Dnevniki Amazon CloudWatch.
- Pravilnik 3 – Priložiti AWSLambda_FullAccess, ki je pravilnik, ki ga upravlja AWS in omogoča popoln dostop do Lambda, funkcij konzole Lambda in drugih povezanih storitev AWS.
- Pravilnik 4 – Uporabite naslednjo politiko zaupanja IAM za vlogo IAM:
Izvršilna vloga SageMaker
Domene SageMaker Studio, nastavljene v računih razvijalcev in izdelkov, bi morale imeti vsako povezano vlogo izvajanja, ki jo najdete na Nastavitve domene na strani s podrobnostmi o domeni, kot je prikazano na naslednjem posnetku zaslona. Ta vloga se uporablja za izvajanje izobraževalnih opravil, opravil obdelave in več znotraj domene SageMaker Studio.
Dodajte naslednje pravilnike izvršilni vlogi SageMaker v obeh računih:
- Pravilnik 1 – Ustvarite vgrajeni pravilnik z imenom
cross-account-model-artifacts-s3-bucket-access
, ki omogoča dostop do vedra S3 v računu osrednjega registra modela, ki shranjuje artefakte modela: - Pravilnik 2 – Ustvarite vgrajeni pravilnik z imenom
cross-account-model-registry-access
, ki omogoča dostop do paketa modela v registru modelov v računu centralnega registra modelov: - Pravilnik 3 – Ustvarite vgrajeni pravilnik z imenom
kms-key-access-policy
, ki omogoča dostop do ključa KMS, ustvarjenega v prejšnjem koraku. Navedite ID računa, v katerem se ustvarja pravilnik, in ID ključa KMS, ustvarjen v tem računu. - Pravilnik 4 – Priložiti AmazonSageMakerFullAccess, ki je Politika, ki jo upravlja AWS ki omogoča popoln dostop do SageMaker in izbran dostop do povezanih storitev.
- Pravilnik 5 – Priložiti AWSLambda_FullAccess, ki je pravilnik, ki ga upravlja AWS in omogoča popoln dostop do Lambda, funkcij konzole Lambda in drugih povezanih storitev AWS.
- Pravilnik 6 – Priložiti CloudWatchEventsFullAccess, ki je pravilnik, ki ga upravlja AWS in omogoča popoln dostop do dogodkov CloudWatch.
- Pravilnik 7 – Dodajte naslednji pravilnik zaupanja IAM za vlogo IAM izvajanja SageMaker:
- Politika 8 (specifična za izvršilno vlogo SageMaker v računu produkta) – Ustvarite vgrajeni pravilnik z imenom
cross-account-kms-key-access-policy
, ki omogoča dostop do ključa KMS, ustvarjenega v računu razvijalca. To je potrebno za cevovod sklepanja za branje artefaktov modela, shranjenih v računu osrednjega registra modela, kjer so artefakti modela šifrirani s ključem KMS iz računa razvijalca, ko je prva različica modela ustvarjena iz računa razvijalca.
Jenkinsova vloga med računi
Nastavite poklicano vlogo IAM cross-account-jenkins-role
v proizvodnem računu, za katerega bo Jenkins predvidel uvedbo cevovodov ML in ustrezne infrastrukture v proizvodnem računu.
Vlogi dodajte naslednje upravljane pravilnike IAM:
CloudWatchFullAccess
AmazonS3FullAccess
AmazonSNSFullAccess
AmazonSageMakerFullAccess
AmazonEventBridgeFullAccess
AWSLambda_FullAccess
Posodobite razmerje zaupanja v vlogi, da daste dovoljenja računu AWS, ki gosti strežnik Jenkins:
Posodobite dovoljenja za vlogo IAM, povezano s strežnikom Jenkins
Ob predpostavki, da je bil Jenkins nastavljen na AWS, posodobite vlogo IAM, povezano z Jenkinsom, da dodate naslednje pravilnike, ki bodo Jenkinsu omogočili dostop do uvajanja virov v proizvodni račun:
- Pravilnik 1 – Ustvarite naslednji vgrajeni pravilnik z imenom
assume-production-role-policy
: - Pravilnik 2 – Priložite
CloudWatchFullAccess
upravljana politika IAM.
Nastavite skupino paketov modela v računu osrednjega registra modela
Iz domene SageMaker Studio v računu osrednjega registra modela ustvarite skupino paketov modela, imenovano mammo-severity-model-package
z uporabo naslednjega odrezka kode (ki ga lahko zaženete z zvezkom Jupyter):
Nastavite dostop do paketa modela za vloge IAM v računih razvijalcev in izdelkov
Omogočite dostop do izvajalskih vlog SageMaker, ustvarjenih v računih razvijalcev in izdelkov, tako da lahko registrirate različice modela znotraj paketa modela mammo-severity-model-package
v centralnem registru modelov iz obeh računov. Iz domene SageMaker Studio v računu registra centralnega modela zaženite naslednjo kodo v zvezku Jupyter:
Nastavite Jenkins
V tem razdelku konfiguriramo Jenkinsa za ustvarjanje cevovodov ML in ustrezne infrastrukture Terraform v računu produkta prek cevovoda Jenkins CI/CD.
- Na konzoli CloudWatch ustvarite skupino dnevnikov z imenom
jenkins-log
znotraj računa prod, v katerega bo Jenkins potisnil dnevnike iz cevovoda CI/CD. Skupino dnevnika je treba ustvariti v isti regiji, kjer je nastavljen strežnik Jenkins. - Namestite naslednje vtičnike na vašem strežniku Jenkins:
- Nastavite poverilnice AWS v Jenkinsu z uporabo vloge IAM med računi (
cross-account-jenkins-role
) na voljo v računu produkta. - za Konfiguracija sistema, izberite AWS.
- Navedite poverilnice in skupino dnevnikov CloudWatch, ki ste jo ustvarili prej.
- Nastavite poverilnice GitHub v Jenkinsu.
- Ustvarite nov projekt v Jenkinsu.
- Vnesite ime projekta in izberite Pipeline.
- o splošno jeziček, izberite Projekt GitHub in vstopite v razcep GitHub repozitorij URL.
- Izberite Ta projekt je parametriran.
- o Dodaj parameter izberite meni Parameter niza.
- za Ime, vnesite
prodAccount
. - za Privzeta vrednost, vnesite ID računa prod.
- Pod Napredne možnosti projektaZa Definicijatako, da izberete Skript cevovoda iz SCM.
- za SCM, izberite git.
- za URL skladišča, vstopite v razcep GitHub repozitorij URL.
- za Mandatno, vnesite poverilnice GitHub, shranjene v Jenkins.
- Vnesite
main
v Veje za gradnjo odsek, na podlagi katerega se bo sprožil cevovod CI/CD. - za Pot skripta, vnesite
Jenkinsfile
. - Izberite Shrani.
Jenkinsov cevovod bi moral biti ustvarjen in viden na vaši nadzorni plošči.
Zagotavljanje veder S3, zbiranje in priprava podatkov
Izvedite naslednje korake za nastavitev veder in podatkov S3:
- Z vrvico ustvarite vedro S3 po vaši izbiri
sagemaker
v konvenciji o poimenovanju kot del imena vedra v računih razvijalcev in izdelkov za shranjevanje naborov podatkov in artefaktov modela. - Nastavite vedro S3 za vzdrževanje stanja Terraform v računu prod.
- Prenesite in shranite javno dostopne UCI mamografija Mass nabor podatkov v vedro S3, ki ste ga prej ustvarili v računu razvijalca.
- Razcepi in kloniraj GitHub repozitorij znotraj domene SageMaker Studio v računu razvijalca. Repo ima naslednjo strukturo map:
- /environments – konfiguracijski skript za proizvodno okolje
- /mlops-infra – Koda za uvajanje storitev AWS z uporabo kode Terraform
- /cevovodi – Koda za komponente cevovoda SageMaker
- Jenkinsfile – Skript za uvajanje prek cevovoda Jenkins CI/CD
- setup.py – Potrebno za namestitev zahtevanih modulov Python in ustvarjanje ukaza run-pipeline
- mamografija-modeliranje resnosti.ipynb – Omogoča ustvarjanje in izvajanje delovnega toka ML
- Ustvarite mapo z imenom data znotraj mape kloniranega repozitorija GitHub in shranite kopijo javno dostopnega UCI mamografija Mass nabor podatkov.
- Sledite zvezku Jupyter
mammography-severity-modeling.ipynb
. - Zaženite naslednjo kodo v zvezku, da vnaprej obdelate nabor podatkov in ga naložite v vedro S3 v računu razvijalca:
Koda bo ustvarila naslednje nize podatkov:
-
- podatki/ mammo-train-dataset-part1.csv – Uporabljen bo za usposabljanje prve različice modela.
- podatki/ mammo-train-dataset-part2.csv – Uporabljal se bo za usposabljanje druge različice modela skupaj z naborom podatkov mammo-train-dataset-part1.csv.
- podatki/mammo-batch-dataset.csv – Uporablja se za ustvarjanje sklepov.
- data/mammo-batch-dataset-outliers.csv – V nabor podatkov bo vnesel odstopanja, da ne bo uspel cevovod sklepanja. To nam bo omogočilo testiranje vzorca za sprožitev avtomatskega ponovnega usposabljanja modela.
- Naložite nabor podatkov
mammo-train-dataset-part1.csv
pod predponomammography-severity-model/train-dataset
in naložite nabore podatkovmammo-batch-dataset.csv
inmammo-batch-dataset-outliers.csv
na predponomammography-severity-model/batch-dataset
vedra S3, ustvarjenega v računu razvijalca: - Naložite nabore podatkov
mammo-train-dataset-part1.csv
inmammo-train-dataset-part2.csv
pod predponomammography-severity-model/train-dataset
v vedro S3, ustvarjeno v računu prod prek konzole Amazon S3. - Naložite nabore podatkov
mammo-batch-dataset.csv
inmammo-batch-dataset-outliers.csv
na predponomammography-severity-model/batch-dataset
vedra S3 v računu prod.
Zaženite cevovod za vlak
Pod <project-name>/pipelines/train
, lahko vidite naslednje skripte Python:
- skripte/raw_preprocess.py – Integrira se s SageMaker Processing za inženiring funkcij
- skripte/evaluate_model.py – V tem primeru omogoča izračun meritev modela
auc_score
- train_pipeline.py – Vsebuje kodo za cevovod za usposabljanje modela
Izvedite naslednje korake:
- Naložite skripte v Amazon S3:
- Pridobite primerek cevovoda vlaka:
- Predložite cevovod vlaka in ga zaženite:
Naslednja slika prikazuje uspešno izvedbo cevovoda za usposabljanje. Zadnji korak v cevovodu registrira model v računu osrednjega registra modela.
Odobrite model v centralnem registru modelov
Prijavite se v račun centralnega registra modelov in dostopajte do registra modelov SageMaker znotraj domene SageMaker Studio. Spremenite stanje različice modela na Odobreno.
Ko je odobren, je treba spremeniti status na različici modela.
Zaženi cevovod sklepanja (izbirno)
Ta korak ni obvezen, vendar lahko vseeno zaženete cevovod sklepanja za ustvarjanje napovedi v računu razvijalca.
Pod <project-name>/pipelines/inference
, lahko vidite naslednje skripte Python:
- skripte/lambda_helper.py – Potegne najnovejšo odobreno različico modela iz računa osrednjega registra modela z uporabo koraka SageMaker Pipelines Lambda
- inference_pipeline.py – Vsebuje kodo za cevovod sklepanja modela
Izvedite naslednje korake:
- Naložite skript v vedro S3:
- Pridobite primerek cevovoda sklepanja z običajnim paketnim naborom podatkov:
- Predložite sklepni cevovod in ga zaženite:
Naslednja slika prikazuje uspešen zagon sklepnega cevovoda. Zadnji korak v cevovodu ustvari napovedi in jih shrani v vedro S3. Uporabljamo MonitorBatchTransformStep za spremljanje vnosov v opravilo paketnega preoblikovanja. Če so kakršni koli odstopanji, gre cevovod sklepanja v neuspešno stanje.
Zaženi Jenkinsov cevovod
O environment/
znotraj repozitorija GitHub vsebuje konfiguracijski skript za račun prod. Izvedite naslednje korake, da sprožite cevovod Jenkins:
- Posodobite konfiguracijski skript
prod.tfvars.json
na podlagi virov, ustvarjenih v prejšnjih korakih: - Ko je posodobljen, potisnite kodo v razcepljeno skladišče GitHub in združite kodo v glavno vejo.
- Pojdite na uporabniški vmesnik Jenkins, izberite Zgradite s parametriin sprožite cevovod CI/CD, ustvarjen v prejšnjih korakih.
Ko je izdelava končana in uspešna, se lahko prijavite v račun prod in si ogledate cevovode usposabljanja in sklepanja znotraj domene SageMaker Studio.
Poleg tega boste na konzoli EventBridge v računu prod videli tri pravila EventBridge:
- Načrtujte cevovod sklepanja
- Pošlji obvestilo o napaki na cevovodu vlaka
- Ko sklepni cevovod ne sproži cevovoda vlaka, pošljite obvestilo
Nazadnje boste videli temo obvestil SNS na konzoli Amazon SNS, ki pošilja obvestila po e-pošti. Prejeli boste e-poštno sporočilo s prošnjo, da potrdite sprejem teh e-poštnih obvestil.
Preizkusite cevovod sklepanja z uporabo paketnega nabora podatkov brez odstopanj
Če želite preizkusiti, ali cevovod sklepanja deluje po pričakovanjih v računu prod, se lahko prijavimo v račun prod in sprožimo cevovod sklepanja z uporabo paketnega nabora podatkov brez odstopanj.
Zaženite cevovod prek konzole SageMaker Pipelines v domeni SageMaker Studio računa prod, kjer transform_input
bo S3 URI nabora podatkov brez izstopajočih vrednosti (s3://<s3-bucket-in-prod-account>/mammography-severity-model/data/mammo-batch-dataset.csv
).
Sklepni cevovod uspe in napovedi zapiše nazaj v vedro S3.
Preizkusite cevovod sklepanja z uporabo paketnega nabora podatkov z odstopanji
Sklepni cevovod lahko zaženete z uporabo paketnega nabora podatkov z izstopajočimi vrednostmi, da preverite, ali mehanizem samodejnega preusposabljanja deluje po pričakovanjih.
Zaženite cevovod prek konzole SageMaker Pipelines v domeni SageMaker Studio računa prod, kjer transform_input
bo S3 URI nabora podatkov z odstopanji (s3://<s3-bucket-in-prod-account>/mammography-severity-model/data/mammo-batch-dataset-outliers.csv
).
Sklepni cevovod ne uspe po pričakovanjih, kar sproži pravilo EventBridge, ki nato sproži cevovod vlaka.
Čez nekaj trenutkov bi morali na konzoli SageMaker Pipelines videti nov zagon cevovoda vlakov, ki pobere dva različna niza podatkov vlakov (mammo-train-dataset-part1.csv
in mammo-train-dataset-part2.csv
) naložen v vedro S3 za ponovno usposabljanje modela.
Videli boste tudi obvestilo, poslano na e-poštni naslov, naročen na temo SNS.
Če želite uporabiti posodobljeno različico modela, se prijavite v račun osrednjega registra modela in odobrite različico modela, ki bo prevzeta med naslednjim zagonom cevovoda sklepanja, sproženega prek načrtovanega pravila EventBridge.
Čeprav cevovoda usposabljanja in sklepanja uporabljata URL statičnega nabora podatkov, lahko URL nabora podatkov posredujete cevovodu usposabljanja in sklepanja kot dinamične spremenljivke, da uporabite posodobljene nize podatkov za ponovno usposabljanje modela in ustvarjanje napovedi v realnem scenariju.
Čiščenje
Če se želite izogniti prihodnjim stroškom, izvedite naslednje korake:
- Odstranite domeno SageMaker Studio v vseh računih AWS.
- Izbrišite vse vire, ustvarjene zunaj SageMakerja, vključno z vedri S3, vlogami IAM, pravili EventBridge in temo SNS, ki je nastavljena prek Terraform v računu produkta.
- Izbrišite cevovode SageMaker, ustvarjene v računih z uporabo Vmesnik ukazne vrstice AWS (AWS CLI).
zaključek
Organizacije se morajo pogosto uskladiti z nabori orodij za celotno podjetje, da omogočijo sodelovanje na različnih funkcionalnih področjih in skupinah. To sodelovanje zagotavlja, da se vaša platforma MLOps lahko prilagodi razvijajočim se poslovnim potrebam, in pospešuje sprejemanje ML v skupinah. Ta objava je razložila, kako ustvariti ogrodje MLOps v nastavitvi z več okolji, da se omogoči avtomatizirano ponovno usposabljanje modela, paketno sklepanje in spremljanje z Amazon SageMaker Model Monitor, različica modela s SageMaker Model Registry ter promocija kode ML in cevovodov v okoljih z Cevovod CI/CD. To rešitev smo predstavili s kombinacijo storitev AWS in naborov orodij tretjih oseb. Za navodila o izvajanju te rešitve glejte GitHub repozitorij. To rešitev lahko razširite tudi tako, da vnesete lastne vire podatkov in okvire za modeliranje.
O avtorjih
Gayatri Ghanakota je višji inženir strojnega učenja pri AWS Professional Services. Navdušena je nad razvojem, uvajanjem in razlago rešitev AI/ML na različnih področjih. Pred to vlogo je vodila številne pobude kot podatkovna znanstvenica in inženirka ML z vrhunskimi svetovnimi podjetji v finančnem in maloprodajnem prostoru. Ima magisterij iz računalništva, specializiran za podatkovno znanost, na univerzi Colorado, Boulder.
Sunita Koppar je starejši arhitekt Data Lake pri AWS Professional Services. Navdušena je nad reševanjem težav strank pri obdelavi velikih podatkov in zagotavljanju dolgoročnih razširljivih rešitev. Pred to vlogo je razvijala izdelke na področju interneta, telekomunikacij in avtomobilizma ter bila stranka AWS. Ima magisterij iz podatkovne znanosti na kalifornijski univerzi Riverside.
Saswata Dash je svetovalec za DevOps pri AWS Professional Services. Delala je s strankami na področju zdravstva in znanosti o življenju, letalstva in proizvodnje. Navdušena je nad vsemi stvarmi avtomatizacije in ima obsežne izkušnje z načrtovanjem in gradnjo rešitev za stranke na ravni podjetja v AWS. Zunaj dela se ukvarja s svojo strastjo do fotografije in lovljenja sončnih vzhodov.
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
- PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
- PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
- PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
- vir: https://aws.amazon.com/blogs/machine-learning/promote-pipelines-in-a-multi-environment-setup-using-amazon-sagemaker-model-registry-hashicorp-terraform-github-and-jenkins-ci-cd/
- :ima
- : je
- :ne
- :kje
- $GOR
- 1
- 10
- 100
- 12
- 13
- 14
- 16
- 17
- 19
- 23
- 27
- 31
- 320
- 7
- 8
- 9
- a
- O meni
- pospeši
- sprejem
- dostop
- Račun
- računi
- čez
- Ukrep
- prilagodijo
- dodajte
- Naslov
- upravno
- Sprejetje
- po
- starost
- AI
- uskladiti
- vsi
- omogočajo
- omogoča
- skupaj
- Prav tako
- Amazon
- Amazon SageMaker
- Amazon Web Services
- an
- in
- Še ena
- kaj
- uporaba
- primerno
- odobri
- odobren
- Arhitektura
- SE
- območja
- okoli
- umetni
- Umetna inteligenca
- Umetna inteligenca (AI)
- AS
- sprašuje
- povezan
- domnevati
- pripisujejo
- avto
- Avtomatizirano
- Samodejno
- Avtomatizacija
- avtomobilska
- Na voljo
- letalstvo
- izogniti
- AWS
- Stranka AWS
- Strokovne storitve AWS
- nazaj
- temeljijo
- Osnova
- BE
- ker
- bilo
- pred
- počutje
- BEST
- najboljše prakse
- med
- Big
- Big Podatki
- tako
- Branch
- premostitev
- Predložitev
- izgradnjo
- Building
- zgrajena
- poslovni
- vendar
- by
- izračun
- california
- se imenuje
- CAN
- primeru
- Osrednji
- spremenite
- spremenilo
- Spremembe
- Stroški
- preveriti
- izbira
- Izberite
- Koda
- sodelovanje
- zbiranje
- Colorado
- Stolpec
- Stolpci
- COM
- kombinacija
- dokončanje
- skladnost
- deli
- celovito
- računalnik
- Računalništvo
- stanje
- konfiguracija
- Potrdi
- Konzole
- svetovalec
- Posoda
- Vsebuje
- nadzor
- Konvencija
- pretvorbo
- Ustrezno
- ustvarjajo
- ustvaril
- Ustvarjanje
- Mandatno
- Cross
- stranka
- Rešitve za stranke
- Stranke, ki so
- vsak dan
- Armaturna plošča
- datum
- Data jezero
- znanost o podatkih
- podatkovni znanstvenik
- nabor podatkov
- Dešifriraj
- privzeto
- Stopnja
- razporedi
- uvajanja
- uvajanje
- razpolaga
- oblikovanje
- Podrobnosti
- odkrivanje
- Zaznali
- dev
- razvili
- razvoju
- Razvoj
- DICT
- drugačen
- domena
- domen
- med
- dinamično
- vsak
- prej
- učinek
- bodisi
- E-naslov
- e-pošta
- omogočajo
- šifriran
- inženir
- zagotavlja
- Vnesite
- okolje
- okolja
- bistvena
- dogodki
- razvija
- izvedba
- Pričakuje
- izkušnje
- razložiti
- pojasnjujejo
- razširiti
- olajšati
- FAIL
- ni uspelo
- ne uspe
- Napaka
- Feature
- Lastnosti
- Nekaj
- Slika
- file
- končna
- finančna
- konča
- podjetja
- prva
- prvič
- po
- za
- je pokazala,
- Okvirni
- okviri
- iz
- Izpolnite
- polno
- funkcija
- funkcionalno
- Prihodnost
- vrzel
- ustvarjajo
- ustvarila
- ustvarja
- dobili
- git
- GitHub
- Daj
- dana
- daje
- Globalno
- Go
- goes
- nepovratna sredstva
- skupina
- Imajo
- zdravstveno varstvo
- jo
- več
- drži
- gostovanje
- Kako
- Kako
- HTML
- http
- HTTPS
- ID
- identiteta
- if
- izvajanja
- uvoz
- in
- vključuje
- Vključno
- Indeks
- Infrastruktura
- na začetku
- pobud
- vhodi
- namestitev
- nameščen
- primer
- Navodila
- Integrira
- Intelligence
- Internet
- v
- uvesti
- IT
- Job
- Delovna mesta
- jpg
- json
- Ključne
- tipke
- label
- Jezero
- Pokrajina
- pozneje
- Zadnji
- učenje
- Led
- finančni vzvod
- življenje
- Life Sciences
- vrstica
- prijavi
- dolgoročna
- stroj
- strojno učenje
- Glavne
- vzdrževati
- Znamka
- upravlja
- upravljanje
- proizvodnja
- Marža
- Masa
- poveljnika
- Mehanizem
- srečanja
- Meni
- Spoji
- Meritve
- manjka
- ML
- MLOps
- Model
- modeliranje
- modeli
- spremenite
- Moduli
- Trenutki
- monitor
- spremljati
- spremljanje
- več
- več
- Ime
- Imenovan
- poimenovanje
- ostalo
- Nimate
- potrebna
- potrebe
- Novo
- Naslednja
- normalno
- prenosnik
- Obvestilo
- Obvestila
- Številka
- otopeli
- of
- pogosto
- on
- ONE
- operacije
- or
- Da
- organizacije
- Ostalo
- ven
- zunaj
- več
- pregled
- lastne
- paket
- Stran
- bolečina
- pand
- podokno
- del
- deli
- opravil
- strast
- strastno
- Vzorec
- performance
- Dovoljenja
- fotografija
- izbrali
- Izbiramo
- plinovod
- platforma
- platon
- Platonova podatkovna inteligenca
- PlatoData
- točke
- politike
- politika
- Prispevek
- vaje
- napovedati
- Napovedi
- Pripravimo
- predpogoji
- prejšnja
- , ravnateljica
- Predhodna
- privilegiji
- Postopek
- obravnavati
- proizvodnja
- Izdelki
- strokovni
- Projekt
- spodbujanje
- Promovirano
- promocija
- zagotavljajo
- če
- zagotavlja
- zagotavljanje
- zagotavljanje
- javno
- Potegne
- Preganjanja
- Push
- Python
- hitro
- hitro
- Surovi
- Preberi
- pripravljen
- resnični svet
- okolica
- Registracija
- registriranih
- registri
- registra
- regulatorni
- povezane
- Razmerje
- odstrani
- Skladišče
- zahteva
- obvezna
- Zahteve
- vir
- viri
- Odgovor
- Trgovina na drobno
- vrnitev
- Riverside
- vloga
- vloge
- koren
- Pravilo
- pravila
- Run
- deluje
- sagemaker
- SageMaker cevovodi
- Enako
- Shrani
- shranjena
- razširljive
- Scenarij
- urnik
- načrtovano
- razporejanje
- Znanost
- ZNANOSTI
- Znanstvenik
- script
- skripte
- brez težav
- drugi
- Oddelek
- zavarovanje
- varnost
- glej
- pošljite
- pošiljanja
- pošlje
- poslan
- ločena
- strežnik
- Storitev
- Storitve
- nastavite
- nastavitve
- nastavitev
- Oblikujte
- Delite s prijatelji, znanci, družino in partnerji :-)
- je
- shouldnt
- Prikaži
- predstavljeni
- pokazale
- Razstave
- Enostavno
- delček
- So
- Rešitev
- rešitve
- Reševanje
- vir
- Viri
- Vesolje
- specializirani
- specifična
- po delih
- Država
- Izjava
- statična
- Status
- Korak
- Koraki
- Še vedno
- trgovina
- shranjeni
- trgovine
- String
- Struktura
- studio
- uspešno
- taka
- Podpira
- ciljna
- Skupine
- telecom
- Terraform
- Test
- Testiranje
- da
- O
- Njih
- POTEM
- Tukaj.
- te
- stvari
- tretja
- tretjih oseb
- ta
- 3
- skozi
- čas
- do
- nabor orodij
- vrh
- temo
- sledenje
- Vlak
- usposobljeni
- usposabljanje
- Transform
- sprožijo
- sprožilo
- sproži
- Res
- Zaupajte
- OBRAT
- dva
- ui
- pod
- univerza
- Univerza v Kaliforniji
- Nadgradnja
- posodobljeno
- naložili
- URL
- us
- uporaba
- Rabljeni
- uporabo
- pripomoček
- Vrednote
- različnih
- različica
- različice
- preko
- Video
- vidna
- Watch
- we
- web
- spletne storitve
- kdaj
- kadar koli
- medtem ko
- ki
- medtem
- bo
- z
- v
- brez
- delo
- delal
- potek dela
- deluje
- deluje
- pisati
- pisni
- Vi
- Vaša rutina za
- youtube
- zefirnet