Masinõppe operatsioonide (MLOps) platvormi loomine kiiresti areneval tehisintellekti (AI) ja masinõppe (ML) maastikul organisatsioonidele on oluline, et sujuvalt ületada lõhe andmeteaduse katsetamise ja juurutamise vahel, täites samal ajal mudeli jõudluse nõudeid. turvalisus ja vastavus.
Regulatsiooni- ja vastavusnõuete täitmiseks on sellise platvormi kavandamisel järgmised põhinõuded:
- Aadressiandmete triiv
- Jälgige mudeli jõudlust
- Hõlbustada mudelite automaatset ümberõpet
- Esitage mudeli kinnitamise protsess
- Hoidke mudeleid turvalises keskkonnas
Selles postituses näitame, kuidas luua MLOps-i raamistik nende vajaduste rahuldamiseks, kasutades AWS-i teenuste ja kolmandate osapoolte tööriistakomplektide kombinatsiooni. Lahendus hõlmab mitut keskkonda hõlmavat seadistust koos automaatse mudeli ümberõppe, partii järeldamise ja jälgimisega Amazon SageMakeri mudelimonitor, mudeli versioonide loomine koos SageMakeri mudeliregisterja CI/CD konveier, et hõlbustada ML-koodi ja konveierite reklaamimist keskkondades kasutades Amazon SageMaker, Amazon EventBridge, Amazoni lihtne teavitusteenus (Amazon S3), HashiCorp Terraform, GitHubja Jenkins CI/CD. Koostame mudeli, et ennustada mammograafilise massikahjustuse raskusastet (hea- või pahaloomuline) XGBoost algoritm kasutades avalikult kättesaadavat UCI mammograafia mass andmestik ja juurutage see MLOps raamistiku abil. Täielikud juhised koos koodiga on saadaval aadressil GitHubi hoidla.
Lahenduse ülevaade
Järgmine arhitektuuriskeem näitab MLOps-raamistiku ülevaadet järgmiste põhikomponentidega:
- Mitme konto strateegia – Kahel erineval AWS-i kontol on seadistatud kaks erinevat keskkonda (dev ja prod), järgides AWS-i hästiarhitekeeritud parimaid tavasid, ja kolmas konto on seadistatud keskses mudeliregistris.
- Arenduskeskkond – Kus an Amazon SageMaker Studio domeen on loodud selleks, et võimaldada mudeliarendust, mudelikoolitust ja ML-konveierite testimist (koolitus ja järeldused), enne kui mudel on valmis kõrgematesse keskkondadesse üleviimiseks.
- Prod keskkond – Kus esimese sammuna viiakse arendaja ML-konveierid üle ning ajastatakse ja jälgitakse aja jooksul.
- Keskne mudeliregister - Amazon SageMakeri mudeliregister on seadistatud eraldi AWS-i kontole, et jälgida arendaja- ja tootekeskkondades loodud mudeliversioone.
- CI/CD ja allika juhtimine – ML-konveierite juurutamist erinevates keskkondades hallatakse Jenkinsiga seadistatud CI/CD kaudu koos GitHubi kaudu hallatava versioonikontrolliga. Vastavasse keskkonda liidetud koodimuudatused git haru käivitavad CI/CD töövoo, et teha antud sihtkeskkonnas asjakohaseid muudatusi.
- Partii ennustused mudeli jälgimisega – Järeldustoru, mis on ehitatud Amazon SageMakeri torujuhtmed töötab plaanipäraselt prognooside genereerimiseks koos mudeli jälgimisega, kasutades andmete triivi tuvastamiseks SageMaker Model Monitori.
- Automatiseeritud ümberõppe mehhanism – SageMaker Pipelinesiga ehitatud õppekonveier käivitub alati, kui järelduskonveieris tuvastatakse andmete triivimine. Pärast väljaõpet registreeritakse mudel kesksesse mudeliregistrisse, et mudeli kinnitaja selle kinnitaks. Kui see on heaks kiidetud, kasutatakse mudeli värskendatud versiooni ennustuste loomiseks järelduskonveieri kaudu.
- Infrastruktuur kui kood – Taristu koodina (IaC), mis on loodud kasutades HashiCorp Terraform, toetab järelduskonveieri ajastamist EventBridge'iga, rongi torujuhtme käivitamist EventBridge reegel ja teadete saatmine kasutades Amazoni lihtne teavitusteenus (Amazon SNS) teemasid.
MLOps-i töövoog sisaldab järgmisi samme.
- Juurdepääs arenduskontol SageMaker Studio domeenile, kloonida GitHubi hoidla, läbida mudeli arendusprotsess, kasutades pakutavat näidismudelit, ning luua rongi- ja järelduskonveierid.
- Käivitage arenduskontol rongikonveier, mis genereerib koolitatud mudeliversiooni mudeliartefaktid ja registreerib mudeli kesksel mudeliregistri kontol SageMakeri mudeliregistris.
- Kinnitage mudel mudeliregistri keskkontol SageMakeri mudeliregistris.
- Lükake kood (rongi- ja järelduskonveierid ning Terraform IaC-kood EventBridge'i ajakava, EventBridge'i reegli ja SNS-i teema loomiseks) GitHubi hoidla funktsiooniharusse. Looge tõmbetaotlus, et liita kood GitHubi hoidla põhiharuga.
- Käivitage Jenkinsi CI/CD torujuhe, mis on seadistatud koos GitHubi hoidlaga. CI/CD konveier juurutab koodi tootmiskontole, et luua rongi- ja järelduskonveierid koos Terraformi koodiga EventBridge'i ajakava, EventBridge'i reegli ja SNS-i teema loomiseks.
- Järelduskonveier on kavandatud töötama iga päev, samas kui rongi torujuhe on seadistatud töötama iga kord, kui järelduskonveierist tuvastatakse andmete triivi.
- Teateid saadetakse SNS-i teema kaudu alati, kui tekib rike kas rongi või järelduste torujuhtmes.
Eeldused
Selle lahenduse jaoks peaksid teil olema järgmised eeltingimused:
- Kolm AWS-i kontot (arendaja-, toote- ja keskse mudeliregistri kontod)
- Igal kolmel AWS-i kontol on seadistatud SageMaker Studio domeen (vt Amazon SageMaker Studio pardal või vaadake videot Kiiresti Amazon SageMaker Studiosse seadistamisjuhiste saamiseks)
- AWS-i installitud administraatoriõigustega Jenkins (kasutame Jenkins 2.401.1)
- Jenkinsi serverisse installitud Terraformi versioon 1.5.5 või uuem
Selle postituse jaoks töötame us-east-1
Piirkond lahenduse juurutamiseks.
KMS-võtmete pakkumine arendaja- ja tootekontodel
Meie esimene samm on luua AWS-i võtmehaldusteenus (AWS KMS) võtmed arendaja- ja tootekontodel.
Looge arendajakontol KMS-võti ja andke juurdepääs tootekontole
Arenduskontol KMS-võtme loomiseks tehke järgmised toimingud.
- Valige AWS KMS-i konsoolil Kliendi hallatavad võtmed navigeerimispaanil.
- Vali Loo võti.
- eest Võtme tüüpvalige Sümmeetriline.
- eest Võtme kasutaminevalige Krüptida ja dekrüpteerida.
- Vali järgmine.
- Sisestage tootmiskonto number, et anda tootmiskontole juurdepääs arendajakontol ette nähtud KMS-võtmele. See on nõutav samm, kuna mudeli esmakordsel arendajakontol koolitamisel krüpteeritakse mudeli artefaktid KMS-võtmega, enne kui need kirjutatakse mudeli keskregistri konto S3 ämbrisse. Tootmiskonto vajab mudeliartefaktide dekrüpteerimiseks ja järelduskonveieri käitamiseks juurdepääsu KMS-võtmele.
- Vali järgmine ja lõpetage võtme loomine.
Pärast võtme ettevalmistamist peaks see olema nähtav AWS KMS-i konsoolil.
Looge tootekontol KMS-võti
Kliendi hallatava KMS-i võtme loomiseks tootekontol tehke eelmises jaotises läbi samad toimingud. KMS-võtme teise kontoga jagamiseks võite sammu vahele jätta.
Seadistage mudelite artefaktide S3 ämber mudeli kesksel registrikontol
Looge nööriga omal valikul S3 ämber sagemaker
nimetamistavas osana ämbri nimest kesksel mudeliregistri kontol ja värskendage S3 ämbri ämbripoliitikat, et anda nii arendaja- kui ka tootekontodelt luba mudelite artefaktide lugemiseks ja kirjutamiseks S3 ämbrisse.
Järgmine kood on ämbripoliitika, mida S3 ämbris värskendatakse:
Seadistage oma AWS-i kontodel IAM-i rollid
Järgmine samm on seadistamine AWS-i identiteedi- ja juurdepääsuhaldus (IAM) rollid teie AWS-i kontodel, millel on õigused AWS Lambda, SageMaker ja Jenkins.
Lambda täitmise roll
Luua Lambda täitmise rollid arendaja- ja tootekontodel, mida kasutab Lambda funktsioon, mida käivitatakse osana SageMaker Pipelines Lambda samm. See samm käivitatakse järelduste konveierist, et tuua uusim kinnitatud mudel, mille abil järeldused genereeritakse. Looge arendaja- ja tootekontodel IAM-i rollid, järgides nimetamist arn:aws:iam::<account-id>:role/lambda-sagemaker-role
ja lisage järgmised IAM-i eeskirjad:
- Poliitika 1 – Looge tekstisisene poliitika nimega
cross-account-model-registry-access
, mis annab juurdepääsu keskkontol mudeliregistris seadistatud mudelipaketile: - Poliitika 2 – Kinnitage AmazonSageMakerFullAccess, mis on AWS-i hallatud poliitika mis annab täieliku juurdepääsu SageMakerile. See pakub ka valitud juurdepääsu seotud teenustele, näiteks AWS-i rakenduse automaatne skaleerimine, Amazon S3, Amazoni elastsete konteinerite register (Amazon ECR) ja Amazon CloudWatchi logid.
- Poliitika 3 – Kinnitage AWSLambda_FullAccess, mis on AWS-i hallatav poliitika, mis annab täieliku juurdepääsu Lambdale, Lambda konsooli funktsioonidele ja teistele seotud AWS-i teenustele.
- Poliitika 4 – Kasutage IAM-i rolli jaoks järgmist IAM-i usalduspoliitikat:
SageMakeri täitmise roll
SageMaker Studio domeenid, mis on seadistatud arendaja- ja tootekontodel, peaksid olema seotud täitmisrolliga, mille leiate Domeeni sätted vahekaart domeeni üksikasjade lehel, nagu on näidatud järgmisel ekraanipildil. Seda rolli kasutatakse SageMaker Studio domeenis koolitustööde, töötlemistööde ja muu käitamiseks.
Lisage mõlemal kontol SageMakeri täitmisrollile järgmised eeskirjad.
- Poliitika 1 – Looge tekstisisene poliitika nimega
cross-account-model-artifacts-s3-bucket-access
, mis annab juurdepääsu mudelite keskregistri kontole S3 ämbrile, mis salvestab mudeli artefaktid: - Poliitika 2 – Looge tekstisisene poliitika nimega
cross-account-model-registry-access
, mis annab juurdepääsu mudelipaketile mudeliregistris kesksel mudeliregistri kontol: - Poliitika 3 – Looge tekstisisene poliitika nimega
kms-key-access-policy
, mis annab juurdepääsu eelmises etapis loodud KMS-võtmele. Esitage konto ID, millel poliitikat luuakse, ja sellel kontol loodud KMS-i võtme ID. - Poliitika 4 – Kinnitage AmazonSageMakerFullAccess, mis on AWS-i hallatud poliitika mis annab SageMakerile täieliku juurdepääsu ja vali juurdepääsu seotud teenustele.
- Poliitika 5 – Kinnitage AWSLambda_FullAccess, mis on AWS-i hallatav poliitika, mis annab täieliku juurdepääsu Lambdale, Lambda konsooli funktsioonidele ja teistele seotud AWS-i teenustele.
- Poliitika 6 – Kinnitage CloudWatchEventsFullAccess, mis on AWS-i hallatav reegel, mis annab täieliku juurdepääsu CloudWatchi sündmustele.
- Poliitika 7 – Lisage SageMakeri täitmise IAM-i rolli jaoks järgmine IAM-i usalduspoliitika:
- Reegel 8 (spetsiifiline SageMakeri täitmisrolli jaoks tootekontol) – Looge tekstisisene poliitika nimega
cross-account-kms-key-access-policy
, mis annab juurdepääsu arendajakontol loodud KMS-võtmele. See on vajalik, et järelduskonveier saaks lugeda mudeliartefakte, mis on salvestatud mudelite keskregistri kontole, kus mudeli artefaktid krüpteeritakse arendajakonto KMS-võtmega, kui mudeli esimene versioon luuakse arendajakontolt.
Kontoülene Jenkinsi roll
Seadistage IAM-i roll nimega cross-account-jenkins-role
tootekontol, mille Jenkins võtab ML torujuhtmete ja vastava taristu kasutusele tootekontole.
Lisage rollile järgmised hallatud IAM-poliitikad:
CloudWatchFullAccess
AmazonS3FullAccess
AmazonSNSFullAccess
AmazonSageMakerFullAccess
AmazonEventBridgeFullAccess
AWSLambda_FullAccess
Värskendage rolli usaldussuhet, et anda load Jenkinsi serverit hostivale AWS-i kontole:
Värskendage Jenkinsi serveriga seotud IAM-rolli õigusi
Eeldades, et Jenkins on AWS-is seadistatud, värskendage Jenkinsiga seotud IAM-i rolli, et lisada järgmised poliitikad, mis annavad Jenkinsile juurdepääsu ressursside juurutamiseks tootmiskontole:
- Poliitika 1 – Looge järgmine nimega tekstisisene poliitika
assume-production-role-policy
: - Poliitika 2 – Kinnitage
CloudWatchFullAccess
hallatud IAM-poliitika.
Seadistage mudelipaketi rühm kesksel mudeliregistri kontol
Looge mudelite keskregistri konto SageMaker Studio domeenis mudelipakettide rühm nimega mammo-severity-model-package
kasutades järgmist koodilõiku (mida saate käivitada Jupyteri märkmikuga):
Seadistage juurdepääs mudelipaketile IAM-i rollide jaoks arendaja- ja tootekontodel
Juurdepääs arendaja- ja tootekontodel loodud SageMakeri täitmisrollidele, et saaksite mudelipaketis mudeliversioone registreerida mammo-severity-model-package
keskses mudeliregistris mõlemalt kontolt. Käivitage keskse mudeliregistri konto SageMaker Studio domeenis Jupyteri märkmikus järgmine kood:
Seadistage Jenkins
Selles jaotises konfigureerime Jenkinsi looma ML-konveierid ja vastava Terraformi infrastruktuuri tootekontol Jenkinsi CI/CD konveieri kaudu.
- Looge CloudWatchi konsoolis logirühm nimega
jenkins-log
tootekontol, kuhu Jenkins CI/CD konveieri logid suunab. Logirühm tuleks luua samas piirkonnas, kus on seadistatud Jenkinsi server. - Installige järgmised pistikprogrammid teie Jenkinsi serveris:
- Seadistage Jenkinsis AWS-i mandaadid, kasutades kontoülest IAM-i rolli (
cross-account-jenkins-role
) toodetud kontol. - eest System Configuration, vali AWS.
- Esitage varem loodud mandaadid ja CloudWatchi logirühm.
- Seadistage Jenkinsis GitHubi mandaadid.
- Looge Jenkinsis uus projekt.
- Sisestage projekti nimi ja valige Torujuhe.
- Kohta Üldine vahekaardil valige GitHubi projekt ja sisenege hargnevasse GitHubi hoidla URL
- valima See projekt on parameetritega.
- Kohta Lisa parameeter menüüst valige Stringi parameeter.
- eest Nimi, sisenema
prodAccount
. - eest Vaikeväärtus, sisestage tootekonto ID.
- alla Täpsemad projektivalikudJaoks Määratlusvalige Torujuhtme skript SCM-ilt.
- eest SCM, vali Git.
- eest Hoidla URL, sisestage harg GitHubi hoidla URL
- eest volikiri, sisestage Jenkinsi salvestatud GitHubi mandaadid.
- sisene
main
aasta Filiaalid ehitada sektsioon, mille põhjal CI/CD konveier käivitatakse. - eest Skripti tee, sisenema
Jenkinsfile
. - Vali Säästa.
Jenkinsi torujuhe peaks olema loodud ja teie armatuurlaual nähtav.
S3 ämbrite loomine, andmete kogumine ja ettevalmistamine
S3 ämbrite ja andmete seadistamiseks tehke järgmised toimingud.
- Looge nööriga omal valikul S3 ämber
sagemaker
nimetamistavas osana ämbri nimest nii arendaja- kui ka tootekontodel, et salvestada andmekogumeid ja mudeliartefakte. - Seadistage S3-salv, et säilitada tootekontol Terraformi olek.
- Laadige alla ja salvestage avalikult kättesaadavad UCI mammograafia mass andmestik S3 ämbrisse, mille olete varem arendajakontol loonud.
- Kahvel ja klooni GitHubi hoidla arendajakonto SageMaker Studio domeenis. Repol on järgmine kaustastruktuur:
- /environments – tootmiskeskkonna konfiguratsiooniskript
- /mlops-infra – Kood AWS-i teenuste juurutamiseks Terraformi koodi abil
- /torujuhtmed – SageMakeri torujuhtme komponentide kood
- Jenkinsfile – Jenkinsi CI/CD konveieri kaudu juurutav skript
- setup.py – Vajalik vajalike Pythoni moodulite installimiseks ja käsu run-pipeline loomiseks
- mammograafia-raskusastme modelleerimine.ipynb – Võimaldab luua ja käitada ML-i töövoogu
- Looge kloonitud GitHubi hoidla kaustas kaust nimega Data ja salvestage avalikult saadaolevast koopia UCI mammograafia mass andmestik.
- Järgige Jupyteri märkmikku
mammography-severity-modeling.ipynb
. - Andmestiku eeltöötlemiseks ja arendajakonto S3 ämbrisse üleslaadimiseks käivitage sülearvutis järgmine kood:
Kood loob järgmised andmekogumid:
-
- data/ mammo-train-dataset-part1.csv - Kasutatakse mudeli esimese versiooni koolitamiseks.
- data/ mammo-train-dataset-part2.csv – Kasutatakse mudeli teise versiooni koolitamiseks koos mammo-train-dataset-part1.csv andmestikuga.
- data/mammo-batch-dataset.csv - Kasutatakse järelduste tegemiseks.
- data/mammo-batch-dataset-outliers.csv – Lisab andmekogusse kõrvalekalded, et järelduste konveier ebaõnnestuda. See võimaldab meil testida mustrit, et käivitada mudeli automaatne ümberõpe.
- Laadige andmestik üles
mammo-train-dataset-part1.csv
eesliite allmammography-severity-model/train-dataset
ja laadige üles andmestikudmammo-batch-dataset.csv
jamammo-batch-dataset-outliers.csv
eesliitelemammography-severity-model/batch-dataset
arendajakontol loodud S3 ämbrist: - Laadige üles andmestikud
mammo-train-dataset-part1.csv
jamammo-train-dataset-part2.csv
eesliite allmammography-severity-model/train-dataset
Amazon S3 konsooli kaudu tootekontol loodud S3 ämbrisse. - Laadige üles andmestikud
mammo-batch-dataset.csv
jamammo-batch-dataset-outliers.csv
eesliitelemammography-severity-model/batch-dataset
tootekonto S3 ämbrist.
Käivitage rongi torujuhe
alla <project-name>/pipelines/train
, näete järgmisi Pythoni skripte:
- scripts/raw_preprocess.py - Funktsioonide projekteerimiseks integreerub SageMaker Processingiga
- scripts/evaluate_model.py – Võimaldab antud juhul mudelimõõdikute arvutamist
auc_score
- train_pipeline.py – Sisaldab mudeli koolituskonveieri koodi
Tehke järgmised toimingud.
- Laadige skriptid Amazon S3-sse:
- Hankige rongi torujuhtme näide:
- Esitage rongi torujuhe ja käivitage see:
Järgmisel joonisel on kujutatud koolitustoru edukat käitamist. Konveieri viimane etapp registreerib mudeli kesksele mudeliregistri kontole.
Kinnitage mudel keskses mudeliregistris
Logige sisse kesksele mudeliregistri kontole ja pääsege SageMaker Studio domeenis SageMakeri mudeliregistrisse. Muutke mudeli versiooni olekuks Kinnitatud.
Pärast heakskiitmist tuleks mudeliversiooni olekut muuta.
Käivitage järelduskonveier (valikuline)
See samm pole vajalik, kuid saate siiski käivitada järelduste konveieri, et luua prognoose arendajakontol.
alla <project-name>/pipelines/inference
, näete järgmisi Pythoni skripte:
- scripts/lambda_helper.py – Tõmbab mudeli kesksest registrikontost uusima kinnitatud mudeliversiooni, kasutades SageMaker Pipelines Lambda sammu
- järeldus_pipeline.py – Sisaldab mudeli järelduskonveieri koodi
Tehke järgmised toimingud.
- Laadige skript üles S3 ämbrisse:
- Hankige järelduste konveieri eksemplar, kasutades tavalist pakettandmekomplekti:
- Esitage järelduste konveier ja käivitage see:
Järgmine joonis näitab järelduskonveieri edukat käitamist. Konveieri viimane etapp loob ennustused ja salvestab need S3 ämbrisse. Me kasutame MonitorBatchTransformStep partii teisendustöö sisendite jälgimiseks. Kui esineb kõrvalekaldeid, läheb järelduskonveier ebaõnnestunud olekusse.
Käivitage Jenkinsi torujuhe
. environment/
kaust GitHubi hoidlas sisaldab tootekonto konfiguratsiooniskripti. Jenkinsi torujuhtme käivitamiseks tehke järgmised toimingud.
- Värskendage konfiguratsiooniskripti
prod.tfvars.json
eelmistes etappides loodud ressursside põhjal: - Pärast värskendamist lükake kood kahvlisse GitHubi hoidlasse ja ühendage kood põhiharuga.
- Minge Jenkinsi kasutajaliidesesse, valige Ehitage parameetritegaja käivitage eelmistes sammudes loodud CI/CD konveier.
Kui ehitamine on lõpule viidud ja edukas, saate sisse logida tootekontole ja näha SageMaker Studio domeenis olevaid rongi- ja järelduste torujuhtmeid.
Lisaks näete tootekontol EventBridge'i konsoolil kolme EventBridge'i reeglit:
- Ajastage järelduste konveier
- Saatke rongi torujuhtme tõrketeade
- Kui järelduskonveier ei käivita rongi torujuhet, saatke teatis
Lõpuks näete Amazon SNS-i konsoolis SNS-i teavitusteema, mis saadab teateid meili teel. Saate meili, milles palutakse kinnitada nende teavitusmeilide vastuvõtmist.
Testige järelduskonveierit ilma kõrvalekalleteta pakettandmestiku abil
Et testida, kas järelduskonveier töötab tootmiskontol ootuspäraselt, saame tootmiskontole sisse logida ja käivitada järelduste konveieri, kasutades pakettandmekomplekti ilma kõrvalekalleteta.
Käivitage konsooli SageMaker Pipelines konsooli kaudu tootekonto SageMaker Studio domeenis, kus transform_input
on andmestiku S3 URI ilma kõrvalekalleteta (s3://<s3-bucket-in-prod-account>/mammography-severity-model/data/mammo-batch-dataset.csv
).
Järelduskonveier õnnestub ja kirjutab ennustused tagasi S3 ämbrisse.
Testige järelduskonveieri, kasutades kõrvalekalletega pakettandmekomplekti
Saate käivitada järelduskonveieri, kasutades kõrvalekalletega pakettandmekogumit, et kontrollida, kas automatiseeritud ümberõppemehhanism töötab ootuspäraselt.
Käivitage konsooli SageMaker Pipelines konsooli kaudu tootekonto SageMaker Studio domeenis, kus transform_input
on andmestiku S3 URI koos kõrvalekalletega (s3://<s3-bucket-in-prod-account>/mammography-severity-model/data/mammo-batch-dataset-outliers.csv
).
Järelduskonveier ebaõnnestub ootuspäraselt, mis käivitab EventBridge reegli, mis omakorda käivitab rongi torujuhtme.
Mõne hetke pärast peaksite SageMaker Pipelinesi konsoolil nägema rongi torujuhtme uut käiku, mis võtab vastu kaks erinevat rongide andmestikku (mammo-train-dataset-part1.csv
ja mammo-train-dataset-part2.csv
) laaditi mudeli ümberõpetamiseks üles S3 ämbrisse.
Samuti näete SNS-i teema tellitud meilile saadetud teatist.
Värskendatud mudeliversiooni kasutamiseks logige sisse kesksele mudeliregistri kontole ja kinnitage mudeli versioon, mis valitakse järgmise ajastatud EventBridge reegli kaudu käivitatava järelduskonveieri käitamise ajal.
Kuigi rongi- ja järelduskonveierid kasutavad staatilist andmekogumi URL-i, saate andmestiku URL-i rongile edastada ja järelduskonveierid dünaamiliste muutujatena kasutada, et kasutada värskendatud andmekogumiid mudeli ümberõpetamiseks ja ennustuste loomiseks reaalses olukorras.
Koristage
Edaspidiste tasude vältimiseks toimige järgmiselt.
- Eemaldage SageMaker Studio domeen kõigilt AWS-i kontodelt.
- Kustutage kõik väljaspool SageMakerit loodud ressursid, sealhulgas S3 ämbrid, IAM-i rollid, EventBridge'i reeglid ja SNS-i teema, mis on tootmiskontol Terraformi kaudu seadistatud.
- Kustutage kontode vahel loodud SageMakeri torujuhtmed, kasutades AWS-i käsurea liides (AWS CLI).
Järeldus
Organisatsioonid peavad sageli joonduma kogu ettevõtet hõlmavate tööriistakomplektidega, et võimaldada koostööd erinevate funktsionaalsete valdkondade ja meeskondade vahel. See koostöö tagab, et teie MLOps-platvorm suudab kohaneda arenevate ärivajadustega ja kiirendab ML-i kasutuselevõttu meeskondades. See postitus selgitas, kuidas luua MLOps-i raamistikku mitme keskkonna seadistuses, et võimaldada automaatset mudelite ümberõpet, partiide järeldamist ja jälgimist Amazon SageMaker Model Monitoriga, mudeli versioonide loomist SageMakeri mudeliregistriga ning ML-koodi ja torujuhtmete reklaamimist keskkondades, kasutades CI/CD torujuhe. Esitlesime seda lahendust AWS-teenuste ja kolmandate osapoolte tööriistakomplektide kombinatsiooni abil. Selle lahenduse rakendamise juhised leiate aadressilt GitHubi hoidla. Samuti saate seda lahendust laiendada, lisades oma andmeallikad ja modelleerimisraamistikud.
Autoritest
Gayatri Ghanakota on AWS-i professionaalsete teenustega vanem masinõppeinsener. Ta on kirglik AI/ML-lahenduste arendamiseks, juurutamiseks ja selgitamiseks erinevates valdkondades. Enne seda rolli juhtis ta mitmeid algatusi andmeteadlase ja ML-insenerina finants- ja jaemüügivaldkonna tippettevõtetes. Tal on Colorado ülikoolis Boulderis andmeteadusele spetsialiseerunud arvutiteaduse magistrikraad.
Sunita Koppar on vanem Data Lake'i arhitekt, kes teenindab AWS-i professionaalseid teenuseid. Ta on kirglik klientide valupunktide lahendamise vastu, töötledes suurandmeid ja pakkudes pikaajalisi skaleeritavaid lahendusi. Enne seda rolli töötas ta välja tooteid Interneti-, telekommunikatsiooni- ja autotööstuses ning on olnud AWS-i klient. Tal on andmeteaduse magistrikraad California ülikoolist Riverside'is.
Saswata Dash on AWS-i professionaalsete teenustega DevOpsi konsultant. Ta on töötanud klientidega tervishoiu ja bioteaduste, lennunduse ja tootmise valdkonnas. Ta on kirglik kõigest automatiseerimisest ja tal on laialdased kogemused AWS-is ettevõtte mastaabis kliendilahenduste kavandamisel ja ehitamisel. Väljaspool tööd tegeleb ta oma kirega fotograafia ja päikesetõusude püüdmisega.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
- PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
- PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
- PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/machine-learning/promote-pipelines-in-a-multi-environment-setup-using-amazon-sagemaker-model-registry-hashicorp-terraform-github-and-jenkins-ci-cd/
- :on
- :on
- :mitte
- : kus
- $ UP
- 1
- 10
- 100
- 12
- 13
- 14
- 16
- 17
- 19
- 23
- 27
- 31
- 320
- 7
- 8
- 9
- a
- MEIST
- kiirendab
- vastuvõtmine
- juurdepääs
- konto
- Kontod
- üle
- tegevus
- kohandama
- lisama
- aadress
- haldus-
- Vastuvõtmine
- pärast
- vanus
- AI
- viia
- Materjal: BPA ja flataatide vaba plastik
- võimaldama
- võimaldab
- mööda
- Ka
- Amazon
- Amazon SageMaker
- Amazon Web Services
- an
- ja
- Teine
- mistahes
- taotlus
- asjakohane
- heaks kiitma
- heaks
- arhitektuur
- OLEME
- valdkondades
- ümber
- kunstlik
- tehisintellekti
- Tehisintellekt (AI)
- AS
- küsib
- seotud
- eeldab
- kinnitage
- auto
- Automatiseeritud
- Automaatne
- Automaatika
- auto
- saadaval
- lennundus
- vältima
- AWS
- AWS-i klient
- AWS-i professionaalsed teenused
- tagasi
- põhineb
- alus
- BE
- sest
- olnud
- enne
- on
- BEST
- parimaid tavasid
- vahel
- Suur
- Big andmed
- mõlemad
- Filiaal
- ühendamine
- Toomine
- ehitama
- Ehitus
- ehitatud
- äri
- kuid
- by
- arvutus
- California
- kutsutud
- CAN
- juhul
- kesk-
- muutma
- muutunud
- Vaidluste lahendamine
- koormuste
- kontrollima
- valik
- Vali
- kood
- koostöö
- koguma
- Colorado
- Veerg
- Veerud
- COM
- kombinatsioon
- täitma
- Vastavus
- komponendid
- terviklik
- arvuti
- Arvutiteadus
- seisund
- konfiguratsioon
- Kinnitama
- konsool
- konsultant
- Konteiner
- sisaldab
- kontrollida
- Konventsioon
- muutma
- Vastav
- looma
- loodud
- loomine
- volikiri
- Rist
- klient
- Kliendilahendused
- Kliendid
- iga päev
- armatuurlaud
- andmed
- andmejärv
- andmeteadus
- andmeteadlane
- andmekogumid
- Avaldage lahti
- vaikimisi
- Kraad
- juurutada
- juurutamine
- kasutuselevõtu
- juurutab
- projekteerimine
- detailid
- avastama
- tuvastatud
- dev
- arenenud
- arenev
- & Tarkvaraarendus
- DIKT
- erinev
- domeen
- Domeenid
- ajal
- dünaamiline
- iga
- Ajalugu
- mõju
- kumbki
- kirju
- võimaldama
- krüpteeritud
- insener
- tagab
- sisene
- keskkond
- keskkondades
- oluline
- sündmused
- areneb
- täitmine
- oodatav
- kogemus
- selgitas
- selgitades
- laiendama
- hõlbustada
- FAIL
- Ebaõnnestunud
- ei
- ebaedu
- tunnusjoon
- FUNKTSIOONID
- vähe
- Joonis
- fail
- lõplik
- finants-
- lõpetama
- ettevõtetele
- esimene
- Esimest korda
- Järel
- eest
- avastatud
- Raamistik
- raamistikud
- Alates
- Täida
- täis
- funktsioon
- funktsionaalne
- tulevik
- lõhe
- tekitama
- loodud
- genereerib
- saama
- Git
- GitHub
- Andma
- antud
- annab
- Globaalne
- Go
- Goes
- toetusi
- Grupp
- Olema
- tervishoid
- siin
- rohkem
- omab
- Hosting
- Kuidas
- Kuidas
- HTML
- http
- HTTPS
- ID
- Identity
- if
- rakendamisel
- import
- in
- hõlmab
- Kaasa arvatud
- indeks
- Infrastruktuur
- esialgu
- algatused
- sisendite
- paigaldama
- paigaldatud
- Näiteks
- juhised
- Integreerib
- Intelligentsus
- Internet
- sisse
- kehtestama
- IT
- töö
- Tööturg
- jpg
- Json
- Võti
- võtmed
- silt
- järv
- maastik
- pärast
- hiljemalt
- õppimine
- Led
- võimendatud
- elu
- Maaülikooli
- joon
- logi
- pikaajaline
- masin
- masinõpe
- põhiline
- säilitada
- tegema
- juhitud
- juhtimine
- tootmine
- Varu
- Mass
- meistrid
- mehhanism
- koosolekul
- menüü
- Merge
- Meetrika
- puuduvad
- ML
- MLOps
- mudel
- modelleerimine
- mudelid
- muutma
- Moodulid
- Hetki
- Jälgida
- jälgitakse
- järelevalve
- rohkem
- mitmekordne
- nimi
- Nimega
- nimetamine
- NAVIGATSIOON
- Vajadus
- vaja
- vajadustele
- Uus
- järgmine
- normaalne
- märkmik
- teade
- teated
- number
- tuim
- of
- sageli
- on
- ONE
- Operations
- or
- et
- organisatsioonid
- Muu
- välja
- väljaspool
- üle
- ülevaade
- enda
- pakend
- lehekülg
- Valu
- pandas
- pane
- osa
- osad
- Vastu võetud
- kirg
- kirglik
- Muster
- jõudlus
- Õigused
- fotograafia
- valitud
- Huvitavat
- torujuhe
- inimesele
- Platon
- Platoni andmete intelligentsus
- PlatoData
- võrra
- Poliitika
- poliitika
- post
- tavad
- ennustada
- Ennustused
- Valmistama
- eeldused
- eelmine
- Peamine
- Eelnev
- privileegid
- protsess
- töötlemine
- Produktsioon
- Toodet
- professionaalne
- projekt
- edendama
- edutatud
- edendamine
- anda
- tingimusel
- annab
- pakkudes
- säte
- avalikult
- Tõmbab
- Ajastab
- Lükkama
- Python
- kiiresti
- kiiresti
- Töötlemata
- Lugenud
- valmis
- päris maailm
- piirkond
- registreerima
- registreeritud
- registrite
- registri
- regulatiivne
- seotud
- suhe
- kõrvaldama
- Hoidla
- taotleda
- nõutav
- Nõuded
- ressurss
- Vahendid
- vastus
- jaemüük
- tagasipöördumine
- Jõeäär
- Roll
- rollid
- juur
- Eeskiri
- eeskirjade
- jooks
- jookseb
- salveitegija
- SageMakeri torujuhtmed
- sama
- Säästa
- salvestatud
- skaalautuvia
- stsenaarium
- ajakava
- plaanitud
- planeerimine
- teadus
- TEADUSED
- teadlane
- käsikiri
- skripte
- sujuvalt
- Teine
- Osa
- kindlustama
- turvalisus
- vaata
- saatma
- saatmine
- saadab
- Saadetud
- eri
- server
- teenus
- Teenused
- komplekt
- seaded
- seade
- kuju
- Jaga
- ta
- peaks
- näitama
- tutvustatud
- näidatud
- Näitused
- lihtne
- jupp
- So
- lahendus
- Lahendused
- Lahendamine
- allikas
- Allikad
- Ruum
- spetsialiseeritud
- konkreetse
- jagada
- riik
- väljavõte
- staatiline
- olek
- Samm
- Sammud
- Veel
- salvestada
- ladustatud
- kauplustes
- nöör
- struktuur
- stuudio
- edukas
- selline
- Toetab
- sihtmärk
- meeskonnad
- telekommunikatsiooni
- Terraform
- test
- Testimine
- et
- .
- Neile
- SIIS
- Seal.
- Need
- asjad
- Kolmas
- kolmanda osapoole
- see
- kolm
- Läbi
- aeg
- et
- tööriistakomplektid
- ülemine
- teema
- jälgida
- Rong
- koolitatud
- koolitus
- Muutma
- vallandada
- vallandas
- käivitamine
- tõsi
- Usalda
- Pöörake
- kaks
- ui
- all
- Ülikool
- California Ülikool
- Värskendused
- ajakohastatud
- laetud
- URL
- us
- kasutama
- Kasutatud
- kasutamine
- kasulikkus
- Väärtused
- eri
- versioon
- versioonid
- kaudu
- Video
- nähtav
- Watch
- we
- web
- veebiteenused
- millal
- millal iganes
- samas kui
- mis
- kuigi
- will
- koos
- jooksul
- ilma
- Töö
- töötas
- töövoog
- töö
- töötab
- kirjutama
- kirjalik
- sa
- Sinu
- youtube
- sephyrnet