Koneoppimismallit (ML) eivät toimi erillään. Arvon tuottamiseksi ne on integroitava olemassa oleviin tuotantojärjestelmiin ja infrastruktuuriin, mikä edellyttää koko ML:n elinkaaren huomioon ottamista suunnittelussa ja kehittämisessä. ML-toiminnot, jotka tunnetaan nimellä MLOps, keskittyvät ML-mallien virtaviivaistamiseen, automatisointiin ja seurantaan koko niiden elinkaaren ajan. Vankan MLOps-putkilinjan rakentaminen vaatii monialaista yhteistyötä. Tietotieteilijöiden, ML-insinöörien, IT-henkilöstön ja DevOps-tiimien on työskenneltävä yhdessä mallien toteuttamiseksi tutkimuksesta käyttöönottoon ja ylläpitoon. Oikeilla prosesseilla ja työkaluilla MLOpsin avulla organisaatiot voivat ottaa ML:n käyttöön luotettavasti ja tehokkaasti kaikissa tiimeissään.
Vaikka jatkuvan integroinnin ja jatkuvan toimituksen (CI/CD) putkistojen vaatimukset voivat olla ainutlaatuisia ja heijastaa kunkin organisaation tarpeita, MLOps-käytäntöjen skaalaamista eri tiimeissä voidaan yksinkertaistaa käyttämällä hallittuja orkestraatioita ja työkaluja, jotka voivat nopeuttaa kehitysprosessia ja poistaa erottumattoman raskaan noston. .
Amazon SageMaker MLOps on sarja ominaisuuksia, jotka sisältävät Amazon SageMaker -projektit (CI/CD), Amazon SageMaker -putkistot ja Amazon SageMaker -mallirekisteri.
SageMaker-putkistot mahdollistaa ML-työnkulkujen yksinkertaisen luomisen ja hallinnan, samalla kun se tarjoaa myös tallennus- ja uudelleenkäyttöominaisuudet työnkulun vaiheille. The SageMaker-mallirekisteri keskittää mallin seurannan ja yksinkertaistaa mallin käyttöönottoa. SageMaker-projektit esittelee CI/CD-käytännöt ML:ssä, mukaan lukien ympäristöpariteetti, versionhallinta, testaus ja automaatio. Tämä mahdollistaa nopean CI/CD:n perustamisen ML-ympäristöösi, mikä helpottaa tehokasta skaalautuvuutta koko yrityksessäsi.
Sisäänrakennettu projektimallit antamat Amazon Sage Maker sisältää integroinnin joidenkin kolmansien osapuolien työkaluihin, kuten Jenkins orkestrointiin ja GitHub lähteen hallintaan, ja monet käyttävät AWS:n alkuperäisiä CI/CD-työkaluja, kuten esim. AWS CodeCommit, AWS-koodiputkija AWS CodeBuild. Monissa skenaarioissa asiakkaat kuitenkin haluaisivat integroida SageMaker Pipelines -järjestelmät muihin olemassa oleviin CI/CD-työkaluihin ja luoda siksi omia projektimallejaan.
Tässä viestissä näytämme sinulle vaiheittaisen toteutuksen seuraavien tavoitteiden saavuttamiseksi:
- Luo mukautettu SageMaker MLOps -projektimalli, joka integroituu GitHubin ja GitHub Actionsin kanssa
- Ota mukautetut projektimallisi käyttöön Amazon SageMaker Studio datatieteen tiimillesi yhdellä napsautuksella
Ratkaisun yleiskatsaus
Tässä viestissä rakennamme seuraavan arkkitehtuurin. Luomme automatisoidun mallinrakennusprosessin, joka sisältää vaiheet tietojen valmisteluun, mallin koulutukseen, mallien arviointiin ja koulutetun mallin rekisteröintiin SageMaker-mallirekisteriin. Tuloksena oleva koulutettu ML-malli otetaan sitten käyttöön SageMaker-mallirekisteristä lavastus- ja tuotantoympäristöihin manuaalisen hyväksynnän jälkeen.
Syvetään tämän arkkitehtuurin elementteihin ymmärtääksemme koko kokoonpanon.
GitHub ja GitHub Actions
GitHub on verkkopohjainen alusta, joka tarjoaa versionhallinnan ja lähdekoodin hallinnan Gitin avulla. Sen avulla tiimit voivat tehdä yhteistyötä ohjelmistokehitysprojekteissa, seurata muutoksia ja hallita koodivarastoja. GitHub toimii keskitettynä sijaintipaikkana ML-koodipohjasi tallentamiseen, versiointiin ja hallintaan. Tämä varmistaa, että ML-koodipohjasi ja liukuhihnat ovat versioituja, dokumentoituja ja ryhmän jäsenten käytettävissä.
GitHub-toiminnot on tehokas automaatiotyökalu GitHub-ekosysteemissä. Sen avulla voit luoda mukautettuja työnkulkuja, jotka automatisoivat ohjelmistokehityksen elinkaariprosessit, kuten koodin rakentamisen, testauksen ja käyttöönoton. Voit luoda tapahtumapohjaisia työnkulkuja, jotka laukaisevat tietyt tapahtumat, kuten kun koodi työnnetään arkistoon tai luodaan vetopyyntö. Kun otat MLOps käyttöön, voit käyttää GitHub Actions -toimintoja automatisoidaksesi ML-putken eri vaiheita, kuten:
- Tietojen validointi ja esikäsittely
- Mallin koulutus ja arviointi
- Mallin käyttöönotto ja seuranta
- CI/CD ML-malleille
GitHub Actionsin avulla voit virtaviivaistaa ML-työnkulkujasi ja varmistaa, että mallisi rakennetaan, testataan ja otetaan käyttöön johdonmukaisesti, mikä johtaa tehokkaampiin ja luotettavampiin ML-käyttöönottoihin.
Seuraavissa osissa aloitamme määrittämällä edellytykset, jotka liittyvät joihinkin tämän arkkitehtuurin osana käyttämiimme komponentteihin:
- AWS-pilven muodostuminen - AWS-pilven muodostuminen käynnistää mallin käyttöönoton ja määrittää SageMaker-päätepisteet sen jälkeen, kun mallin käyttöönottoprosessi on aktivoitu koulutetun mallin hyväksynnän perusteella.
- AWS CodeStar -liitäntä - Käytämme AWS CodeStar luoda linkki GitHub-tietovarastoon ja käyttää sitä koodivaraston integrointina AWS-resurssien, kuten SageMaker Studion, kanssa.
- Amazon EventBridge - Amazon EventBridge pitää kirjaa kaikista mallirekisteriin tehdyistä muutoksista. Se ylläpitää myös sääntöä, joka kehottaa Lambda-funktiota ottamaan käyttöön malliputken, kun mallipaketin version tila muuttuu
PendingManualApproval
ettäApproved
mallirekisterissä. - AWS Lambda – Käytämme an AWS Lambda -toiminto käynnistää mallin käyttöönoton työnkulun GitHub Actionsissa sen jälkeen, kun uusi malli on rekisteröity mallirekisteriin.
- Amazon Sage Maker – Konfiguroimme seuraavat SageMaker-komponentit:
- Putkilinja – Tämä komponentti koostuu suunnatusta asyklisestä graafista (DAG), joka auttaa meitä rakentamaan automatisoidun ML-työnkulun tietojen valmistelun, mallin koulutuksen ja mallin arvioinnin vaiheita varten. Mallirekisteri ylläpitää kirjaa malliversioista, niihin liittyvistä artefakteista, sukulinjasta ja metatiedoista. Perustetaan mallipakettiryhmä, joka sisältää kaikki asiaan liittyvät malliversiot. Mallirekisteri on myös vastuussa malliversion hyväksymistilan hallinnasta myöhempää käyttöönottoa varten.
- päätepiste – Tämä komponentti määrittää kaksi reaaliaikaista HTTPS-päätepistettä päätelmiä varten. Isännöintikonfiguraatiota voidaan säätää esimerkiksi erämuunnokselle tai asynkroniselle päättelylle. Välivaiheen päätepiste luodaan, kun mallin käyttöönottoprosessi aktivoidaan koulutetun mallin hyväksynnän perusteella SageMaker-mallirekisteristä. Tätä päätepistettä käytetään käytössä olevan mallin validointiin varmistamalla, että se tarjoaa tarkkuusstandardimme täyttäviä ennusteita. Kun malli on valmisteltu tuotantokäyttöön, tuotannon päätepiste otetaan käyttöön manuaalisessa hyväksymisvaiheessa GitHub Actions -työnkulussa.
- Varastotunnus – Tämä luo Git-arkiston resurssiksi SageMaker-tilillesi. Käyttämällä GitHub-koodivaraston olemassa olevia tietoja, jotka olet syöttänyt SageMaker-projektisi luomisen aikana, yhteys samaan tietovarastoon muodostetaan SageMakerissa, kun aloitat projektin. Tämä muodostaa olennaisesti linkin GitHub-tietovarastoon SageMakerissa, mikä mahdollistaa interaktiiviset toiminnot (pull/push) arkiston kanssa.
- Mallin rekisteri – Tämä valvoo mallin eri versioita ja vastaavia artefakteja, jotka sisältävät sukulinjan ja metatiedot. Kokoelma, joka tunnetaan nimellä a mallipakettiryhmä on luotu, asumiseen liittyviä versioita mallista. Lisäksi mallirekisteri valvoo malliversion hyväksymistilaa ja varmistaa sen valmiuden myöhempää käyttöönottoa varten.
- AWS -salaisuuksien hallinta – Jotta GitHubin henkilökohtainen käyttöoikeustunnus säilyisi turvallisesti, sinun on määritettävä salaisuus AWS -salaisuuksien hallinta ja tallenna pääsytunnuksesi siihen.
- AWS-palveluluettelo – Käytämme AWS-palveluluettelo SageMaker-projektien toteuttamiseen, jotka sisältävät komponentteja, kuten SageMaker-koodivaraston, Lambda-toiminnon, EventBridge-säännön, artefaktien S3-ämpäri jne., jotka kaikki toteutetaan CloudFormationin kautta. Näin organisaatiosi voi käyttää projektimalleja toistuvasti, allokoida projekteja kullekin käyttäjälle ja virtaviivaistaa toimintaa.
- Amazon S3 – Käytämme an Amazonin yksinkertainen tallennuspalvelu (Amazon S3) ämpäri pitääksesi putkilinjan tuottamat malliesineet.
Edellytykset
Sinulla tulee olla seuraavat edellytykset:
Sinun on myös suoritettava lisäasennusvaiheita ennen ratkaisun käyttöönottoa.
Määritä AWS CodeStar -yhteys
Jos sinulla ei vielä ole AWS CodeStar -yhteyttä GitHub-tiliisi, katso kohta Luo yhteys GitHubiin saadaksesi ohjeet sellaisen luomiseen. AWS CodeStar -yhteytesi ARN näyttää tältä:
Tässä esimerkissä aEXAMPLE-8aad-4d5d-8878-dfcab0bc441f
on tämän yhteyden yksilöivä tunnus. Käytämme tätä tunnusta, kun luomme SageMaker-projektimme myöhemmin tässä esimerkissä.
Määritä salaiset pääsyavaimet GitHub-tunnuksellesi
Jos haluat tallentaa GitHubin henkilökohtaisen käyttötunnuksesi turvallisesti, sinun on luotava salaisuus Secrets Managerissa. Jos sinulla ei ole henkilökohtaista pääsytunnusta GitHubille, katso Henkilökohtaisten käyttöoikeuksien hallinta saadaksesi ohjeet sellaisen luomiseen.
Voit luoda joko klassisen tai hienorakeisen käyttötunnuksen. Varmista kuitenkin, että tunnuksella on pääsy arkiston sisältöön ja toimintoihin (työnkulut, suoritukset ja artefaktit).
Suorita seuraavat vaiheet tallentaaksesi tunnuksesi Secrets Manageriin:
- Valitse Secrets Manager -konsolista Tallenna uusi salaisuus.
- valita Muunlainen salaisuus varten Valitse salainen tyyppi.
- Anna salaisuudellesi nimi avain -kenttään ja lisää henkilökohtainen käyttöoikeustunnus vastaavaan Arvo ala.
- Valita seuraava, anna salaisuudellesi nimi ja valitse seuraava uudelleen.
- Valita Kauppa pelastaaksesi salaisuutesi.
Tallentamalla henkilökohtaisen GitHub-käyttötunnuksesi Secrets Manageriin, voit käyttää sitä turvallisesti MLOps-putkessasi varmistaen samalla sen luottamuksellisuuden.
Luo IAM-käyttäjä GitHub Actionsille
Jotta GitHub Actions voi ottaa käyttöön SageMaker-päätepisteitä AWS-ympäristössäsi, sinun on luotava AWS-henkilöllisyyden ja käyttöoikeuksien hallinta (IAM) käyttäjälle ja myönnä sille tarvittavat käyttöoikeudet. Katso ohjeet kohdasta IAM-käyttäjän luominen AWS-tililläsi. Käytä iam/GithubActionsMLOpsExecutionPolicy.json
tiedosto (saatavilla koodinäyte) antaaksesi tälle käyttäjälle riittävät oikeudet ottaa käyttöön päätepisteesi.
Kun olet luonut IAM-käyttäjän, luoda pääsyavaimen. Käytät tätä avainta, joka koostuu sekä pääsyavaimen tunnuksesta että salaisesta pääsyavaimesta, seuraavassa vaiheessa, kun määrität GitHub-salaisuuksiasi.
Määritä GitHub-tilisi
Seuraavat vaiheet valmistelevat GitHub-tilisi tämän esimerkin suorittamista varten.
Kloonaa GitHub-arkisto
Voit käyttää uudelleen olemassa olevaa GitHub-repoa tässä esimerkissä. Se on kuitenkin helpompaa, jos luot uuden arkiston. Tämä arkisto sisältää kaiken lähdekoodin sekä SageMaker-putkilinjan koontiversioille että käyttöönottoille.
Kopioi alkukoodihakemiston sisältö GitHub-arkistosi juureen. Esimerkiksi, .github
hakemiston tulee olla GitHub-arkistosi juuren alla.
Luo GitHub-salaisuus, joka sisältää IAM-käyttäjäavaimesi
Tässä vaiheessa tallennamme äskettäin luodun käyttäjän pääsyavaintiedot omaan GitHubin salaisuus.
- Siirry GitHub-verkkosivustolla arkistoon ja valitse Asetukset.
- Valitse suojausosiossa Salaisuudet ja muuttujat Ja valitse Toiminnot.
- Valita Uusi arkiston salaisuus.
- varten Nimi, tulla sisään
AWS_ACCESS_KEY_ID
- varten salaisuus, anna aiemmin luomaasi IAM-käyttäjään liittyvä pääsyavaimen tunnus.
- Valita Lisää Secret.
- Toista sama toimenpide
AWS_SECRET_ACCESS_KEY
Määritä GitHub-ympäristösi
Luodaksemme manuaalisen hyväksymisvaiheen käyttöönottoputkissamme käytämme a GitHub-ympäristö. Suorita seuraavat vaiheet:
- Siirry Asetukset, Ympäristöt GitHub-arkistosi valikosta ja luo uusi tuotantoympäristö.
- varten Ympäristönsuojelusäännötvalitse Vaaditut arvioijat.
- Lisää haluamasi GitHub-käyttäjänimet arvioijiksi. Tässä esimerkissä voit valita oman käyttäjätunnuksesi.
Huomaa, että ympäristöominaisuus ei ole käytettävissä kaikissa GitHub-suunnitelmissa. Lisätietoja on kohdassa Käyttöympäristöjen käyttö käyttöönottoon.
Ota Lambda-toiminto käyttöön
Seuraavissa vaiheissa puristamme lambda_function.py
.zip-tiedostoon, joka ladataan sitten S3-säilöyn.
Tätä vastaava koodiesimerkki löytyy seuraavasta GitHub repo. Erityisesti lambda_function.py
sijaitsee lambda_functions/lambda_github_workflow_trigger hakemistoon.
On suositeltavaa luoda haarukka koodinäytteestä ja kloonata se sen sijaan. Tämä antaa sinulle vapauden muokata koodia ja kokeilla näytteen eri puolia.
- Kun olet hankkinut kopion koodista, siirry sopivaan hakemistoon ja käytä
zip
komento pakkaamiseenlambda_function.py
. Sekä Windows- että MacOS-käyttäjät voivat käyttää alkuperäistä tiedostonhallintajärjestelmää, File Exploreria tai Finderia, .zip-tiedoston luomiseen.
- Lataa
lambda-github-workflow-trigger.zip
S3-ämpäriin.
Palveluluettelosta pääsee myöhemmin käsiksi tähän ryhmään. Voit valita minkä tahansa ryhmän, johon sinulla on käyttöoikeus, kunhan Service Catalog pystyy hakemaan tietoja siitä myöhemmissä vaiheissa.
Tästä vaiheesta eteenpäin vaadimme, että AWS CLI v2 on asennettu ja määritetty. Vaihtoehtona olisi käyttää AWS CloudShellia, jonka mukana tulee kaikki tarvittavat työkalut esiasennettuina, mikä eliminoi lisäkokoonpanojen tarpeen.
- Lataa tiedosto S3-säihöön käyttämällä seuraavaa komentoa:
Nyt rakennamme Lambda-kerroksen riippuvuuksille, jotka liittyvät kohteeseen lambda_function
latasimme juuri.
- Asenna Python-virtuaaliympäristö ja asenna riippuvuudet:
- Luo .zip-tiedosto seuraavilla komennoilla:
- Julkaise taso AWS:ssä:
Kun tämä kerros on julkaistu, kaikki Lambda-funktiot voivat nyt viitata siihen vastatakseen riippuvuuksiinsa. Lisätietoja lambda-kerroksista on kohdassa Työskentely lambda-kerrosten kanssa.
Luo mukautettu projektimalli SageMakerissa
Kun kaikki yllä olevat vaiheet on suoritettu, meillä on kaikki CI/CD-putkien resurssit ja komponentit. Seuraavaksi esittelemme, kuinka voimme asettaa nämä resurssit saataville mukautettuna projektina SageMaker Studiossa, joka on käytettävissä yhdellä napsautuksella.
Kuten aiemmin mainittiin, kun SageMakerin toimittamat mallit eivät täytä tarpeitasi (esimerkiksi haluat monimutkaisempaa orkestrointia CodePipelinessa useilla vaiheilla, mukautettuja hyväksymisvaiheita tai integroida kolmannen osapuolen työkaluihin, kuten GitHub- ja GitHub-toimintoihin tässä viestissä), voit luoda omia malleja. Suosittelemme aloittamaan SageMakerin toimittamilla malleilla, jotta ymmärrät, kuinka voit järjestää koodisi ja resurssit ja rakentaa niiden päälle. Katso lisätietoja osoitteesta Luo mukautettuja projektimalleja.
Huomaa, että voit myös automatisoida tämän vaiheen ja käyttää sen sijaan CloudFormationia palvelukatalogiportfolion ja -tuotteen käyttöönottoon koodin avulla. Tässä viestissä näytämme sinulle konsolin käyttöönoton paremman oppimiskokemuksen vuoksi.
Tässä vaiheessa käytämme toimitettua CloudFormation-mallia palveluluettelosalkun luomiseen, joka auttaa meitä luomaan mukautettuja projekteja SageMakerissa.
Voit luoda uuden toimialueen tai käyttää SageMaker-verkkotunnustasi uudelleen seuraaviin vaiheisiin. Jos sinulla ei ole verkkotunnusta, katso Ota käyttöön Amazon SageMaker -verkkotunnus pika-asetuksella asennusohjeet.
Kun olet sallinut järjestelmänvalvojan pääsyn SageMaker-malleihin, suorita seuraavat vaiheet:
- Palveluluettelo-konsolissa, kohdassa Ylläpito valitse siirtymisruudussa Salkut.
- Valita Luo uusi salkku.
- Nimeä portfolio "SageMaker-organisaatiomallit".
- Lataa template.yml tiedosto tietokoneellesi.
Tämä Cloud Formation -malli sisältää kaikki CI/CD-resurssit, joita tarvitsemme kokoonpanona ja infrastruktuurin koodina. Voit tutkia mallia yksityiskohtaisemmin nähdäksesi, mitä resursseja käytetään osana sitä. Tämä malli on mukautettu integroitumaan GitHubin ja GitHub Actionsin kanssa.
- In
template.yml
tiedosto, muutaS3Bucket
arvo säilöön, johon olet ladannut Lambda .zip-tiedoston:
- Valitse uusi salkku.
- Valita Lataa uusi tuote.
- varten Tuotteen nimi¸ anna mallillesi nimi. Käytämme nimeä
build-deploy-github
. - varten Kuvaus, kirjoita kuvaus.
- varten Omistaja, Kirjoita nimesi.
- Alle VersiotiedotVarten Menetelmä, valitse Käytä mallitiedostoa.
- Valita Lähetä malli.
- Lataa lataamasi malli.
- varten Version nimi, valitse 1.0.
- Valita Arvostelu.
- Tarkista asetukset ja valitse Luo tuote.
- Valita virkistää luetteloida uusi tuote.
- Valitse juuri luomasi tuote.
- On Tunnisteet -välilehdellä, lisää tuotteeseen seuraava tunniste:
- avain =
sagemaker:studio-visibility
- Arvo =
true
- avain =
Takaisin portfolion tiedoissa sinun pitäisi nähdä jotain seuraavan kuvakaappauksen kaltaista (eri tunnuksilla).
- On rajoitteet välilehti, valitse Luo rajoitus.
- varten Tuotteet, valitse
build-deploy-github
(juuri luomasi tuote). - varten Rajoite kirjoita, valitse Käynnistää.
- Alle Käynnistä rajoitusVarten Menetelmä, valitse Valitse IAM-rooli.
- Valita
AmazonSageMakerServiceCatalogProductsLaunchRole
. - Valita luoda.
- On Ryhmät, roolit ja käyttäjät välilehti, valitse Lisää ryhmiä, rooleja, käyttäjiä.
- On Roolit -välilehdellä valitse rooli, jota käytit määrittäessäsi SageMaker Studio -verkkotunnustasi. Täältä löytyy SageMaker-verkkotunnuksen rooli.
- Valita Lisää käyttöoikeus.
Ota projekti käyttöön SageMaker Studiosta
Edellisissä osissa valmistelit mukautetun MLOps-projektiympäristön. Luodaan nyt projekti käyttämällä tätä mallia:
- Siirry SageMaker-konsolissa verkkotunnukseen, johon haluat luoda tämän projektin.
- On Käynnistää valikosta, valitse studio.
Sinut ohjataan SageMaker Studio -ympäristöön.
- SageMaker Studion navigointiruudussa alla käyttöönottoja, valitse Projektit.
- Valita Luo hanke.
- Valitse malliluettelon yläreunasta Organisaation mallit.
Jos olet käynyt läpi kaikki edelliset vaiheet onnistuneesti, sinun pitäisi pystyä näkemään uusi mukautettu projektimalli nimeltä Build-Deploy-GitHub
.
- Valitse kyseinen malli ja valitse Valitse Projektimalli.
- Anna valinnainen kuvaus.
- varten GitHub-tietovaraston omistajan nimi, anna GitHub-arkistosi omistaja. Esimerkiksi jos arkistosi on osoitteessa
https://github.com/pooyavahidi/my-repo
, omistaja olisipooyavahidi
. - varten GitHub-arkiston nimi, kirjoita sen arkiston nimi, johon kopioit siemenkoodin. Se olisi vain repon nimi. Esimerkiksi sisään
https://github.com/pooyavahidi/my-repo
, repo onmy-repo
. - varten Codestar-yhteyden yksilöllinen tunnus, anna luomasi AWS CodeStar -yhteyden yksilöllinen tunnus.
- varten Sen salaisuuden nimi Secrets Managerissa, joka tallentaa GitHub-tunnuksen, kirjoita salaisuuden nimi Secrets Manageriin, johon loit ja tallensit GitHub-tunnuksen.
- varten GitHub-työnkulkutiedosto käyttöönottoa varten, kirjoita GitHub-työnkulkutiedoston nimi (at
.github/workflows/deploy.yml
), jossa sinulla on käyttöönotto-ohjeet. Tässä esimerkissä voit pitää sen oletuksena, mikä ondeploy.yml
. - Valita Luo hanke.
- Kun olet luonut projektin, varmista, että päivität
AWS_REGION
jaSAGEMAKER_PROJECT_NAME
ympäristömuuttujat GitHub-työnkulkutiedostoissasi vastaavasti. Työnkulkutiedostot ovat GitHub-varastossa (kopioitu siemenkoodista), sisällä.github/workflows
hakemistosta. Varmista, että päivität molemmatbuild.yml
jadeploy.yml
tiedostoja.
Nyt ympäristösi on valmis menemään! Voit ajaa putkia suoraan, tehdä muutoksia ja työntää muutokset GitHub-tietovarastoon käynnistääksesi automatisoidun koontiprosessin ja nähdäksesi, kuinka kaikki rakentamisen ja käyttöönoton vaiheet automatisoidaan.
Puhdistaa
Voit puhdistaa resurssit suorittamalla seuraavat vaiheet:
- Poista SageMaker-projektissa ja SageMaker-päätepisteissä käytetyt CloudFormation-pinot.
- Poista SageMaker-verkkotunnus.
- Poista palveluluettelon resurssit.
- Poista AWS CodeStar -yhteyslinkki GitHub-tietovaraston kanssa.
- Poista IAM-käyttäjä, jonka loit GitHub Actionsille.
- Poista salaisuus Secrets Managerista, joka tallentaa GitHubin henkilökohtaiset käyttöoikeustiedot.
Yhteenveto
Tässä viestissä kävimme läpi mukautetun SageMaker MLOps -projektimallin käyttämisen CI/CD-putkilinjan automaattiseen rakentamiseen ja järjestämiseen. Tämä putki yhdistää tehokkaasti olemassa olevat CI/CD-mekanismit SageMaker-ominaisuuksiin tietojen käsittelyä, mallin koulutusta, mallin hyväksyntää ja mallin käyttöönottoa varten. Skenaariossamme keskityimme GitHub Actionsin integroimiseen SageMaker-projektien ja -putkien kanssa. Saat kattavan ymmärryksen toteutuksen yksityiskohdista vierailemalla osoitteessa GitHub-arkisto. Voit vapaasti kokeilla tätä ja älä epäröi jättää mahdollisia kyselyitä kommenttiosioon.
Tietoja Tekijät
Tri Romina Sharifpour on vanhempi koneoppimis- ja tekoälyratkaisujen arkkitehti Amazon Web Servicesissä (AWS). Hän on viettänyt yli 10 vuotta johtanut innovatiivisten kokonaisvaltaisten ratkaisujen suunnittelua ja toteutusta, jotka ovat mahdollistaneet ML:n ja tekoälyn edistyminen. Rominan kiinnostusalueita ovat luonnollisen kielen käsittely, suuret kielimallit ja MLO:t.
Pooya Vahidi on AWS:n vanhempi ratkaisuarkkitehti, joka on intohimoinen tietojenkäsittelytieteestä, tekoälystä ja pilvipalveluista. Tekoälyammattilaisena hän on aktiivinen jäsen AWS AI/ML Area-of-Depth -tiimissä. Hänellä on yli kahden vuosikymmenen kokemus laajamittaisten ratkaisujen arkkitehtuurin ja suunnittelun johtamisesta. Hän auttaa asiakkaita heidän muuttavalla matkallaan pilvi- ja AI/ML-tekniikoiden kautta.
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
- PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
- PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
- PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
- Lähde: https://aws.amazon.com/blogs/machine-learning/build-an-end-to-end-mlops-pipeline-using-amazon-sagemaker-pipelines-github-and-github-actions/
- :on
- :On
- :ei
- :missä
- $ YLÖS
- 10
- 100
- 114
- 14
- 20
- 28
- 7
- 8
- 9
- a
- pystyy
- Meistä
- edellä
- kiihdyttää
- pääsy
- Accessed
- saatavilla
- sen mukaisesti
- Tili
- tarkkuus
- Saavuttaa
- poikki
- toimet
- aktiivinen
- asykliset
- lisätä
- lisä-
- Oikaistu
- hyväksyä
- edistysaskeleet
- Jälkeen
- uudelleen
- AI
- AI / ML
- Kaikki
- jakaa
- sallia
- mahdollistaa
- jo
- Myös
- vaihtoehto
- Amazon
- Amazon Sage Maker
- Amazon SageMaker -putkistot
- Amazon Web Services
- Amazon Web Services (AWS)
- an
- ja
- ja infrastruktuuri
- Kaikki
- sopiva
- hyväksyminen
- arkkitehtuuri
- OVAT
- alueet
- keinotekoinen
- tekoäly
- AS
- näkökohdat
- liittyvä
- Yhdistys
- At
- automatisoida
- Automatisoitu
- automaattisesti
- automatisointi
- Automaatio
- saatavissa
- AWS
- tausta
- pohja
- BE
- ollut
- ennen
- sekä
- rakentaa
- Rakentaminen
- rakentaa
- rakennettu
- sisäänrakennettu
- by
- nimeltään
- CAN
- kyvyt
- luettelo
- CD
- keskitetty
- muuttaa
- Muutokset
- Valita
- klassinen
- puhdas
- napsauttaa
- pilvi
- cloud computing
- koodi
- koodikanta
- tehdä yhteistyötä
- yhteistyö
- kokoelma
- tulee
- kommentit
- täydellinen
- valmistuminen
- monimutkainen
- komponentti
- osat
- kattava
- tietokone
- Tietojenkäsittelyoppi
- tietojenkäsittely
- luottamuksellisuus
- Konfigurointi
- määritetty
- konfigurointi
- liitäntä
- ottaen huomioon
- johdonmukaisesti
- muodostuu
- Console
- rakentaa
- sisältää
- sisältö
- jatkuva
- ohjaus
- vastaava
- luoda
- luotu
- luo
- Luominen
- luominen
- asiakassuhde
- Asiakkaat
- räätälöityjä
- PÄIVÄ
- tiedot
- Tietojen valmistelu
- tietojenkäsittely
- vuosikymmeninä
- oletusarvo
- toimittaa
- toimitus
- kaivaa
- vaatii
- osoittaa
- osoittivat
- riippuvuudet
- sijoittaa
- käyttöön
- levityspinnalta
- käyttöönotto
- käyttöönotot
- kuvaus
- Malli
- haluttu
- yksityiskohta
- yksityiskohtainen
- yksityiskohdat
- Kehitys
- eri
- suunnattu
- suoraan
- keskusteltiin
- do
- verkkotunnuksen
- Dont
- aikana
- kukin
- Aikaisemmin
- helpompaa
- ekosysteemi
- Tehokas
- tehokkaasti
- tehokas
- tehokkaasti
- myöskään
- elementtejä
- poistamalla
- mahdollistaa
- käytössä
- mahdollistaa
- mahdollistaa
- päittäin
- päätepiste
- Tekniikka
- Engineers
- varmistaa
- varmistaa
- varmistamalla
- enter
- yritys
- Koko
- ympäristö
- ympäristöissä
- olennaisesti
- perustaa
- vakiintunut
- laatii
- perustaminen
- jne.
- arviointi
- Tapahtumat
- esimerkki
- olemassa
- experience
- kokeilu
- asiantuntemus
- tutkimusmatkailija
- helpottaminen
- Ominaisuus
- Ominaisuudet
- tuntea
- ala
- filee
- Asiakirjat
- löytäjä
- Keskittää
- keskityttiin
- jälkeen
- varten
- haarukka
- muodostus
- lomakkeet
- löytyi
- Ilmainen
- Vapaus
- alkaen
- toiminto
- tehtävät
- tuottaa
- syntyy
- saada
- mennä
- GitHub
- Antaa
- menee
- poissa
- myöntää
- kaavio
- suurempi
- Ryhmä
- Ryhmän
- Olla
- he
- raskas
- raskas nosto
- auttaa
- hotellit
- Talo
- talot
- kotelo
- Miten
- Miten
- Kuitenkin
- HTML
- http
- HTTPS
- ID
- Identiteetti
- ids
- if
- täytäntöönpano
- täytäntöön
- täytäntöönpanosta
- in
- sisältää
- sisältää
- Mukaan lukien
- tiedot
- Infrastruktuuri
- aloittaa
- Osaa aloittaa
- innovatiivinen
- panos
- sisällä
- asentaa
- asennetaan
- esimerkki
- sen sijaan
- ohjeet
- yhdistää
- integroi
- Integrointi
- integraatio
- Älykkyys
- vuorovaikutteinen
- korko
- tulee
- Esittelee
- eristäminen
- IT
- SEN
- matkat
- jpg
- json
- vain
- Pitää
- pitää
- avain
- avaimet
- tunnettu
- Kieli
- suuri
- laaja
- myöhemmin
- käynnistää
- kerros
- kerrokset
- johtava
- oppiminen
- jättää
- elinkaari
- nosto
- pitää
- sukuperä
- LINK
- Lista
- sijaitsevat
- sijainti
- Pitkät
- katso
- näyttää joltakin
- kone
- koneoppiminen
- MacOS
- ylläpitää
- huolto
- tehdä
- hoitaa
- onnistui
- johto
- johtaja
- toimitusjohtaja
- Manipulointi
- manuaalinen
- monet
- mekanismit
- Tavata
- jäsen
- Jäsenet
- valikko
- Metadata
- ehkä
- MIT
- ML
- MLOps
- malli
- mallit
- Muutokset
- muokata
- seuranta
- näytöt
- lisää
- tehokkaampi
- Lisäksi
- moninkertainen
- täytyy
- nimi
- nimetty
- nimet
- syntyperäinen
- Luonnollinen
- Luonnollinen kielen käsittely
- Navigoida
- suunnistus
- välttämätön
- vaatii
- Tarve
- tarpeet
- Uusi
- uusi tuote
- hiljattain
- seuraava
- nyt
- saada
- of
- tarjoamalla
- on
- ONE
- alkaen
- käyttää
- Operations
- or
- orkestrointi
- organisaatio
- organisaatioiden
- Muut
- meidän
- yli
- yleiskatsaus
- oma
- omistaja
- paketti
- lasi
- pariteetti
- osa
- puolue
- intohimoinen
- Oikeudet
- henkilöstö
- putki
- suunnitelmat
- foorumi
- Platon
- Platonin tietotieto
- PlatonData
- salkku
- Kirje
- voimakas
- käytännöt
- Ennusteet
- valmistelu
- Valmistella
- valmis
- edellytyksiä
- edellinen
- menettelyt
- prosessi
- Prosessit
- käsittely
- valmistettu
- Tuotteet
- tuotanto
- ammatillinen
- projekti
- hankkeet
- ohjeita
- suojaus
- toimittaa
- mikäli
- tarjoaa
- julkaistu
- Työnnä
- työntää
- Python
- kyselyt
- nopea
- valmius
- valmis
- reaaliaikainen
- suositella
- suositeltu
- asiakirjat
- katso
- viite
- heijastaa
- kirjattu
- Rekisteröinti
- rekisterin
- liittyvä
- merkityksellinen
- luotettava
- poistaa
- TOISTUVASTI
- säilytyspaikka
- pyyntö
- edellyttää
- vaatimukset
- tutkimus
- resurssi
- Esittelymateriaalit
- vastaavasti
- vastuullinen
- Saatu ja
- uudelleenkäyttö
- oikein
- luja
- Rooli
- roolit
- juuri
- Sääntö
- ajaa
- toimii
- sagemaker
- SageMaker-putkistot
- sama
- Säästä
- skaalautuvuus
- skaalaus
- skenaario
- skenaariot
- tiede
- tutkijat
- salaisuus
- salaisuuksia
- Osa
- osiot
- turvallisesti
- turvallisuus
- nähdä
- siemenet
- valita
- vanhempi
- palvelee
- palvelu
- Palvelut
- Setit
- asetus
- settings
- setup
- useat
- hän
- shouldnt
- näyttää
- samankaltainen
- Yksinkertainen
- yksinkertaistettu
- yksinkertaistaminen
- Tuotteemme
- ohjelmistokehitys
- ratkaisu
- Ratkaisumme
- jonkin verran
- jotain
- lähde
- lähdekoodi
- jännitys
- erityinen
- erityisesti
- käytetty
- Stacks
- Henkilöstö
- Vaihe
- vaiheissa
- näyttämöllepano
- standardit
- Alkaa
- Aloita
- Tila
- Vaihe
- Askeleet
- Levytila
- verkkokaupasta
- tallennettu
- varastot
- tallentamiseksi
- suora
- tehostaa
- virtaviivaistaminen
- studio
- tutkimus
- myöhempi
- Onnistuneesti
- niin
- riittävä
- sviitti
- varma
- järjestelmä
- järjestelmät
- TAG
- joukkue-
- Ryhmän jäsenet
- tiimit
- Technologies
- sapluuna
- malleja
- testattu
- Testaus
- että
- -
- Lähde
- heidän
- sitten
- siksi
- Nämä
- ne
- kolmas
- kolmannen osapuolen
- tätä
- ne
- Kautta
- kauttaaltaan
- että
- yhdessä
- symbolinen
- työkalu
- työkalut
- ylin
- raita
- Seuranta
- koulutettu
- koulutus
- Muuttaa
- transformatiivinen
- laukaista
- laukeaa
- kaksi
- tyyppi
- tyypit
- varten
- ymmärtää
- ymmärtäminen
- unique
- Päivitykset
- ladattu
- päälle
- us
- käyttää
- käytetty
- käyttäjä
- Käyttäjät
- käyttämällä
- käyttää
- hyödynnetty
- VAHVISTA
- validointi
- arvo
- eri
- versio
- versiot
- kautta
- Virtual
- Vierailla
- käveli
- haluta
- we
- verkko
- verkkopalvelut
- Web-pohjainen
- Verkkosivu
- Mitä
- kun
- joka
- vaikka
- tulee
- ikkunat
- with
- sisällä
- Referenssit
- työskennellä yhdessä
- työnkulku
- työnkulkuja
- olisi
- vuotta
- Voit
- Sinun
- zephyrnet
- Postinumero