Käytä Amazon SageMaker -putkien jakamista tarkastellaksesi tai hallitaksesi putkia AWS-tilien välillä

Ilmoitimme 9 tilien välisen jakamisen yleisestä saatavuudesta Amazon SageMaker Pipelines -yksiköt. Voit nyt käyttää tilien välistä tukea Amazon SageMaker -putkistot jakaa putkien kokonaisuudet AWS-tilien välillä ja käyttää jaettuja putkistoja suoraan kautta Amazon Sage Maker API-kutsut.

Asiakkaat omaksuvat yhä enemmän monen tilin arkkitehtuurit koneoppimisen (ML) työnkulkujen käyttöönottoon ja hallintaan SageMaker Pipelinesin avulla. Tämä sisältää työnkulkujen luomisen kehitys- tai kokeilutileillä, niiden käyttöönotto ja testaaminen testaus- tai esituotantotilillä (testaustilillä) ja lopuksi niiden siirtäminen tuotantotileille (tuote) integroitaviksi muihin liiketoimintaprosesseihin. Voit hyötyä SageMaker-putkien tilien välisestä jakamisesta seuraavissa käyttötapauksissa:

• Kun datatieteilijät rakentavat ML-työnkulkuja kehittäjätilille, ML-insinööri ottaa nämä työnkulut käyttöön SageMaker-putkina omistetulle testitilille. Seuratakseen näitä työnkulkuja edelleen datatutkijat vaativat nyt tilien välisen vain luku -oikeuden käyttöönotetulle putkille testitilillä.
• ML-insinöörit, ML-järjestelmänvalvojat ja vaatimustenmukaisuustiimit, jotka hallitsevat näiden ML-työnkulkujen käyttöönottoa ja toimintoja jaetuista palvelutilistä, edellyttävät myös näkyvyyttä testaustilillä käyttöön otettuun putkistoon. Ne saattavat myös vaatia lisäoikeuksia näiden ML-työnkulkujen käynnistämiseen, pysäyttämiseen ja uudelleen yrittämiseen.

Tässä viestissä esittelemme esimerkin monen tilin arkkitehtuurista ML-työnkulkujen kehittämiseen ja käyttöönottoon SageMaker Pipelinesin avulla.

Ratkaisun yleiskatsaus

Usean tilin strategia auttaa sinua saavuttamaan datan, projektien ja tiimin eristäytymisen ja tukemaan ohjelmistokehityksen elinkaaren vaiheita. Tilien välinen putkien jakaminen tukee usean tilin strategiaa, joka poistaa useille tileille kirjautumisesta ja uloskirjautumisesta aiheutuvat ylimääräiset kustannukset ja parantaa ML-testauksen ja käyttöönoton työnkulkuja jakamalla resursseja suoraan useiden tilien kesken.

Tässä esimerkissä meillä on datatieteiden tiimi, joka käyttää omistettua dev-tiliä SageMaker-putkilinjan alkukehitykseen. Tämä putkisto luovutetaan sitten ML-insinöörille, joka luo a jatkuva integrointi ja jatkuva toimitus (CI/CD) putki jaettujen palveluiden tilillään ottaakseen tämän putkiston käyttöön testitilillä. Voidakseen edelleen valvoa ja hallita käyttöön otettua putkistoa vastaavilta kehittäjätileiltä ja jaetuilta palvelutileiltä, resurssien osuudet on perustettu AWS Resource Access Manager testi- ja kehitystileillä. Tällä asetuksella ML-insinööri ja datatieteilijä voivat nyt valvoa ja ohjata kehitys- ja testaustilien putkia vastaavista tileistään seuraavan kuvan mukaisesti.

Tietojen tutkija ja ML-insinööri suorittavat työnkulussa seuraavat vaiheet:

1. Tietotieteilijä (DS) rakentaa malliputken kehittäjätilille.
2. ML-insinööri (MLE) tuottaa malliputken ja luo liukuhihnan (tätä viestiä varten kutsumme sitä sagemaker-pipeline).
3. sagemaker-pipeline koodi on sitoutunut an AWS CodeCommit arkisto jaetun palvelun tilillä.
4. Tietotieteilijä luo AWS RAM -resurssiosuuden sagemaker-pipeline ja jakaa sen jaettujen palveluiden tilin kanssa, joka hyväksyy resurssien jaon.
5. Jaettujen palveluiden tilillä ML-insinöörit voivat nyt kuvata, valvoa ja hallinnoida putkiajoja kehittäjätilillä käyttämällä SageMaker API -kutsut.
6. Jaetun palvelun tilillä laukaistu CI/CD-putki rakentaa ja ottaa käyttöön koodin testitilillä käyttämällä AWS-koodiputki.
7. CI/CD-liukuhihna luo ja suoritetaan sagemaker-pipeline testitilillä.
8. Juoksun jälkeen sagemaker-pipeline testitilillä CI/CD-liukuhihna luo resurssiosuuden sagemaker-pipeline testitilillä.
9. Resurssiosuus testistä sagemaker-pipeline vain luku -oikeuksilla on luotu kehittäjätilillä, joka hyväksyy resurssien jaon.
10. Datatieteilijä pystyy nyt kuvaamaan ja valvomaan testiputken ajon tilaa käyttämällä SageMaker API -kutsuja kehittäjätililtä.
11. Resurssiosuus testistä sagemaker-pipeline laajennetuilla käyttöoikeuksilla luodaan jaettujen palvelujen tilillä, joka hyväksyy resurssien jaon.
12. ML-suunnittelija pystyy nyt kuvaamaan, valvomaan ja hallinnoimaan testiputkia ajoa käyttämällä SageMaker API -kutsuja jaetun palvelun tililtä.

Seuraavissa osioissa menemme yksityiskohtaisemmin ja tarjoamme esittelyn tilien välisen jakamisen määrittämisestä SageMaker-putkille.

SageMaker-putkien luominen ja jakaminen tilien välillä

Tässä osiossa käymme läpi tarvittavat vaiheet putkien luomiseksi ja jakamiseksi tilien välillä AWS RAM -muistin ja SageMaker API:n avulla.

Määritä ympäristö

Ensinnäkin meidän on määritettävä usean tilin ympäristö näyttääksemme SageMaker-putkien välisen jakamisen:

1. Määritä kaksi AWS-tiliä (kehittäjä ja testi). Voit määrittää tämän organisaation jäsentileiksi tai itsenäisiksi tileiksi.
2. Jos olet määrittämässä tilejäsi organisaation jäseneksi, voit ottaa sen käyttöön resurssien jakaminen organisaatiosi kanssa. Tällä asetuksella, kun jaat resursseja organisaatiossasi, AWS RAM ei lähetä kutsuja päämiehille. Organisaatiosi rehtorit pääsevät käyttämään jaettuja resursseja vaihtamatta kutsuja.
3. Käynnistä testitilillä Amazon SageMaker Studio ja käytä muistikirjaa juna-rekisteröi-deploy-pipeline-malli. Tämä luo esimerkkiputken testitilillesi. Esittelyn yksinkertaistamiseksi käytämme SageMaker Studiota testitilillä prosessin käynnistämiseen. Tosielämän projekteissa sinun tulee käyttää Studiota vain kehittäjätilillä ja käynnistää SageMaker Pipeline testitilillä käyttämällä CI/CD-työkalujasi.

Noudata seuraavan osan ohjeita jakaaksesi tämän putkiston kehittäjätilin kanssa.

Määritä putkien resurssien jako

Voit jakaa putkistosi kehittäjätilin kanssa suorittamalla seuraavat vaiheet:

1. Valitse AWS RAM -konsolissa Luo resurssiosuus.
2. varten Valitse resurssityyppi, valitse SageMaker-putkistot.
3. Valitse edellisessä vaiheessa luomasi putki.
4. Valita seuraava.
   
5. varten Oikeudet, valitse siihen liittyvät käyttöoikeudet.
6. Valita seuraava.
   Seuraavaksi päätät, kuinka haluat myöntää pääsyn päämiehille.
7. Jos sinun on jaettava putki vain organisaatiosi tileillä, valitse Salli jakaminen vain organisaatiosi sisällä; muuten valitse Salli jakaminen kenen tahansa kanssa.
8. varten Päämiehet, valitse päätyyppisi (voit käyttää AWS-tiliä, organisaatiota tai organisaatioyksikköä jakamisvaatimustesi perusteella). Tässä viestissä jaamme kenen tahansa AWS-tilitason kanssa.
9. Valitse päätunnuksesi.
10. Valita seuraava.
    
11. On Tarkista ja luo sivu, tarkista tietosi oikein ja valitse Luo resurssiosuus.
    
12. Siirry kohdetilillesi (tämän viestin osalta kehittäjätilisi).
13. AWS RAM -konsolissa, alla Jaettu kanssani valitse siirtymisruudussa Resurssien osuudet.
14. Valitse resurssiosuus ja valitse Hyväksy resurssien jako.
    

Resurssien jakamisoikeudet

Kun luot resurssiosuuttasi, voit valita yhden kahdesta tuetuista käyttöoikeuskäytännöistä, jotka liitetään SageMaker-putken resurssityyppiin. Molemmat käytännöt antavat pääsyn mihin tahansa valittuun putkistoon ja kaikkiin sen ajoihin.

- AWSRAMDefaultPermissionSageMakerPipeline käytäntö sallii seuraavat vain luku -toiminnot:

"sagemaker:DescribePipeline"
"sagemaker:DescribePipelineDefinitionForExecution"
"sagemaker:DescribePipelineExecution"
"sagemaker:ListPipelineExecutions"
"sagemaker:ListPipelineExecutionSteps"
"sagemaker:ListPipelineParametersForExecution"
"sagemaker:Search"

- AWSRAMPermissionSageMakerPipelineAllowExecution käytäntö sisältää kaikki oletuskäytännön vain luku -oikeudet ja sallii myös jaettujen tilien käynnistämisen, lopettamisen ja uudelleen yrittämisen putkistojen suorittamisen.

Laajennetun putken ajon käyttöoikeuskäytäntö sallii seuraavat toimet:

"sagemaker:DescribePipeline"
"sagemaker:DescribePipelineDefinitionForExecution"
"sagemaker:DescribePipelineExecution"
"sagemaker:ListPipelineExecutions"
"sagemaker:ListPipelineExecutionSteps"
"sagemaker:ListPipelineParametersForExecution"
"sagemaker:StartPipelineExecution"
"sagemaker:StopPipelineExecution"
"sagemaker:RetryPipelineExecution"
"sagemaker:Search"

Käytä jaettuja putkien kokonaisuuksia suorien API-kutsujen kautta

Tässä osiossa käymme läpi, kuinka voit käyttää erilaisia ​​SageMaker Pipeline API -kutsuja saadaksesi näkyvyyttä kanssasi jaetuilla etätileillä käynnissä oleviin putkiin. Jos haluat testata sovellusliittymiä testaustilillä dev-tililtä käynnissä olevaa putkia vastaan, kirjaudu sisään kehittäjätilille ja käytä AWS CloudShell.

Tilien välisissä SageMaker Pipeline API -kutsuissa sinun on aina käytettävä putkilinjaasi ARN putkilinjan tunnisteena. Se sisältää myös komennot, jotka vaativat liukuhihnan nimen, jossa sinun on käytettävä liukuhihnan ARN-nimeä.

Saadaksesi putken ARN:n, siirry testitililläsi putkiston tietoihin Studiossa kautta SageMaker-resurssit.

Valita putkistojen resurssiluettelossasi.

Valitse putkisto ja siirry putkeen Asetukset -välilehti. Löydät putkilinjan ARN kanssasi Metadata tiedot. Tässä esimerkissä ARN määritellään seuraavasti "arn:aws:sagemaker:us-east-1:<account-id>:pipeline/serial-inference-pipeline".

ListPipelineExecutions

Tämä API-kutsu listaa juoksut putkestasi. Suorita seuraava komento korvaamalla $SHARED_PIPELINE_ARN CloudShellin ARN-putken kanssa tai käyttämällä AWS-komentoriviliitäntä (AWS CLI) on määritetty omistetulla AWS-henkilöllisyyden ja käyttöoikeuksien hallinta (MINÄ OLEN) rooli:

aws sagemaker list-pipeline-executions --pipeline-name $SHARED_PIPELINE_ARN

Vastauksessa luetellaan kaikki putkilinjasi ajot niiden kanssa PipelineExecutionArn, StartTime, PipelineExecutionStatusja PipelineExecutionDisplayName:

{
  "PipelineExecutionSummaries": [
    {
      "PipelineExecutionArn": "arn:aws:sagemaker:<region>:<account_id>:pipeline/<pipeline_name>/execution/<execution_id>",
      "StartTime": "2022-08-10T11:32:05.543000+00:00",
      "PipelineExecutionStatus": "Executing",
      "PipelineExecutionDisplayName": "execution-321"
    },
    {
      "PipelineExecutionArn": "arn:aws:sagemaker:<region>:<account_id>:pipeline/<pipeline_name>/execution/<execution_id>",
      "StartTime": "2022-08-10T11:28:03.680000+00:00",
      "PipelineExecutionStatus": "Stopped",
      "PipelineExecutionDisplayName": "test"
    },
    {
      "PipelineExecutionArn": "arn:aws:sagemaker:<region>:<account_id>:pipeline/<pipeline_name>/execution/<execution_id>",
      "StartTime": "2022-08-10T11:03:47.406000+00:00",
      "PipelineExecutionStatus": "Succeeded",
      "PipelineExecutionDisplayName": "execution-123"
    }
  ]
}

KuvailePipeline

Tämä API-kutsu kuvailee yksityiskohtia putkestasi. Suorita seuraava komento korvaamalla $SHARED_PIPELINE_ARN putkilinjasi ARN kanssa:

aws sagemaker describe-pipeline --pipeline-name $SHARED_PIPELINE_ARN

Vastaus sisältää putkisi metatiedot sekä tiedot sen luomisesta ja muuttamisesta:

Output(truncated): 
{
"PipelineArn": "arn:aws:sagemaker:<region>:<account-id>:pipeline/<pipeline_name>",
"PipelineName": "serial-inference-pipeline",
"PipelineDisplayName": "serial-inference-pipeline",
"PipelineDefinition": "{"Version": "2020-12-01", "Metadata": {}, "Parameters": [{"Name": "TrainingInstanceType", "Type": "String", "DefaultValue": "ml.m5.xlarge"}, {"Name": "ProcessingInstanceType", "Type": "String", "DefaultValue": "ml.m5.xlarge"}, {"Name": "ProcessingInstanceCount", "Type": "Integer", "DefaultValue": 1}, {"Name": "InputData", "Type":

..

"PipelineStatus": "Active",
"CreationTime": "2022-08-08T21:33:39.159000+00:00",
"LastModifiedTime": "2022-08-08T21:48:14.274000+00:00",
"CreatedBy": {},
"LastModifiedBy": {}
}

KuvailePipelineExecution

Tämä API-kutsu kuvailee yksityiskohtia putkilinjastasi. Suorita seuraava komento korvaamalla $SHARED_PIPELINE_ARN putkilinjasi ARN kanssa:

aws sagemaker describe-pipeline-execution 
--pipeline-execution-arn $PIPELINE_EXECUTION_ARN

Vastauksessa on tietoja putkiajostasi, mukaan lukien PipelineExecutionStatus, ExperimentNameja TrialName:

{
  "PipelineArn": "arn:aws:sagemaker:<region>:<account_id>:pipeline/<pipeline_name>",
  "PipelineExecutionArn": "arn:aws:sagemaker:<region>:<account_id>:pipeline/<pipeline_name>/execution/<execution_id>",
  "PipelineExecutionDisplayName": "execution-123",
  "PipelineExecutionStatus": "Succeeded",
  "PipelineExperimentConfig": {
  "ExperimentName": "<pipeline_name>",
  "TrialName": "<execution_id>"
},
  "CreationTime": "2022-08-10T11:03:47.406000+00:00",
  "LastModifiedTime": "2022-08-10T11:15:01.102000+00:00",
  "CreatedBy": {},
  "LastModifiedBy": {}
}

StartPipelineExecution

Tämä API-kutsu alkaa putkilinjan ajo. Suorita seuraava komento korvaamalla $SHARED_PIPELINE_ARN putkilinjasi ARN ja $CLIENT_REQUEST_TOKEN ainutlaatuisella, kirjainkoolla erottelevalla tunnisteella, jonka luot tätä ajoa varten. Tunnisteen tulee sisältää 32–128 merkkiä. Voit esimerkiksi luoda merkkijonon käyttämällä AWS CLI kms generoi satunnaisen komennon.

aws sagemaker start-pipeline-execution 
  --pipeline-name $SHARED_PIPELINE_ARN 
  --client-request-token $CLIENT_REQUEST_TOKEN

Tämä API-kutsu palauttaa vastauksena PipelineExecutionArn aloitetusta juoksusta:

{
  "PipelineExecutionArn": "arn:aws:sagemaker:<region>:<account_id>:pipeline/<pipeline_name>/execution/<execution_id>"
}

StopPipelineExecution

Tämä API-kutsu pysähtyy putkilinjan ajo. Suorita seuraava komento korvaamalla $PIPELINE_EXECUTION_ARN käynnissä olevan putkilinjan ARN:n kanssa ja $CLIENT_REQUEST_TOKEN ainutlaatuisella, kirjainkoolla erottuvalla tunnisteella, jonka luot tätä ajoa varten. Tunnisteen tulee sisältää 32–128 merkkiä. Voit esimerkiksi luoda merkkijonon käyttämällä AWS CLI kms generoi satunnaisen komennon.

aws sagemaker stop-pipeline-execution 
  --pipeline-execution-arn $PIPELINE_EXECUTION_ARN 
  --client-request-token $CLIENT_REQUEST_TOKEN

Tämä API-kutsu palauttaa vastauksena PipelineExecutionArn pysäytetystä putkesta:

{
  "PipelineExecutionArn": "arn:aws:sagemaker:<region>:<account_id>:pipeline/<pipeline_name>/execution/<execution_id>"
}

Yhteenveto

SageMaker-putkien tilien välinen jakaminen mahdollistaa putkien kokonaisuuksien turvallisen jakamisen AWS-tilien välillä ja pääsyn jaettuihin putkiin suorien API-kutsujen kautta ilman, että sinun täytyy kirjautua sisään ja ulos useista tileistä.

Tässä viestissä tutustuimme toimintoihin näyttääksemme, kuinka voit jakaa putkia tilien välillä ja käyttää niitä SageMaker API -kutsujen kautta.

Seuraavana vaiheena voit käyttää tätä ominaisuutta seuraavassa ML-projektissasi.

Esittelymateriaalit

Aloita SageMaker Pipelinesin käyttö ja putkien jakaminen tilien välillä tutustumalla seuraaviin resursseihin:

Tietoja kirjoittajista

Ram Vital on ML Specialist Solutions -arkkitehti AWS:ssä. Hänellä on yli 20 vuoden kokemus hajautettujen, hybridi- ja pilvisovellusten arkkitehtuurista ja rakentamisesta. Hän on intohimoinen turvallisten ja skaalautuvien AI/ML- ja big data -ratkaisujen rakentamiseen auttaakseen yritysasiakkaita heidän pilvipalveluiden käyttöönotto- ja optimointimatkallaan parantaakseen liiketoimintansa tuloksia. Vapaa-ajallaan hän harrastaa tennistä, valokuvausta ja toimintaelokuvia.

Maira Ladeira Tanke on ML Specialist Solutions -arkkitehti AWS:ssä. Hänellä on datatieteen tausta, ja hänellä on 9 vuoden kokemus ML-sovellusten suunnittelusta ja rakentamisesta asiakkaiden kanssa eri toimialoilla. Teknisenä johtajana hän auttaa asiakkaita nopeuttamaan liiketoiminnan arvon saavuttamista uusien teknologioiden ja innovatiivisten ratkaisujen avulla. Vapaa-ajallaan Maira matkustaa ja viettää aikaa perheen kanssa jossain lämpimässä paikassa.

Gabriel Zylka on AWS:n asiantuntijapalvelukonsultti. Hän tekee tiivistä yhteistyötä asiakkaiden kanssa nopeuttaakseen heidän pilvipalveluiden käyttöönottoa. Hän on erikoistunut MLOps-toimialueeseen ja keskittyy koneoppimistyökuormien tuottamiseen automatisoimalla päästä päähän koneoppimisen elinkaaret ja auttamalla saavuttamaan haluttuja liiketoimintatuloksia. Vapaa-ajallaan hän nauttii matkustamisesta ja patikoinnista Baijerin Alpeilla.