Kasutage Amazon SageMakeri torujuhtmete jagamist, et vaadata või hallata konveierte AWS-i kontode vahel

9. augustil 2022 teatasime kontoülese jagamise üldisest kättesaadavusest Amazon SageMaker Pipelines olemid. Nüüd saate kasutada kontoülest tuge Amazon SageMakeri torujuhtmed konveieri olemite jagamiseks AWS-i kontode vahel ja otse juurdepääsuks jagatud torujuhtmetele Amazon SageMaker API kõned.

Kliendid võtavad üha enam omaks mitme kontoga arhitektuurid masinõppe (ML) töövoogude juurutamiseks ja haldamiseks koos SageMaker Pipelinesiga. See hõlmab töövoogude loomist arendus- või katsekontodel, nende juurutamist ja testimist testimis- või tootmiseelsel (test-) kontol ning lõpuks nende üleviimist tootmis- (tootmis-) kontodele, et integreeruda teiste äriprotsessidega. SageMakeri torujuhtmete kontoülesest jagamisest saate kasu järgmistel kasutusjuhtudel.

• Kui andmeteadlased loovad arendajakontol ML-i töövooge, juurutab ML-i insener need töövood SageMakeri torujuhtmena spetsiaalsele testkontole. Nende töövoogude edasiseks jälgimiseks nõuavad andmeteadlased nüüd testkontol juurutatud konveieri jaoks kontoülese kirjutuskaitstud luba.
• ML-i insenerid, ML-administraatorid ja vastavusmeeskonnad, kes haldavad nende ML-i töövoogude juurutamist ja toiminguid jagatud teenuste kontolt, nõuavad ka testkontol juurutatud konveieri nähtavust. Samuti võivad nad vajada täiendavaid õigusi nende ML-i töövoogude käivitamiseks, peatamiseks ja uuesti proovimiseks.

Selles postituses tutvustame mitme konto arhitektuuri näidet ML-i töövoogude arendamiseks ja juurutamiseks koos SageMaker Pipelinesiga.

Lahenduse ülevaade

Mitme konto strateegia aitab teil saavutada andmete, projektide ja meeskonna isolatsiooni, toetades samal ajal tarkvaraarenduse elutsükli etappe. Kontoülene konveieri jagamine toetab mitme konto strateegiat, eemaldades mitmele kontole sisse- ja väljalogimisega kaasnevad kulud ning parandades ML testimise ja juurutamise töövooge, jagades ressursse otse mitme konto vahel.

Selles näites on meil andmeteaduse meeskond, kes kasutab SageMakeri konveieri esialgseks arendamiseks spetsiaalset arendajakontot. Seejärel antakse see torujuhe üle ML-i insenerile, kes loob a pidev integreerimine ja pidev tarne (CI/CD) torujuhe oma jagatud teenuste kontol, et juurutada see konveier testkontoks. Et oleks endiselt võimalik juurutatud konveierit oma vastavate arendaja- ja jagatud teenuste kontodelt jälgida ja juhtida, ressursside aktsiad on seadistatud AWS-i ressursside juurdepääsu haldur test- ja arendajakontodel. Selle seadistuse abil saavad ML-i insener ja andmeteadlane nüüd oma vastavate kontode kaudu jälgida ja juhtida arendus- ja testikontode torujuhtmeid, nagu on näidatud järgmisel joonisel.

Töövoos teevad andmeteadlane ja ML-insener järgmised toimingud.

1. Andmeteadlane (DS) loob arendajakontol mudelikonveieri.
2. ML-i insener (MLE) produtseerib mudelikonveieri ja loob konveieri (selle postituse jaoks nimetame seda sagemaker-pipeline).
3. sagemaker-pipeline kood on pühendunud an AWS CodeCommit hoidla jagatud teenuste kontol.
4. Andmeteadlane loob AWS-i RAM-i ressursside jagamise sagemaker-pipeline ja jagab seda jagatud teenuste kontoga, mis aktsepteerib ressursi jagamist.
5. Jagatud teenuste kontolt saavad ML-i insenerid nüüd kirjeldada, jälgida ja administreerida arenduskontol toimuvaid konveierkäibeid, kasutades SageMaker API kõned.
6. Jagatud teenuse kontol käivitatud CI/CD konveier loob ja juurutab koodi testkontole, kasutades AWS CodePipeline.
7. CI/CD konveier loob ja töötab sagemaker-pipeline testkontol.
8. Pärast jooksmist sagemaker-pipeline testkontol loob CI/CD konveier ressursiosa sagemaker-pipeline testkontol.
9. Ressursiosa testist sagemaker-pipeline kirjutuskaitstud õigustega luuakse arendajakontoga, mis aktsepteerib ressursi jagamist.
10. Andmeteadlane saab nüüd kirjeldada ja jälgida katsekonveieri käitamise olekut, kasutades arendajakontolt SageMaker API-kutseid.
11. Ressursiosa testist sagemaker-pipeline laiendatud õigustega luuakse jagatud teenuste kontoga, mis aktsepteerib ressursi jagamist.
12. ML-i insener saab nüüd kirjeldada, jälgida ja hallata katsekonveieri käitamist, kasutades jagatud teenuste kontolt SageMaker API-kutseid.

Järgmistes jaotistes käsitleme üksikasjalikumalt ja tutvustame, kuidas seadistada SageMakeri torujuhtmete kontodevaheline jagamine.

Kuidas luua ja kontode vahel SageMakeri torujuhtmeid luua ja jagada

Selles jaotises käsitleme vajalikke samme konveierite loomiseks ja jagamiseks kontode vahel, kasutades AWS RAM-i ja SageMaker API-t.

Seadistage keskkond

Esiteks peame seadistama mitme kontoga keskkonna, et demonstreerida SageMakeri torujuhtmete kontodevahelist jagamist:

1. Seadistage kaks AWS-i kontot (arendaja ja test). Saate selle seadistada organisatsiooni liikmekontodena või sõltumatute kontodena.
2. Kui seadistate oma kontosid organisatsiooni liikmena, saate selle lubada ressursside jagamine oma organisatsiooniga. Selle seadega ei saada AWS-i RAM organisatsioonis ressursside jagamisel direktoritele kutseid. Teie organisatsiooni direktorid saavad juurdepääsu jagatud ressurssidele ilma kutseid vahetamata.
3. Käivitage testkontol Amazon SageMaker Studio ja käivitage märkmik rongi-registreeri-juuta-pipeline-mudel. See loob teie testkontole näidiskonveieri. Demonstratsiooni lihtsustamiseks kasutame torujuhtme käivitamiseks testkontol SageMaker Studiot. Päriseluprojektide puhul peaksite kasutama Studiot ainult arendajakontol ja käivitama SageMaker Pipeline'i testkontol, kasutades oma CI/CD tööriistu.

Selle konveieri jagamiseks arendajakontoga järgige järgmises jaotises olevaid juhiseid.

Konveieri ressursi jagamise seadistamine

Konveieri jagamiseks arendajakontoga toimige järgmiselt.

1. Valige AWS RAM-i konsoolil Loo ressursside jagamine.
2. eest Valige ressursi tüüp, vali SageMakeri torujuhtmed.
3. Valige eelmises etapis loodud torujuhe.
4. Vali järgmine.
   
5. eest Õigused, valige oma seotud load.
6. Vali järgmine.
   Järgmisena otsustate, kuidas soovite käsundiandjatele juurdepääsu anda.
7. Kui peate konveieri jagama ainult oma organisatsiooni kontode vahel, valige Luba jagamine ainult oma organisatsioonis; muidu valige Lubage kellegagi jagada.
8. eest Direktorid, valige oma põhitüüp (saate kasutada AWS-i kontot, organisatsiooni või organisatsiooniüksust vastavalt oma jagamisnõudele). Selle postituse puhul jagame kõigiga AWS-i konto tasemel.
9. Valige oma peamine ID.
10. Vali järgmine.
    
11. Kohta Vaadake üle ja looge lehele, kontrollige oma andmete õigsust ja valige Loo ressursside jagamine.
    
12. Liikuge oma sihtkontole (selle postituse jaoks oma arendajakonto).
13. AWS RAM-i konsoolil, all Minuga jagatud valige navigeerimispaanil Ressursiosakud.
14. Valige oma ressursiosa ja valige Nõustuge ressursside jagamisega.
    

Ressursi jagamise õigused

Ressursiosa loomisel saate SageMakeri konveieri ressursitüübiga seostamiseks valida ühe kahest toetatud loapoliitikast. Mõlemad poliitikad annavad juurdepääsu mis tahes valitud konveierile ja kõigile selle käitamistele.

. AWSRAMDefaultPermissionSageMakerPipeline poliitika lubab järgmisi kirjutuskaitstud toiminguid:

"sagemaker:DescribePipeline"
"sagemaker:DescribePipelineDefinitionForExecution"
"sagemaker:DescribePipelineExecution"
"sagemaker:ListPipelineExecutions"
"sagemaker:ListPipelineExecutionSteps"
"sagemaker:ListPipelineParametersForExecution"
"sagemaker:Search"

. AWSRAMPermissionSageMakerPipelineAllowExecution reegel sisaldab kõiki vaikepoliitika kirjutuskaitstud õigusi ning võimaldab ka jagatud kontodel konveieri käitamist alustada, peatada ja uuesti proovida.

Laiendatud konveieri käitamise loapoliitika võimaldab teha järgmisi toiminguid.

"sagemaker:DescribePipeline"
"sagemaker:DescribePipelineDefinitionForExecution"
"sagemaker:DescribePipelineExecution"
"sagemaker:ListPipelineExecutions"
"sagemaker:ListPipelineExecutionSteps"
"sagemaker:ListPipelineParametersForExecution"
"sagemaker:StartPipelineExecution"
"sagemaker:StopPipelineExecution"
"sagemaker:RetryPipelineExecution"
"sagemaker:Search"

Juurdepääs jagatud torujuhtme üksustele otseste API-kõnede kaudu

Selles jaotises kirjeldame, kuidas saate kasutada erinevaid SageMaker Pipeline API kutseid, et saada nähtavaks teiega jagatud kaugkontodel töötavate torujuhtmete andmed. API-de testimiseks testkontol töötava konveieriga arendajakontolt logige arendajakontole sisse ja kasutage AWS CloudShell.

Kontoüleste SageMaker Pipeline API-kõnede puhul peate torujuhtme identifikaatorina alati kasutama torujuhtme ARN-i. See hõlmab ka konveieri nime nõudvaid käske, mille puhul peate konveieri nimena kasutama oma konveieri ARN-i.

Konveieri ARN-i hankimiseks liikuge oma testkontol Stuudio kaudu oma konveieri üksikasjadele SageMakeri ressursid.

Vali Torujuhtmed oma ressursside loendis.

Valige oma torujuhe ja minge oma torujuhtme juurde Seaded sakk. Torujuhtme ARN leiate oma Metaandmed teavet. Selle näite puhul on teie ARN määratletud kui "arn:aws:sagemaker:us-east-1:<account-id>:pipeline/serial-inference-pipeline".

PipelineExecutionsi loend

See API kutse loetleb jooksud teie torujuhtmest. Käivitage järgmine käsk, asendades $SHARED_PIPELINE_ARN oma torujuhtme ARN-iga CloudShellist või kasutades AWS-i käsurea liides (AWS CLI) on konfigureeritud vastavaga AWS-i identiteedi- ja juurdepääsuhaldus (AMI) roll:

aws sagemaker list-pipeline-executions --pipeline-name $SHARED_PIPELINE_ARN

Vastuses loetletakse kõik teie konveieri jooksud koos nendega PipelineExecutionArn, StartTime, PipelineExecutionStatusja PipelineExecutionDisplayName:

{
  "PipelineExecutionSummaries": [
    {
      "PipelineExecutionArn": "arn:aws:sagemaker:<region>:<account_id>:pipeline/<pipeline_name>/execution/<execution_id>",
      "StartTime": "2022-08-10T11:32:05.543000+00:00",
      "PipelineExecutionStatus": "Executing",
      "PipelineExecutionDisplayName": "execution-321"
    },
    {
      "PipelineExecutionArn": "arn:aws:sagemaker:<region>:<account_id>:pipeline/<pipeline_name>/execution/<execution_id>",
      "StartTime": "2022-08-10T11:28:03.680000+00:00",
      "PipelineExecutionStatus": "Stopped",
      "PipelineExecutionDisplayName": "test"
    },
    {
      "PipelineExecutionArn": "arn:aws:sagemaker:<region>:<account_id>:pipeline/<pipeline_name>/execution/<execution_id>",
      "StartTime": "2022-08-10T11:03:47.406000+00:00",
      "PipelineExecutionStatus": "Succeeded",
      "PipelineExecutionDisplayName": "execution-123"
    }
  ]
}

Kirjeldage torujuhet

See API kutse kirjeldab detaili teie torujuhtmest. Käivitage järgmine käsk, asendades $SHARED_PIPELINE_ARN teie torujuhtmega ARN:

aws sagemaker describe-pipeline --pipeline-name $SHARED_PIPELINE_ARN

Vastus sisaldab teie konveieri metaandmeid, samuti teavet selle loomise ja muutmise kohta.

Output(truncated): 
{
"PipelineArn": "arn:aws:sagemaker:<region>:<account-id>:pipeline/<pipeline_name>",
"PipelineName": "serial-inference-pipeline",
"PipelineDisplayName": "serial-inference-pipeline",
"PipelineDefinition": "{"Version": "2020-12-01", "Metadata": {}, "Parameters": [{"Name": "TrainingInstanceType", "Type": "String", "DefaultValue": "ml.m5.xlarge"}, {"Name": "ProcessingInstanceType", "Type": "String", "DefaultValue": "ml.m5.xlarge"}, {"Name": "ProcessingInstanceCount", "Type": "Integer", "DefaultValue": 1}, {"Name": "InputData", "Type":

..

"PipelineStatus": "Active",
"CreationTime": "2022-08-08T21:33:39.159000+00:00",
"LastModifiedTime": "2022-08-08T21:48:14.274000+00:00",
"CreatedBy": {},
"LastModifiedBy": {}
}

KirjeldagePipelineExecution

See API kutse kirjeldab detaili torujuhtme tööst. Käivitage järgmine käsk, asendades $SHARED_PIPELINE_ARN teie torujuhtmega ARN:

aws sagemaker describe-pipeline-execution 
--pipeline-execution-arn $PIPELINE_EXECUTION_ARN

Vastus sisaldab üksikasju teie torujuhtme käitamise kohta, sealhulgas PipelineExecutionStatus, ExperimentNameja TrialName:

{
  "PipelineArn": "arn:aws:sagemaker:<region>:<account_id>:pipeline/<pipeline_name>",
  "PipelineExecutionArn": "arn:aws:sagemaker:<region>:<account_id>:pipeline/<pipeline_name>/execution/<execution_id>",
  "PipelineExecutionDisplayName": "execution-123",
  "PipelineExecutionStatus": "Succeeded",
  "PipelineExperimentConfig": {
  "ExperimentName": "<pipeline_name>",
  "TrialName": "<execution_id>"
},
  "CreationTime": "2022-08-10T11:03:47.406000+00:00",
  "LastModifiedTime": "2022-08-10T11:15:01.102000+00:00",
  "CreatedBy": {},
  "LastModifiedBy": {}
}

StartPipelineExecution

See API kutse algab torujuhtme jooks. Käivitage järgmine käsk, asendades $SHARED_PIPELINE_ARN oma torujuhtmega ARN ja $CLIENT_REQUEST_TOKEN kordumatu, tõstutundliku identifikaatoriga, mille selle käitamise jaoks loote. Identifikaator peaks sisaldama 32–128 tähemärki. Näiteks saate genereerida stringi kasutades AWS CLI kms genereerib juhusliku käsu.

aws sagemaker start-pipeline-execution 
  --pipeline-name $SHARED_PIPELINE_ARN 
  --client-request-token $CLIENT_REQUEST_TOKEN

Vastuseks tagastab see API kutse PipelineExecutionArn alanud jooksust:

{
  "PipelineExecutionArn": "arn:aws:sagemaker:<region>:<account_id>:pipeline/<pipeline_name>/execution/<execution_id>"
}

StopPipelineExecution

See API kutse peatub torujuhtme jooks. Käivitage järgmine käsk, asendades $PIPELINE_EXECUTION_ARN koos jooksva torujuhtme ARN-iga ja $CLIENT_REQUEST_TOKEN kordumatu, tõstutundliku identifikaatoriga, mille selle käitamise jaoks loote. Identifikaator peaks sisaldama 32–128 tähemärki. Näiteks saate genereerida stringi kasutades AWS CLI kms genereerib juhusliku käsu.

aws sagemaker stop-pipeline-execution 
  --pipeline-execution-arn $PIPELINE_EXECUTION_ARN 
  --client-request-token $CLIENT_REQUEST_TOKEN

Vastuseks tagastab see API kutse PipelineExecutionArn peatatud torujuhtmest:

{
  "PipelineExecutionArn": "arn:aws:sagemaker:<region>:<account_id>:pipeline/<pipeline_name>/execution/<execution_id>"
}

Järeldus

SageMakeri konveierite kontoülene jagamine võimaldab teil turvaliselt jagada konveieri olemeid AWS-i kontode vahel ja pääseda ühiskasutuses olevatele konveieritele juurde otseste API-kõnede kaudu, ilma et peaksite mitmele kontole sisse ja välja logima.

Selles postituses tutvusime funktsioonidega, et näidata, kuidas saate kanaleid kontode vahel jagada ja neile SageMaker API kõnede kaudu juurde pääseda.

Järgmise sammuna saate seda funktsiooni kasutada oma järgmise ML-projekti jaoks.

Vahendid

SageMaker Pipelinesiga alustamiseks ja konveierite jagamiseks kontode vahel vaadake järgmisi ressursse.

Autoritest

Ram Vital on AWS-i ML-i spetsialistilahenduste arhitekt. Tal on üle 20-aastane kogemus hajutatud, hübriid- ja pilverakenduste kujundamisel ja ehitamisel. Ta on kirglik turvaliste ja skaleeritavate tehisintellekti/ML-i ja suurandmete lahenduste loomise vastu, et aidata ettevõtte klientidel pilveteenuste kasutuselevõtul ja optimeerimisel oma äritulemusi parandada. Vabal ajal naudib ta tennist, fotograafiat ja märulifilme.

Maira Ladeira Tanke on AWS-i ML-i spetsialistlahenduste arhitekt. Andmeteaduse taustaga on tal 9-aastane kogemus ML-rakenduste kujundamisel ja ehitamisel koos klientidega erinevatest tööstusharudest. Tehnilise juhina aitab ta klientidel kiirendada oma äriväärtuse saavutamist uute tehnoloogiate ja uuenduslike lahenduste kaudu. Vabal ajal meeldib Mairale reisida ja perega soojas kohas aega veeta.

Gabriel Zylka on AWSi professionaalsete teenuste konsultant. Ta teeb tihedat koostööd klientidega, et kiirendada nende pilve kasutuselevõttu. MLOps-valdkonnale spetsialiseerunud ta keskendub masinõppe töökoormuste tootmisele, automatiseerides täielikke masinõppe elutsükleid ja aidates saavutada soovitud äritulemusi. Vabal ajal naudib ta reisimist ja matkamist Baieri Alpides.