Tilvejebring og administrer ML-miljøer med Amazon SageMaker Canvas ved hjælp af AWS CDK og AWS Service Catalog

Udbredelsen af ​​maskinlæring (ML) på tværs af en bred vifte af use cases er ved at blive udbredt i alle brancher. Dette overgår dog stigningen i antallet af ML-praktikere, der traditionelt har været ansvarlige for at implementere disse tekniske løsninger for at realisere forretningsresultater.

I dagens virksomhed er der behov for, at maskinlæring kan bruges af ikke-ML-udøvere, som er dygtige til data, hvilket er grundlaget for ML. For at gøre dette til virkelighed realiseres værdien af ​​ML på tværs af virksomheden gennem no-code ML platforme. Disse platforme gør det muligt for forskellige personas, for eksempel forretningsanalytikere, at bruge ML uden at skrive en enkelt linje kode og levere løsninger på forretningsproblemer på en hurtig, enkel og intuitiv måde. Amazon SageMaker lærred er en visuel peg-og-klik-tjeneste, der gør det muligt for virksomhedsanalytikere at bruge ML til at løse forretningsproblemer ved at generere nøjagtige forudsigelser på egen hånd – uden at kræve nogen ML-erfaring eller at skulle skrive en enkelt linje kode. Canvas har udvidet brugen af ​​ML i virksomheden med en brugervenlig intuitiv grænseflade, der hjælper virksomheder med at implementere løsninger hurtigt.

Selvom Canvas har muliggjort demokratisering af ML, er udfordringen med at klargøre og implementere ML-miljøer på en sikker måde stadig. Dette er typisk ansvaret for centrale it-teams i de fleste store virksomheder. I dette indlæg diskuterer vi, hvordan it-teams kan administrere, levere og administrere sikre ML-miljøer ved hjælp af Amazon SageMaker lærred, AWS Cloud Development Kit (AWS CDK) og AWS servicekatalog. Indlægget præsenterer en trin-for-trin guide til it-administratorer for at opnå dette hurtigt og i stor skala.

Oversigt over AWS CDK og AWS servicekatalog

AWS CDK er en open source softwareudviklingsramme til at definere dine cloud-applikationsressourcer. Den bruger programmeringssprogenes kendskab og udtryksevne til at modellere dine applikationer, mens den leverer ressourcer på en sikker og gentagelig måde.

AWS Service Catalog giver dig mulighed for centralt at administrere implementerede it-tjenester, applikationer, ressourcer og metadata. Med AWS Service Catalog kan du oprette, dele, organisere og styre cloud-ressourcer med infrastruktur som kodeskabeloner (IaC) og muliggøre hurtig og ligetil klargøring.

Løsningsoversigt

Vi muliggør levering af ML-miljøer ved hjælp af Canvas i tre trin:

1. Først deler vi, hvordan du kan administrere en portefølje af ressourcer, der er nødvendige for den godkendte brug af Canvas ved hjælp af AWS Service Catalog.
2. Derefter implementerer vi et eksempel på AWS Service Catalog-portefølje til Canvas ved hjælp af AWS CDK.
3. Til sidst viser vi, hvordan du kan klargøre Canvas-miljøer efter behov inden for få minutter.

Forudsætninger

For at klargøre ML-miljøer med Canvas, AWS CDK og AWS Service Catalog skal du gøre følgende:

1. Få adgang til AWS-kontoen, hvor Service Catalogue-porteføljen vil blive implementeret. Sørg for, at du har legitimationsoplysningerne og tilladelserne til at implementere AWS CDK-stakken på din konto. Det AWS CDK Workshop er en nyttig ressource, du kan henvise til, hvis du har brug for support.
2. Vi anbefaler at følge visse bedste praksisser, der fremhæves gennem de begreber, der er beskrevet i følgende ressourcer:
3. Klon dette GitHub -depot ind i dit miljø.

Lever godkendte ML-miljøer med Amazon SageMaker Canvas ved hjælp af AWS Service Catalog

I regulerede industrier og de fleste store virksomheder skal du overholde de krav, der er pålagt af it-teams til at levere og administrere ML-miljøer. Disse kan omfatte et sikkert, privat netværk, datakryptering, kontroller til kun at tillade autoriserede og autentificerede brugere som f.eks. AWS identitets- og adgangsstyring (IAM) for at få adgang til løsninger såsom Canvas og streng logning og overvågning til revisionsformål.

Som it-administrator kan du bruge AWS Service Catalog til at skabe og organisere sikre, reproducerbare ML-miljøer med SageMaker Canvas i en produktportefølje. Dette styres ved hjælp af IaC-kontroller, der er indlejret for at opfylde de før nævnte krav, og som kan klargøres efter behov inden for få minutter. Du kan også bevare kontrol over, hvem der kan få adgang til denne portefølje for at lancere produkter.

Følgende diagram illustrerer denne arkitektur.

Eksempel flow

I dette afsnit viser vi et eksempel på en AWS Service Catalog-portefølje med SageMaker Canvas. Portfolioen består af forskellige aspekter af Canvas-miljøet, der er en del af Service Catalog-porteføljen:

• Studio domæne – Canvas er en applikation, der kører indenfor Studio domæner. Domænet består af en Amazon Elastic File System (Amazon EFS) volumen, en liste over autoriserede brugere og en række sikkerheds-, applikations-, politik- og Amazon Virtual Private Cloud (VPC) konfigurationer. En AWS-konto er knyttet til ét domæne pr. region.
• Amazon S3 spand – Efter at Studio-domænet er oprettet, vises en Amazon Simple Storage Service (Amazon S3) bucket er klargjort til Canvas for at tillade import af datasæt fra lokale filer, også kendt som lokal filupload. Denne bøtte er på kundens konto og leveres én gang.
• Canvas bruger – SageMaker Canvas er en applikation, hvor du kan tilføje brugerprofiler inden for Studio-domænet for hver Canvas-bruger, som kan fortsætte med at importere datasæt, bygge og træne ML-modeller uden at skrive kode og køre forudsigelser på modellen.
• Planlagt nedlukning af Canvas-sessioner – Canvas-brugere kan logge ud fra Canvas-grænsefladen, når de er færdige med deres opgaver. Alternativt administratorer kan lukke Canvas-sessioner ned fra AWS Management Console som en del af styringen af ​​Canvas-sessionerne. I denne del af AWS Service Catalog-porteføljen er en AWS Lambda funktion oprettes og klargøres til automatisk at lukke Canvas-sessioner ned med definerede planlagte intervaller. Dette hjælper med at administrere åbne sessioner og lukke dem ned, når de ikke er i brug.

Dette eksempelflow kan findes i GitHub repository til hurtig reference.

Implementer flowet med AWS CDK

I dette afsnit implementerer vi flowet beskrevet tidligere ved hjælp af AWS CDK. Efter den er implementeret, kan du også lave versionssporing og administrere porteføljen.

Portfolio stakken kan findes i app.py og produktet stables under products/ folder. Du kan iterere på IAM-rollerne, AWS Key Management Service (AWS KMS)-taster og VPC-opsætning i studio_constructs/ folder. Før du implementerer stakken på din konto, kan du redigere følgende linjer app.py og giv porteføljeadgang til en IAM-rolle efter eget valg.

Du kan administrere adgangen til porteføljen for de relevante IAM-brugere, grupper og roller. Se Tildeling af adgang til brugere for flere detaljer.

Implementer porteføljen på din konto

Du kan nu køre følgende kommandoer for at installere AWS CDK og sikre dig, at du har de rigtige afhængigheder til at implementere porteføljen:

npm install -g aws-cdk@2.27.0
python3 -m venv .venv
source .venv/bin/activate
pip3 install -r requirements.txt

Kør følgende kommandoer for at implementere porteføljen på din konto:

ACCOUNT_ID=$(aws sts get-caller-identity --query Account | tr -d '"')
AWS_REGION=$(aws configure get region)
cdk bootstrap aws://${ACCOUNT_ID}/${AWS_REGION}
cdk deploy --require-approval never

De første to kommandoer får dit konto-id og nuværende region ved hjælp af AWS kommandolinjegrænseflade (AWS CLI) på din computer. Efter dette, cdk bootstrap , cdk deploy byg aktiver lokalt, og implementer stakken på få minutter.

Portfolioen kan nu findes i AWS Service Catalog, som vist på det følgende skærmbillede.

On-demand provisionering

Produkterne i porteføljen kan lanceres hurtigt og nemt på efterspørgsel fra Provisioning menuen på AWS Service Catalog-konsollen. Et typisk flow er at starte Studio-domænet og Canvas automatisk nedlukning først, fordi dette normalt er en engangshandling. Du kan derefter tilføje Canvas-brugere til domænet. Domæne-id'et og brugerens IAM-rolle ARN gemmes i AWS System Manager og udfyldes automatisk med brugerparametrene som vist på det følgende skærmbillede.

Du kan også bruge omkostningsfordelingstags, der er knyttet til hver bruger. For eksempel, UserCostCenter er et eksempel-tag, hvor du kan tilføje navnet på hver bruger.

Nøgleovervejelser til styring af ML-miljøer ved hjælp af Canvas

Nu hvor vi har klargjort og implementeret en AWS Service Catalog-portefølje med fokus på Canvas, vil vi gerne fremhæve et par overvejelser til at styre de Canvas-baserede ML-miljøer med fokus på domænet og brugerprofilen.

Følgende er overvejelser vedrørende Studio-domænet:

• Networking for Canvas administreres på Studio-domæneniveau, hvor domænet er implementeret på et privat VPC-undernet for sikker forbindelse. Se Sikring af Amazon SageMaker Studio-forbindelse ved hjælp af en privat VPC at lære mere.
• En standard IAM-udførelsesrolle er defineret på domæneniveau. Denne standardrolle er tildelt alle Canvas-brugere på domænet.
• Kryptering udføres ved hjælp af AWS KMS ved at kryptere EFS-volumenet i domænet. For yderligere kontroller kan du angive din egen administrerede nøgle, også kendt som en kundeadministreret nøgle (CMK). Se Beskyt data i hvile ved hjælp af kryptering at lære mere.
• Muligheden for at uploade filer fra din lokale disk gøres ved at vedhæfte en CORS-politik (cross-origin resource sharing) til S3-bøtten, der bruges af Canvas. Se Giv dine brugere tilladelse til at uploade lokale filer at lære mere.

Følgende er overvejelser vedrørende brugerprofilen:

• Godkendelse i Studio kan udføres både via single sign-on (SSO) og IAM. Hvis du har en eksisterende identitetsudbyder til at forene brugere for at få adgang til konsollen, kan du tildele en Studio-brugerprofil til hver fødereret identitet ved hjælp af IAM. Se afsnittet Tildeling af politikken til Studio-brugere in Konfiguration af Amazon SageMaker Studio til teams og grupper med komplet ressourceisolering at lære mere.
• Du kan tildele IAM-udførelsesroller til hver brugerprofil. Mens du bruger Studio, påtager en bruger den rolle, der er knyttet til deres brugerprofil, som tilsidesætter standardudførelsesrollen. Du kan bruge dette til finmasket adgangskontrol inden for et team.
• Du kan opnå isolation ved at bruge attributbaserede adgangskontroller (ABAC) for at sikre, at brugere kun kan få adgang til ressourcerne for deres team. Se Konfiguration af Amazon SageMaker Studio til teams og grupper med komplet ressourceisolering at lære mere.
• Du kan udføre finmasket omkostningssporing ved at anvende omkostningsfordelingstags på brugerprofiler.

Ryd op

For at rydde op i de ressourcer, der er oprettet af AWS CDK-stakken ovenfor, skal du navigere over til AWS CloudFormation-stakkene og slette Canvas-stakkene. Du kan også løbe cdk destroy fra lagermappen for at gøre det samme.

Konklusion

I dette indlæg delte vi, hvordan du hurtigt og nemt kan levere ML-miljøer med Canvas ved hjælp af AWS Service Catalog og AWS CDK. Vi diskuterede, hvordan du kan oprette en portefølje på AWS Service Catalog, levere porteføljen og implementere den på din konto. IT-administratorer kan bruge denne metode til at implementere og administrere brugere, sessioner og tilknyttede omkostninger, mens de klargør Canvas.

Lær mere om Canvas på Produkt side og Udviklervejledning. For yderligere læsning kan du lære hvordan gør det muligt for forretningsanalytikere at få adgang til SageMaker Canvas ved hjælp af AWS SSO uden konsollen. Du kan også lære hvordan forretningsanalytikere og dataforskere kan samarbejde hurtigere ved hjælp af Canvas og Studio.

Om forfatterne

Davide Gallitelli er en Specialist Solutions Architect for AI/ML i EMEA-regionen. Han er baseret i Bruxelles og arbejder tæt sammen med kunder i hele Benelux. Han har været udvikler, siden han var meget ung, og begyndte at kode i en alder af 7. Han begyndte at lære AI/ML på universitetet, og er blevet forelsket i det siden da.

Sofian Hamiti er AI/ML specialist Solutions Architect hos AWS. Han hjælper kunder på tværs af brancher med at accelerere deres AI/ML-rejse ved at hjælpe dem med at bygge og operationalisere end-to-end maskinlæringsløsninger.

Shyam Srinivasan er en hovedproduktchef på AWS AI/ML-teamet, der leder produktstyring for Amazon SageMaker Canvas. Shyam interesserer sig for at gøre verden til et bedre sted gennem teknologi og brænder for, hvordan AI og ML kan være en katalysator på denne rejse.

Avi Patel arbejder som softwareingeniør på Amazon SageMaker Canvas-teamet. Hans baggrund består i at arbejde fuld stack med frontend-fokus. I sin fritid bidrager han gerne til open source-projekter i kryptorummet og lærer om nye DeFi-protokoller.

Jared Heywood er Senior Business Development Manager hos AWS. Han er en global AI/ML-specialist, der hjælper kunder med no-code machine learning. Han har arbejdet i AutoML-området i de sidste 5 år og lanceret produkter hos Amazon som Amazon SageMaker JumpStart og Amazon SageMaker Canvas.