Klargjør og administrer ML-miljøer med Amazon SageMaker Canvas ved å bruke AWS CDK og AWS Service Catalog

Spredningen av maskinlæring (ML) på tvers av et bredt spekter av brukstilfeller blir utbredt i alle bransjer. Dette overgår imidlertid økningen i antall ML-utøvere som tradisjonelt har vært ansvarlige for å implementere disse tekniske løsningene for å realisere forretningsresultater.

I dagens virksomhet er det behov for maskinlæring som kan brukes av ikke-ML-utøvere som er dyktige med data, som er grunnlaget for ML. For å gjøre dette til en realitet, realiseres verdien av ML på tvers av bedriften gjennom ML-plattformer uten kode. Disse plattformene gjør det mulig for ulike personas, for eksempel forretningsanalytikere, å bruke ML uten å skrive en eneste linje med kode og levere løsninger på forretningsproblemer på en rask, enkel og intuitiv måte. Amazon SageMaker Canvas er en visuell pek-og-klikk-tjeneste som gjør det mulig for forretningsanalytikere å bruke ML til å løse forretningsproblemer ved å generere nøyaktige spådommer på egenhånd – uten å kreve noen ML-erfaring eller å måtte skrive en enkelt linje med kode. Canvas har utvidet bruken av ML i bedriften med et brukervennlig intuitivt grensesnitt som hjelper bedrifter med å implementere løsninger raskt.

Selv om Canvas har muliggjort demokratisering av ML, gjenstår fortsatt utfordringen med å klargjøre og distribuere ML-miljøer på en sikker måte. Vanligvis er dette ansvaret til sentrale IT-team i de fleste store virksomheter. I dette innlegget diskuterer vi hvordan IT-team kan administrere, klargjøre og administrere sikre ML-miljøer ved hjelp av Amazon SageMaker Canvas, AWS skyutviklingssett (AWS CDK) og AWS servicekatalog. Innlegget presenterer en trinn-for-trinn-veiledning for IT-administratorer for å oppnå dette raskt og i stor skala.

Oversikt over AWS CDK og AWS Service Catalogue

AWS CDK er et programvareutviklingsrammeverk med åpen kildekode for å definere skyapplikasjonsressursene dine. Den bruker kjennskapen og uttrykkskraften til programmeringsspråk for å modellere applikasjonene dine, samtidig som ressursene leveres på en sikker og repeterbar måte.

AWS Service Catalog lar deg sentralt administrere utplasserte IT-tjenester, applikasjoner, ressurser og metadata. Med AWS Service Catalog kan du opprette, dele, organisere og styre skyressurser med infrastruktur som kodemaler (IaC) og muliggjøre rask og grei klargjøring.

Løsningsoversikt

Vi muliggjør klargjøring av ML-miljøer ved å bruke Canvas i tre trinn:

1. Først deler vi hvordan du kan administrere en portefølje med ressurser som er nødvendig for godkjent bruk av Canvas ved å bruke AWS Service Catalog.
2. Deretter distribuerer vi et eksempel på AWS Service Catalog-portefølje for Canvas ved å bruke AWS CDK.
3. Til slutt viser vi hvordan du kan klargjøre Canvas-miljøer på forespørsel i løpet av få minutter.

Forutsetninger

For å klargjøre ML-miljøer med Canvas, AWS CDK og AWS Service Catalog, må du gjøre følgende:

1. Ha tilgang til AWS-kontoen der Service Catalog-porteføljen vil bli distribuert. Sørg for at du har legitimasjonen og tillatelsene til å distribuere AWS CDK-stakken på kontoen din. De AWS CDK-verksted er en nyttig ressurs du kan henvise til hvis du trenger støtte.
2. Vi anbefaler å følge visse beste fremgangsmåter som fremheves gjennom konseptene som er beskrevet i følgende ressurser:
3. Clone dette GitHub-depotet inn i miljøet ditt.

Lever godkjente ML-miljøer med Amazon SageMaker Canvas ved å bruke AWS Service Catalog

I regulerte bransjer og de fleste store bedrifter må du overholde kravene som er pålagt av IT-team for å klargjøre og administrere ML-miljøer. Disse kan inkludere et sikkert, privat nettverk, datakryptering, kontroller for kun å tillate autoriserte og autentiserte brukere som f.eks. AWS identitets- og tilgangsadministrasjon (IAM) for tilgang til løsninger som Canvas, og streng logging og overvåking for revisjonsformål.

Som IT-administrator kan du bruke AWS Service Catalog til å lage og organisere sikre, reproduserbare ML-miljøer med SageMaker Canvas i en produktportefølje. Dette administreres ved hjelp av IaC-kontroller som er innebygd for å oppfylle kravene nevnt før, og kan klargjøres på forespørsel i løpet av minutter. Du kan også ha kontroll over hvem som har tilgang til denne porteføljen for å lansere produkter.

Følgende diagram illustrerer denne arkitekturen.

Eksempel flyt

I denne delen viser vi et eksempel på en AWS Service Catalog-portefølje med SageMaker Canvas. Porteføljen består av ulike aspekter av Canvas-miljøet som er en del av Service Catalog-porteføljen:

• Studio-domene – Canvas er en applikasjon som kjører innenfor Studio domener. Domenet består av en Amazon elastisk filsystem (Amazon EFS) volum, en liste over autoriserte brukere og en rekke sikkerhet, applikasjoner, retningslinjer og Amazon Virtual Private Cloud (VPC) konfigurasjoner. En AWS-konto er knyttet til ett domene per region.
• Amazon S3 bøtte – Etter at Studio-domenet er opprettet, vises en Amazon enkel lagringstjeneste (Amazon S3)-bøtte er klargjort for Canvas for å tillate import av datasett fra lokale filer, også kjent som lokal filopplasting. Denne bøtten er på kundens konto og leveres én gang.
• Canvas bruker – SageMaker Canvas er en applikasjon der du kan legge til brukerprofiler innenfor Studio-domenet for hver Canvas-bruker, som kan fortsette å importere datasett, bygge og trene ML-modeller uten å skrive kode, og kjøre spådommer på modellen.
• Planlagt nedleggelse av Canvas-økter – Canvas-brukere kan logge ut fra Canvas-grensesnittet når de er ferdige med oppgavene sine. Alternativt administratorer kan stenge Canvas-økter fra AWS-administrasjonskonsoll som en del av administrasjonen av Canvas-øktene. I denne delen av AWS Service Catalog-porteføljen, en AWS Lambda funksjon opprettes og klargjøres for automatisk å slå av Canvas-økter med definerte planlagte intervaller. Dette hjelper deg med å administrere åpne økter og slå dem av når de ikke er i bruk.

Denne eksempelflyten finner du i GitHub repository for rask referanse.

Distribuer flyten med AWS CDK

I denne delen distribuerer vi flyten beskrevet tidligere ved å bruke AWS CDK. Etter at den er distribuert, kan du også utføre versjonssporing og administrere porteføljen.

Porteføljestakken finner du i app.py og produktet stabler under products/ mappe. Du kan iterere på IAM-rollene, AWS nøkkelstyringstjeneste (AWS KMS)-taster og VPC-oppsett i studio_constructs/ mappe. Før du distribuerer stabelen på kontoen din, kan du redigere følgende linjer app.py og gi porteføljetilgang til en IAM-rolle etter eget valg.

Du kan administrere tilgang til porteføljen for de relevante IAM-brukerne, -gruppene og -rollene. Se Gi tilgang til brukere for mer informasjon.

Distribuer porteføljen på kontoen din

Du kan nå kjøre følgende kommandoer for å installere AWS CDK og sørge for at du har de riktige avhengighetene for å distribuere porteføljen:

npm install -g aws-cdk@2.27.0
python3 -m venv .venv
source .venv/bin/activate
pip3 install -r requirements.txt

Kjør følgende kommandoer for å distribuere porteføljen til kontoen din:

ACCOUNT_ID=$(aws sts get-caller-identity --query Account | tr -d '"')
AWS_REGION=$(aws configure get region)
cdk bootstrap aws://${ACCOUNT_ID}/${AWS_REGION}
cdk deploy --require-approval never

De to første kommandoene får din konto-ID og gjeldende region ved å bruke AWS kommandolinjegrensesnitt (AWS CLI) på datamaskinen. Etter dette, cdk bootstrap og cdk deploy bygg eiendeler lokalt, og distribuer stabelen på noen få minutter.

Porteføljen kan nå bli funnet i AWS Service Catalog, som vist i følgende skjermbilde.

On-demand provisjonering

Produktene i porteføljen kan lanseres raskt og enkelt på forespørsel fra Provisioning menyen på AWS Service Catalog-konsollen. En typisk flyt er å starte Studio-domenet og Canvas automatisk avslutning først fordi dette vanligvis er en engangshandling. Du kan deretter legge til Canvas-brukere til domenet. Domene-ID-en og bruker-IAM-rollen ARN er lagret i AWS systemansvarlig og fylles automatisk ut med brukerparameterne som vist i følgende skjermbilde.

Du kan også bruke tagger for kostnadsfordeling som er knyttet til hver bruker. For eksempel, UserCostCenter er en prøvekode hvor du kan legge til navnet på hver bruker.

Viktige hensyn for å styre ML-miljøer ved bruk av Canvas

Nå som vi har klargjort og distribuert en AWS Service Catalog-portefølje fokusert på Canvas, vil vi fremheve noen få hensyn for å styre de Canvas-baserte ML-miljøene med fokus på domenet og brukerprofilen.

Følgende er vurderinger angående Studio-domenet:

• Nettverk for Canvas administreres på Studio-domenenivå, der domenet er distribuert på et privat VPC-undernett for sikker tilkobling. Se Sikrer Amazon SageMaker Studio-tilkobling ved hjelp av en privat VPC for å lære mer.
• En standard IAM-utførelsesrolle er definert på domenenivå. Denne standardrollen tildeles alle Canvas-brukere i domenet.
• Kryptering gjøres ved å bruke AWS KMS ved å kryptere EFS-volumet i domenet. For ytterligere kontroller kan du spesifisere din egen administrerte nøkkel, også kjent som en kundeadministrert nøkkel (CMK). Se Beskytt data i hvile ved hjelp av kryptering for å lære mer.
• Muligheten til å laste opp filer fra din lokale disk gjøres ved å legge ved en CORS-policy (cross-origin resource sharing) til S3-bøtten som brukes av Canvas. Se Gi brukerne dine tillatelse til å laste opp lokale filer for å lære mer.

Følgende er hensyn angående brukerprofilen:

• Autentisering i Studio kan gjøres både gjennom enkel pålogging (SSO) og IAM. Hvis du har en eksisterende identitetsleverandør for å forene brukere for å få tilgang til konsollen, kan du tilordne en Studio-brukerprofil til hver forent identitet ved å bruke IAM. Se avsnittet Tilordne policyen til Studio-brukere in Konfigurerer Amazon SageMaker Studio for team og grupper med fullstendig ressursisolasjon for å lære mer.
• Du kan tilordne IAM-utførelsesroller til hver brukerprofil. Mens du bruker Studio, påtar en bruker rollen som er tilordnet brukerprofilen som overstyrer standard utførelsesrolle. Du kan bruke dette for finmaskede tilgangskontroller i et team.
• Du kan oppnå isolasjon ved å bruke attributtbaserte tilgangskontroller (ABAC) for å sikre at brukere bare har tilgang til ressursene for teamet deres. Se Konfigurerer Amazon SageMaker Studio for team og grupper med fullstendig ressursisolasjon for å lære mer.
• Du kan utføre finmasket kostnadssporing ved å bruke tagger for kostnadsfordeling på brukerprofiler.

Rydd opp

For å rydde opp i ressursene som er opprettet av AWS CDK-stakken ovenfor, naviger over til AWS CloudFormation-stabler-siden og slett Canvas-stakkene. Du kan også løpe cdk destroy fra depotmappen for å gjøre det samme.

konklusjonen

I dette innlegget delte vi hvordan du raskt og enkelt kan levere ML-miljøer med Canvas ved å bruke AWS Service Catalog og AWS CDK. Vi diskuterte hvordan du kan opprette en portefølje på AWS Service Catalog, levere porteføljen og distribuere den på kontoen din. IT-administratorer kan bruke denne metoden til å distribuere og administrere brukere, økter og tilknyttede kostnader mens de klargjør Canvas.

Lær mer om Canvas på produktside og Utviklerguide. For videre lesing kan du lære hvordan gjør det mulig for forretningsanalytikere å få tilgang til SageMaker Canvas ved hjelp av AWS SSO uten konsollen. Du kan også lære hvordan forretningsanalytikere og dataforskere kan samarbeide raskere ved å bruke Canvas og Studio.

Om forfatterne

Davide Gallitelli er en spesialistløsningsarkitekt for AI/ML i EMEA-regionen. Han er basert i Brussel og jobber tett med kunder i hele Benelux. Han har vært utvikler siden han var veldig ung, og begynte å kode i en alder av 7. Han begynte å lære AI/ML på universitetet, og har forelsket seg i det siden den gang.

Sofian Hamiti er en AI / ML-spesialist Solutions Architect hos AWS. Han hjelper kunder på tvers av bransjer å få fart på AI / ML-reisen ved å hjelpe dem med å bygge og operasjonalisere helhetlige maskinlæringsløsninger.

Shyam Srinivasan er hovedproduktsjef i AWS AI/ML-teamet, og leder produktadministrasjon for Amazon SageMaker Canvas. Shyam bryr seg om å gjøre verden til et bedre sted gjennom teknologi og brenner for hvordan AI og ML kan være en katalysator på denne reisen.

Avi Patel jobber som programvareingeniør på Amazon SageMaker Canvas-teamet. Bakgrunnen hans består av å jobbe full stack med frontend-fokus. På fritiden liker han å bidra til åpen kildekode-prosjekter i kryptorommet og lære om nye DeFi-protokoller.

Jared Heywood er Senior Business Development Manager hos AWS. Han er en global AI/ML-spesialist som hjelper kunder med maskinlæring uten kode. Han har jobbet i AutoML-området de siste 5 årene og lansert produkter hos Amazon som Amazon SageMaker JumpStart og Amazon SageMaker Canvas.