Amazon SageMaker Studio er det første fuldt integrerede udviklingsmiljø (IDE) til maskinlæring (ML). Studio tilbyder en enkelt webbaseret visuel grænseflade, hvor du kan udføre alle ML-udviklingstrin, der er nødvendige for at forberede data, samt bygge, træne og implementere modeller. Livscykluskonfigurationer er shell-scripts, der udløses af Studio-livscyklushændelser, såsom at starte en ny Studio-notesbog. Du kan bruge livscykluskonfigurationer til at automatisere tilpasning til dit Studio-miljø. Denne tilpasning omfatter installation af brugerdefinerede pakker, konfiguration af notebook-udvidelser, forudindlæsning af datasæt og opsætning af kildekodelagre. Som administrator for et Studio-domæne kan du f.eks spar omkostninger ved at lade notebook-apps lukke automatisk efter lange perioder med inaktivitet.
AWS Cloud Development Kit (AWS CDK) er en ramme til at definere cloud-infrastruktur gennem kode og klargøre den igennem AWS CloudFormation stakke. En stak er en samling af AWS-ressourcer, der kan opdateres, flyttes eller slettes programmatisk. AWS CDK konstruktioner er byggestenene i AWS CDK-applikationer, der repræsenterer planen til at definere cloud-arkitekturer.
I dette indlæg viser vi, hvordan du bruger AWS CDK til at konfigurere Studio, bruge Studio-livscykluskonfigurationer og aktivere dets adgang for dataforskere og udviklere i din organisation.
Løsningsoversigt
Modulariteten af livscykluskonfigurationer giver dig mulighed for at anvende dem på alle brugere i et domæne eller på specifikke brugere. På denne måde kan du opsætte livscykluskonfigurationer og referere til dem i studiet kernel gateway eller Jupyter server hurtigt og konsekvent. Kernen-gatewayen er indgangspunktet for at interagere med en notebook-instans, hvorimod Jupyter-serveren repræsenterer Studio-instansen. Dette giver dig mulighed for at anvende DevOps bedste praksis og opfylde sikkerheds-, compliance- og konfigurationsstandarder på tværs af alle AWS-konti og -regioner. Til dette indlæg bruger vi Python som hovedsprog, men koden kan nemt ændres til andre AWS CDK understøttede sprog. For mere information, se Arbejder med AWS CDK.
Forudsætninger
For at komme i gang skal du sørge for at have følgende forudsætninger:
Klon GitHub-depotet
First, klone og GitHub repository.
Når du kloner depotet, kan du observere, at vi har et klassisk AWS CDK-projekt med mappen studio-lifecycle-config-construct
, som indeholder den konstruktion og de ressourcer, der kræves for at skabe livscykluskonfigurationer.
AWS CDK konstruerer
Filen vi ønsker at inspicere er aws_sagemaker_lifecycle.py
. Denne fil indeholder SageMakerStudioLifeCycleConfig
konstruktion, vi bruger til at opsætte og skabe livscykluskonfigurationer.
SageMakerStudioLifeCycleConfig
construct giver rammerne for opbygning af livscykluskonfigurationer ved hjælp af en brugerdefineret AWS Lambda funktion og shell-kode læst ind fra en fil. Konstruktionen indeholder følgende parametre:
- ID – Navnet på det aktuelle projekt.
- studie_livscyklus_indhold - Den base64 kodet indhold.
- studio_lifecycle_tags – Etiketter, du tildeler til at organisere Amazon-ressourcer. De indtastes som nøgle-værdi-par og er valgfrie for denne konfiguration.
- studio_lifecycle_config_app_type -
JupyterServer
er til den unikke server selv, ogKernelGateway
app svarer til en kørende SageMaker-billedbeholder.
For mere information om Studio notebook-arkitekturen, se Dyk dybt ned i Amazon SageMaker Studio Notebooks arkitektur.
Følgende er et kodestykke af Studio-livscykluskonfigurationskonstruktionen (aws_sagemaker_lifecycle.py
):
Når du har importeret og installeret konstruktionen, kan du bruge den. Følgende kodestykke viser, hvordan man opretter en livscykluskonfiguration ved hjælp af konstruktionen i en stak enten i app.py
eller en anden konstruktion:
Implementer AWS CDK-konstruktioner
For at implementere din AWS CDK-stak skal du køre følgende kommandoer på det sted, hvor du klonede depotet.
Kommandoen kan være python
i stedet for python3
afhængigt af dine stikonfigurationer.
- Opret et virtuelt miljø:
- Til macOS/Linux, brug
python3 -m venv .cdk-venv
. - Til Windows, brug
python3 -m venv .cdk-venv
.
- Til macOS/Linux, brug
- Aktiver det virtuelle miljø:
- Til macOS/Linux, brug
source .cdk-venvbinactivate
. - Til Windows, brug
.cdk-venv/Scripts/activate.bat
. - Til PowerShell, brug
.cdk-venv/Scripts/activate.ps1
.
- Til macOS/Linux, brug
- Installer de nødvendige afhængigheder:
pip install -r requirements.txt
pip install -r requirements-dev.txt
- På dette tidspunkt kan du eventuelt syntetisere CloudFormation-skabelonen til denne kode:
- Implementer løsningen med følgende kommandoer:
aws configure
cdk bootstrap
cdk deploy
Når stakken er implementeret, bør du være i stand til at se stakken på CloudFormation-konsollen.
Du vil også kunne se livscykluskonfigurationen på SageMaker-konsollen.
Vælg livscykluskonfigurationen for at se den skalkode, der kører, samt eventuelle tags, du har tildelt.
Vedhæft Studio-livscykluskonfigurationen
Der er flere måder at vedhæfte en livscykluskonfiguration på. I dette afsnit præsenterer vi to metoder: ved at bruge AWS Management Console, og programmæssigt ved hjælp af den tilvejebragte infrastruktur.
Vedhæft livscykluskonfigurationen ved hjælp af konsollen
For at bruge konsollen skal du udføre følgende trin:
- Vælg på SageMaker-konsollen domæner i navigationsruden.
- Vælg det domænenavn, du bruger, og den aktuelle brugerprofil, og vælg derefter Redigere.
- Vælg den livscykluskonfiguration, du vil bruge, og vælg Vedhæft.
Herfra kan du også indstille det som standard.
Vedhæft livscykluskonfigurationen programmatisk
Du kan også hente ARN'et for Studio-livscykluskonfigurationen oprettet af konstruktionens og vedhæfte det til Studio-konstruktionen programmæssigt. Følgende kode viser livscykluskonfigurationen ARN, der overføres til en Studio-konstruktion:
Ryd op
Fuldfør trinene i dette afsnit for at rydde op i dine ressourcer.
Slet Studio-livscykluskonfigurationen
For at slette din livscykluskonfiguration skal du udføre følgende trin:
- Vælg på SageMaker-konsollen Studielivscykluskonfigurationer i navigationsruden.
- Vælg livscykluskonfigurationen, og vælg derefter Slette.
Slet AWS CDK-stakken
Når du er færdig med de ressourcer, du har oprettet, kan du ødelægge din AWS CDK-stak ved at køre følgende kommando på det sted, hvor du klonede depotet:
Når du bliver bedt om at bekræfte sletningen af stakken, skal du indtaste yes
.
Du kan også slette stakken på AWS CloudFormation-konsollen med følgende trin:
- På AWS CloudFormation-konsollen skal du vælge Stakke i navigationsruden.
- Vælg den stak, du vil slette.
- Vælg i ruden med stakdetaljer Slette.
- Vælg Slet stakken når du bliver bedt om det.
Hvis du støder på fejl, skal du muligvis slette nogle ressourcer manuelt afhængigt af din kontokonfiguration.
Konklusion
I dette indlæg diskuterede vi, hvordan Studio fungerer som en IDE for ML-arbejdsbelastninger. Studio tilbyder livscykluskonfigurationssupport, som giver dig mulighed for at opsætte brugerdefinerede shell-scripts til at udføre automatiserede opgaver eller opsætte udviklingsmiljøer ved lanceringen. Vi brugte AWS CDK-konstruktioner til at bygge infrastrukturen til den tilpassede ressource- og livscykluskonfiguration. Konstruktioner syntetiseres til CloudFormation-stakke, der derefter implementeres for at skabe det tilpassede ressource- og livscyklusscript, der bruges i Studio og notebookkernen.
For mere information, besøg Amazon SageMaker Studio.
Om forfatterne
Cory Hairston er softwareingeniør hos Amazon ML Solutions Lab. Han arbejder i øjeblikket på at levere genanvendelige softwareløsninger.
Alex Chirayath er Senior Machine Learning Engineer ved Amazon ML Solutions Lab. Han leder teams af datavidenskabsfolk og ingeniører til at bygge AI-applikationer til at imødekomme forretningsbehov.
Gouri Pandeshwar er ingeniørchef hos Amazon ML Solutions Lab. Han og hans team af ingeniører arbejder på at opbygge genanvendelige løsninger og rammer, der hjælper med at accelerere indførelse af AWS AI/ML-tjenester til kunders forretningsbrug.
- SEO Powered Content & PR Distribution. Bliv forstærket i dag.
- EVM Finans. Unified Interface for Decentralized Finance. Adgang her.
- Quantum Media Group. IR/PR forstærket. Adgang her.
- PlatoAiStream. Web3 Data Intelligence. Viden forstærket. Adgang her.
- Kilde: https://aws.amazon.com/blogs/machine-learning/use-the-aws-cdk-to-deploy-amazon-sagemaker-studio-lifecycle-configurations/
- :er
- :hvor
- $OP
- 100
- 12
- 14
- 7
- a
- I stand
- fremskynde
- adgang
- Konto
- Konti
- tværs
- adresse
- Vedtagelse
- Efter
- AI
- AI / ML
- Alle
- tillader
- også
- Amazon
- Amazon ML Solutions Lab
- Amazon SageMaker
- Amazon SageMaker Studio
- Amazon Web Services
- an
- ,
- En anden
- enhver
- app
- applikationer
- Indløs
- apps
- arkitektur
- ER
- AS
- tildelt
- At
- vedhæfte
- automatisere
- Automatiseret
- automatisk
- AWS
- AWS CloudFormation
- BE
- være
- BEDSTE
- bedste praksis
- Blocks
- bygge
- Bygning
- virksomhed
- men
- by
- CAN
- tilfælde
- ændret
- Vælg
- Classic
- Cloud
- sky infrastruktur
- kode
- samling
- KOM
- fuldføre
- Compliance
- Konfiguration
- Bekræfte
- Konsol
- konstruere
- Container
- indeholder
- indhold
- svarer
- Omkostninger
- skabe
- oprettet
- Nuværende
- For øjeblikket
- skik
- tilpasning
- data
- datasæt
- dyb
- Standard
- definere
- Afhængigt
- indsætte
- indsat
- ødelægge
- detaljer
- udviklere
- Udvikling
- drøftet
- domæne
- Domain Name
- færdig
- ned
- nemt
- enten
- muliggøre
- muliggør
- ingeniør
- Ingeniører
- Indtast
- indrejse
- Miljø
- miljøer
- fejl
- begivenheder
- eksempel
- udvidelser
- File (Felt)
- Fornavn
- efter
- Til
- Framework
- rammer
- fra
- fuldt ud
- funktion
- gateway
- få
- GitHub
- Have
- have
- he
- hjælpe
- link.
- hans
- Hvordan
- How To
- HTML
- http
- HTTPS
- ID
- billede
- importere
- in
- omfatter
- oplysninger
- Infrastruktur
- installere
- installation
- instans
- i stedet
- integreret
- interagere
- grænseflade
- ind
- IT
- ITS
- selv
- jpg
- lab
- Etiketter
- Sprog
- Sprog
- lancere
- Leads
- læring
- livscyklus
- placering
- Lang
- maskine
- machine learning
- Main
- lave
- ledelse
- leder
- manuelt
- Kan..
- Mød
- metoder
- ML
- modeller
- mere
- flyttet
- flere
- navn
- Navigation
- behov
- Ny
- notesbog
- observere
- of
- Tilbud
- on
- or
- organisation
- Andet
- pakker
- par
- brød
- parametre
- Bestået
- sti
- Udfør
- perioder
- plato
- Platon Data Intelligence
- PlatoData
- Punkt
- Indlæg
- PowerShell
- praksis
- Forbered
- forudsætninger
- præsentere
- Profil
- projekt
- forudsat
- giver
- leverer
- Python
- hurtigt
- Læs
- regioner
- Repository
- repræsenterer
- repræsenterer
- påkrævet
- Krav
- ressource
- Ressourcer
- genanvendelige
- Kør
- kører
- Sikkerhed
- sagemaker
- forskere
- rækkevidde
- scripts
- Sektion
- SELV
- senior
- tjener
- Tjenester
- sæt
- indstilling
- Shell
- bør
- Vis
- Shows
- Luk ned
- enkelt
- Software
- Software Engineer
- løsninger
- Løsninger
- nogle
- Kilde
- kildekode
- specifikke
- stable
- Stakke
- standarder
- påbegyndt
- Starter
- Steps
- Studio
- Succesfuld
- sådan
- support
- Understøttet
- systemet
- opgaver
- hold
- hold
- skabelon
- at
- Them
- derefter
- de
- denne
- Gennem
- til
- Tog
- udløst
- to
- enestående
- opdateret
- brug
- anvendte
- Bruger
- brugere
- ved brug af
- Specifikation
- Virtual
- Besøg
- ønsker
- Vej..
- måder
- we
- web
- webservices
- web-baseret
- GODT
- hvornår
- ud fra følgende betragtninger
- som
- vilje
- vinduer
- med
- arbejder
- virker
- Du
- Din
- zephyrnet