I dag er vi glade for å kunngjøre støtte for Code Editor, et nytt integrert utviklingsmiljø (IDE)-alternativ i Amazon SageMaker Studio. Code Editor er basert på Kode-OSS, Visual Studio Code Open Source, og gir tilgang til det kjente miljøet og verktøyene til den populære IDE som maskinlæringsutviklere (ML) kjenner og elsker, fullt integrert med det bredere SageMaker Studio-funksjonssettet. Code Editor lar deg velge mellom tusenvis av VS Code-kompatible utvidelser tilgjengelig i Open-VSX utvidelsesgalleri for å forbedre teamenes utviklingsopplevelse ytterligere. Du kan også maksimere teamets produktivitet ved å bruke sømløs integrasjon til AWS-tjenester gjennom AWS Toolkit for Visual Studio Code, inkludert den AWS AI-drevne kodefølgen, Amazon CodeWhisperer.
Som med alle IDE-applikasjoner i SageMaker Studio, kan ML-utviklere og ingeniører velge den underliggende datamaskinen på forespørsel, og bytte den basert på deres behov uten å miste data. I tillegg kan teamene dine administrere kodebase-versjonskontrollen og samarbeide på tvers av team gjennom innebygd GitHub-integrasjon og redusere tiden til koding ved å bruke de mest populære ML-rammeverkene rett ut av boksen med de forhåndskonfigurerte Amazon SageMaker-distribusjon beholderbilde.
Komme i gang med Code Editor på Amazon SageMaker Studio
IT-administratoren din kan sette opp et nytt SageMaker Studio-domene eller migrere et eksisterende til den nye SageMaker Studio-opplevelsen, som inkluderer Code Editor. Se Ombord på Amazon SageMaker Domain ved hjelp av hurtigoppsett for flere detaljer. Du kan deretter starte Code Editor med et enkelt klikk i ditt Amazon SageMaker Studio-miljø.
- Etter at domenet er konfigurert, starter du SageMaker Studios nye opplevelse fra konsollen eller den forhåndssignerte URL-adressen din administrator oppga. Du kan finne Code Editor IDE i både Applications-delen i panelet på venstre side og Overview-delen, som vist i følgende skjermbilde:
- På informasjonssiden for koderedigering velger du Opprett koderedigeringsrom. Skriv deretter inn et navn for plassen din og velg Skap plass:
- På informasjonssiden for Code Editor Space velger du den underliggende konfigurasjonen, inkludert:
- Den underliggende instanstypen Amazon Elastic Compute Cloud (Amazon EC2).
- En Amazon Elastic Block Storage (Amazon EBS) volumstørrelse (dette kan variere fra 5 GB til 16 TB).
- Beholderbildet som skal brukes (du vil ha et SageMaker Distribution-bilde for både CPU og GPU tilgjengelig ved lansering).
- Et livssykluskonfigurasjonsskript som skal kjøres i tilfelle du vil tilpasse miljøet ditt når du oppretter apper.
- Et delt Amazon Elastic File System (Amazon EFS) for å montere i koderedigeringsområdet ditt (dette må konfigureres av administratoren når du klargjør domenet ditt).
- Etter å ha oppgitt detaljene for plasskonfigurasjonen, velg Kjør plass for å skaffe plassressursene dine.
Hvis du har valgt en hurtiglansering forekomst med standard SageMaker Distribution som bilde, vil koderedigeringsplassen din være tilgjengelig på mindre enn ett minutt. Hvis du har lagt til livssykluskonfigurasjoner til plassen, kan det ta ekstra tid å installere avhengigheter fra det skriptet.
Etter at ressursene dine er klargjort, vil siden med plassdetaljer vise en Åpne Code Editor knapp.
- Velg Åpne CodeEditor for å starte IDE.
Kodeeditoren IDE vil starte i en ny nettleserfane.
Koderedigeringsfunksjoner
Code Editor kommer med et unikt sett med funksjoner for å øke produktiviteten til ML-teamet ditt:
- Fullt administrert infrastruktur – Code Editor IDE kjører på fullstendig administrert infrastruktur. Amazon SageMaker sørger for å holde forekomstene oppdatert med de nyeste sikkerhetsoppdateringene og oppgraderingene.
- Ring ressurser opp og ned – Med Code Editor kan du sømløst endre de underliggende ressursene (f.eks. instanstype, EBS-volumstørrelse) som Code Editor kjører på. Dette er gunstig for utviklere som ønsker å kjøre arbeidsbelastninger med skiftende behov for databehandling, minne og lagring.
- SageMaker ga bilder – Code Editor er forhåndskonfigurert med SageMaker distribusjon som standardbilde. Dette beholderbildet har alle de mest populære ML-rammeverkene som støttes av SageMaker, sammen med SageMaker Python SDK, boto3, og andre AWS- og datavitenskapspesifikke biblioteker installert. Dette reduserer tiden du bruker på å sette opp miljøet betydelig og reduserer kompleksiteten ved å administrere pakkeavhengigheter i ML-prosjektet ditt.
- Amazon CodeWhisperer-integrasjon – Code Editor kommer også med generative AI-funksjoner drevet av Amazon Code Whisperer. Denne innfødte integrasjonen lar deg øke produktiviteten din ved å generere kodeforslag i IDE.
- Integrasjon med andre AWS-tjenester – Du får innfødt integrasjon med Amazon enkel lagringstjeneste (S3) bøtter, Amazon Elastic Container Registry (ECR) depoter, Amazon RedShift, Amazon CloudWatch, og mer via AWS Toolkit for VS Code som forenkler utvikling i sky.
Arkitektur detaljer
Når du starter Code Editor i SageMaker Studio, oppretter du en ny applikasjon som kjører som en beholder i en EC2-forekomst av typen du valgte da du konfigurerte Code Editor-plassen. SageMaker Studio håndterer levering av underliggende ressurser for deg i en tjenesteadministrert konto. Følgende diagram viser en forenklet versjon av Code Editor IDE-applikasjonsarkitekturen:
For en gitt brukerprofil kan du starte flere Code Editor-rom, med en rekke ML-instanstyper (inkludert akselererte databehandlingsinstanser). Hvert mellomrom definerer den vedlagte EBS-volumstørrelsen, forekomsttypen og typen applikasjon som skal kjøres i plassen (for eksempel Code Editor). Når brukere kjører plassen, er den underliggende EC2-forekomsten klargjort og en SageMaker Studio Code Editor app instansieres basert på det valgte beholderbildet. EBS-volumet vedvares over start/stopp-sykluser til IDE app. Hvis brukere stopper Code Editor-appen (for eksempel for å spare på datakostnader), stoppes dataressursene, men EBS-volumet bevares og kobles til forekomsten på nytt ved omstart.
Alle Code Editor-applikasjoner kjører isolert; hvis du trenger å dele data på tvers av applikasjoner, kan du legge ved en delt Amazon Elastic File System (EFS)-stasjon.
For at din Code Editor IDE skal bruke den forhåndsinstallerte AWS Toolkit-utvidelse for VS-kode og bruk integrerte AWS-tjenester som Amazon CodeWhisperer eller datakilder som Amazon S3 og Amazon Redshift må du sørge for at:
- SageMaker Studio-brukerprofilens utførelsesrolle har passende tillatelser til å bruke tjenestene du ønsker å jobbe med.
- Du har en måte å kommunisere med disse tjenestene i tilfelle du har et SageMaker Studio-domene i VPC-modus. For mer informasjon om kravene for å bruke AWS-tjenester i et Studio-domene i VPC-modus, se Koble SageMaker Studio Notebooks i en VPC til eksterne ressurser.
Løsningsoversikt
I de følgende delene deler vi hvordan du kan utvikle et eksempel på et ML-prosjekt med Code Editor på Amazon SageMaker Studio. Vi vil distribuere en Mistral-7B large language model (LLM) modell i et Amazon SageMaker sanntidsendepunkt ved hjelp av en innebygd container fra HuggingFace. I dette eksemplet kan Code Editor brukes av et ML-ingeniørteam som trenger avanserte IDE-funksjoner for å feilsøke koden og distribuere endepunktet. Du finner eksempelkoden i denne GitHub repo. Vi viser hvordan du kan strukturere koden din for enkelt samarbeid mellom teammedlemmer, hvordan du kan bruke AWS Toolkit for VS Code og Amazon Code Whisperer for å fremskynde utviklingen din, og hvordan du distribuerer Mistral-7B-modellen på et SageMaker-endepunkt. La oss gå gjennom noen av de vanlige utvikleroppgavene i IDE.
Samhandle med AWS-tjenester direkte fra din IDE
Ut av esken kommer Code Editor med AWS Toolkit for Visual Studio Code for å gi deg en integrert opplevelse til andre AWS-tjenester under prosjektet ditt. Basert på din SageMaker Studio-brukerprofil AWS Identity and Access Management (IAM) tillatelse, kan du samhandle med data i Amazon S3-bøttene dine, finne containerbilder i Amazon ECR, visualisere Amazon CloudWatch-logger for SageMaker-endepunktet ditt og dra nytte av andre funksjoner å kjøre ende-til-ende ML-prosjektet fra din IDE.
Strukturer kodelageret ditt for enkelt samarbeid
Du kan strukturere prosjektlageret ditt for å maksimere produktiviteten til teamet ditt. For eksempel kan du sette opp et enkelt depot, med sikte på å finne en balanse mellom felles Python-prosjektkonvensjoner og teamsamarbeidsbehov.
Kodelageret ditt kan inneholde en .vscode
mappe med alle nødvendige filer for å standardisere avhengigheter, utvidelser og konfigurasjoner på tvers av de forskjellige teammedlemmene. Se følgende animasjon for referanse.
Du kan dele avhengigheter på tvers av teammedlemmer gjennom en requirements.txt
fil. Du kan også spesifisere en config.yaml
fil for å dele lanseringsprimitivene for SageMaker-endepunktet. Code Editor-økten din vil dele de samme avhengighetene og konfigurasjonene som teammedlemmene dine, og lar deg raskt utvikle og feilsøke slutningskoden og endepunktet.
Utvikle og feilsøk koden din i IDE
I det følgende eksempelet viser vi hvordan du kan utvikle og feilsøke din inference.py
skript som vil bli brukt i SageMaker-endepunktet:
Generer kode og testtilfeller med Amazon CodeWhisperer
Som en del av AWS Toolkit i koderedigeringsprogrammet, Amazon Code Whisperer lar deg bygge raskere og sikrere med en AI-kodefølge. Den kan gi deg sanntidskodeforslag, er optimert for bruk med AWS-tjenester og kommer med innebygd sikkerhetsskanning. I vårt eksempel bruker vi Amazon CodeWhisperer for å generere hel linje og full funksjonskode for å distribuere og teste ditt SageMaker-endepunkt
Distribuere din LLM til et SageMaker-endepunkt
Du kan distribuere modellen til et SageMaker-endepunkt fra IDE-en din og overvåke dens status direkte fra SageMaker Studio.
Når du skalerer ML-prosjektet ditt til en produksjonsklar applikasjon, vil Code Editor og AWS Toolkit tillate deg å administrere og overvåke ressursene til LLM-applikasjonen din mens du bygger, distribuerer og kjører den.
konklusjonen
Code Editor er tilgjengelig i alle AWS-regioner der Amazon SageMaker Studio er tilgjengelig (unntatt GovCloud), og du betaler kun for de underliggende data- og lagringsressursene i SageMaker eller andre AWS-tjenester, basert på bruken din.
For å komme i gang med Code Editor på Amazon SageMaker Studio, kan du bruke AWS gratis nivå, med 250 timers ml.t3.medium-forekomst på Amazon SageMaker Studio per måned de første 2 månedene. For flere detaljer, se Amazon SageMaker-priser.
Om forfatterne
Eric Peña er senior teknisk produktsjef i AWS Artificial Intelligence Platforms-teamet, og jobber med Amazon SageMaker Interactive Machine Learning. Han fokuserer for tiden på IDE-integrasjoner på SageMaker Studio. Han har en MBA-grad fra MIT Sloan og liker å spille basketball og fotball utenom jobben.
Vikesh Pandey er en maskinlæringsspesialist løsningsarkitekt hos AWS, og hjelper kunder fra finansnæringer med å designe og bygge løsninger på generativ AI og ML. Utenom jobben liker Vikesh å prøve ut forskjellige retter og drive med utendørssport.
Bruno Pistone er en AI/ML Specialist Solutions Architect for AWS basert i Milano. Han jobber med store kunder og hjelper dem med å forstå deres tekniske behov dypt og utforme AI- og maskinlæringsløsninger som utnytter AWS Cloud og Amazon Machine Learning-stabel på best mulig måte. Hans ekspertise inkluderer: Machine Learning ende til ende, Machine Learning Industrialization og Generative AI. Han liker å tilbringe tid med vennene sine og utforske nye steder, i tillegg til å reise til nye destinasjoner.
Giuseppe Angelo Porcelli er en hovedløsningsarkitekt for maskinlæring for Amazon Web Services. Med flere års programvareutvikling og ML-bakgrunn jobber han med kunder av alle størrelser for å forstå deres forretningsmessige og tekniske behov og designe AI- og ML-løsninger som utnytter AWS Cloud og Amazon Machine Learning-stabel på best mulig måte. Han har jobbet med prosjekter innen forskjellige domener, inkludert MLOps, datasyn og NLP, som involverer et bredt sett av AWS-tjenester. På fritiden liker Giuseppe å spille fotball.
Sofian Hamiti er en AI / ML-spesialist Solutions Architect hos AWS. Han hjelper kunder på tvers av bransjer å få fart på AI / ML-reisen ved å hjelpe dem med å bygge og operasjonalisere helhetlige maskinlæringsløsninger.
- SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
- PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
- PlatoESG. Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
- PlatoHelse. Bioteknologisk og klinisk etterretning. Tilgang her.
- kilde: https://aws.amazon.com/blogs/machine-learning/new-code-editor-based-on-code-oss-vs-code-open-source-now-available-in-amazon-sagemaker-studio/
- : har
- :er
- :hvor
- $OPP
- 10
- 100
- 11
- 12
- 13
- 15%
- 150
- 250
- 7
- a
- akselerere
- akselerert
- adgang
- Logg inn
- tvers
- la til
- Ytterligere
- I tillegg
- avansert
- Fordel
- AI
- AI-drevet
- AI / ML
- Sikter
- Alle
- tillate
- tillater
- langs
- også
- Amazon
- Amazon Code Whisperer
- Amazon EC2
- Amazon Elastic File System (EFS)
- Amazon maskinlæring
- Amazon RedShift
- Amazon SageMaker
- Amazon SageMaker Studio
- Amazon Web Services
- an
- og
- animasjon
- Kunngjøre
- noen
- app
- Søknad
- søknader
- hensiktsmessig
- arkitektur
- ER
- kunstig
- kunstig intelligens
- AS
- At
- feste
- tilgjengelig
- AWS
- AWS Identity and Access Management (IAM)
- bakgrunn
- Balansere
- basert
- basketball
- BE
- gunstig
- BEST
- mellom
- Blokker
- øke
- både
- Eske
- bred
- bredere
- nett~~POS=TRUNC leseren~~POS=HEADCOMP
- bygge
- innebygd
- virksomhet
- men
- knapp
- by
- CAN
- evner
- hvilken
- saken
- saker
- endring
- endring
- Velg
- valgt ut
- klikk
- Cloud
- kode
- kodebase
- Koding
- samarbeide
- samarbeid
- kommer
- Felles
- kommunisere
- følgesvenn
- kompatibel
- kompleksitet
- Beregn
- datamaskin
- Datamaskin syn
- databehandling
- Konfigurasjon
- konfigurert
- konfigurering
- Konsoll
- inneholde
- Container
- kontroll
- Kostnader
- Opprette
- skaperverket
- I dag
- Kunder
- tilpasse
- sykluser
- dato
- datavitenskap
- Dato
- avtar
- Misligholde
- definerer
- Grad
- Etterspørsel
- avhengig
- utplassere
- utforming
- destinasjoner
- detaljer
- utvikle
- Utvikler
- utviklere
- Utvikling
- forskjellig
- direkte
- distribusjon
- domene
- domener
- ned
- stasjonen
- under
- e
- hver enkelt
- lett
- redaktør
- uanstrengt
- muliggjør
- slutt
- ende til ende
- Endpoint
- Ingeniørarbeid
- Ingeniører
- forbedre
- Enter
- Miljø
- eksempel
- Unntatt
- opphisset
- gjennomføring
- eksisterende
- erfaring
- ekspertise
- Utforske
- forlengelse
- utvidelser
- utvendig
- kjent
- raskere
- Trekk
- Egenskaper
- filet
- Filer
- finansiell
- finansnæringer
- Finn
- Først
- fokuserer
- etter
- fotball
- Til
- rammer
- Gratis
- venner
- fra
- fullt
- fullt
- funksjon
- videre
- generere
- genererer
- generative
- Generativ AI
- få
- gif
- GitHub
- gitt
- GPU
- Håndterer
- Ha
- he
- hjelpe
- hjelper
- hans
- holder
- TIMER
- Hvordan
- Hvordan
- HTML
- HTTPS
- Identitet
- if
- bilde
- bilder
- in
- inkludere
- inkluderer
- Inkludert
- Øke
- bransjer
- Infrastruktur
- installere
- installerte
- f.eks
- integrert
- integrering
- integrasjoner
- Intelligens
- samhandle
- interaktiv
- inn
- involverer
- isolert
- IT
- DET ER
- reise
- jpg
- holde
- Vet
- Språk
- stor
- siste
- lansere
- lansere
- læring
- mindre
- bibliotekene
- Livssyklus
- linje
- LLM
- å miste
- elsker
- maskin
- maskinlæring
- gjøre
- administrer
- fikk til
- ledelse
- leder
- administrerende
- Maksimer
- medium
- medlemmer
- Minne
- kunne
- migrere
- MILAN
- minutt
- MIT
- ML
- MLOps
- Mote
- modell
- Overvåke
- Måned
- måneder
- mer
- mest
- Mest populær
- MONTER
- flere
- navn
- innfødt
- nødvendig
- Trenger
- behov
- Ny
- nlp
- nå
- of
- on
- ONE
- bare
- åpen
- åpen kildekode
- optimalisert
- Alternativ
- or
- rekkefølge
- Annen
- vår
- ut
- utenfor
- oversikt
- pakke
- side
- panel
- del
- Patches
- Betale
- for
- tillatelse
- tillatelser
- steder
- Plattformer
- plato
- Platon Data Intelligence
- PlatonData
- spiller
- Populær
- powered
- Principal
- Produkt
- Produktsjef
- produktivitet
- Profil
- prosjekt
- prosjekter
- gi
- forutsatt
- gir
- gi
- forsyning
- Python
- Rask
- raskt
- område
- sanntids
- redusere
- reduserer
- referere
- referanse
- regioner
- Repository
- Krav
- Ressurser
- ikke sant
- Rolle
- Kjør
- rennende
- går
- sagemaker
- samme
- Spar
- Skala
- skanning
- Vitenskap
- script
- sømløs
- sømløst
- Seksjon
- seksjoner
- sikkert
- sikkerhet
- se
- velg
- valgt
- senior
- tjeneste
- Tjenester
- Session
- sett
- innstilling
- oppsett
- flere
- Del
- delt
- Vis
- vist
- betydelig
- Enkelt
- forenklet
- forenkler
- enkelt
- Størrelse
- Sloan
- Software
- software engineering
- Solutions
- noen
- kilde
- Kilder
- Rom
- mellomrom
- spesialist
- spesifikk
- fart
- bruke
- utgifter
- Sports
- stable
- standardisere
- startet
- status
- Stopp
- stoppet
- lagring
- streik
- struktur
- studio
- slik
- støtte
- Støttes
- sikker
- swap
- system
- Ta
- tar
- oppgaver
- lag
- Lag medlemmer
- lag
- Teknisk
- test
- enn
- Det
- De
- deres
- Dem
- deretter
- denne
- De
- tusener
- Gjennom
- tid
- til
- verktøykasse
- verktøy
- prøver
- typen
- typer
- underliggende
- forstå
- unik
- oppgraderinger
- URL
- bruk
- bruke
- brukt
- Bruker
- Brukere
- ved hjelp av
- variasjon
- versjon
- av
- syn
- visuell
- visualisere
- volum
- vs
- vs kode
- gå
- ønsker
- Vei..
- we
- web
- webtjenester
- VI VIL
- når
- hvilken
- HVEM
- hele
- vil
- med
- innenfor
- uten
- Arbeid
- arbeidet
- arbeid
- virker
- år
- Du
- Din
- zephyrnet