Oggi siamo lieti di annunciare il supporto per Code Editor, una nuova opzione dell'ambiente di sviluppo integrato (IDE) in Amazon Sage Maker Studio. L'editor di codice è basato su Codice-OSS, Visual Studio Code Open Source e fornisce l'accesso all'ambiente familiare e agli strumenti del popolare IDE che gli sviluppatori di machine learning (ML) conoscono e apprezzano, completamente integrati con il più ampio set di funzionalità di SageMaker Studio. Code Editor ti consente di scegliere tra migliaia di estensioni compatibili con VS Code disponibili in Galleria di estensioni Open-VSX per migliorare ulteriormente l'esperienza di sviluppo dei tuoi team. Puoi anche massimizzare la produttività del tuo team utilizzando la perfetta integrazione con i servizi AWS tramite AWS Toolkit per codice di Visual Studio, incluso il compagno di codifica basato sull'intelligenza artificiale di AWS, Amazon CodeWhisperer.
Come con tutte le applicazioni IDE in SageMaker Studio, gli sviluppatori e gli ingegneri ML possono selezionare il calcolo sottostante su richiesta e scambiarlo in base alle proprie esigenze senza perdere dati. Inoltre, i tuoi team possono gestire il controllo della versione della base di codice e collaborare tra team attraverso l'integrazione nativa di GitHub e ridurre i tempi di codifica utilizzando i framework ML più popolari immediatamente con il preconfigurato Distribuzione Amazon SageMaker immagine del contenitore.
Introduzione all'editor di codice su Amazon SageMaker Studio
Il tuo amministratore IT può configurare un nuovo dominio SageMaker Studio o migrarne uno esistente alla nuova esperienza SageMaker Studio, che include Code Editor. Vedere Onboarding nel dominio Amazon SageMaker utilizzando la configurazione rapida per ulteriori dettagli. Potrai quindi avviare l'editor di codice con un semplice clic nel tuo ambiente Amazon SageMaker Studio.
- Dopo aver configurato il dominio, avvia la nuova esperienza di SageMaker Studio dalla console o dall'URL prefirmato fornito dall'amministratore. Puoi trovare l'IDE dell'editor di codice sia nella sezione Applicazioni nel pannello di sinistra che nella sezione Panoramica, come mostrato nello screenshot seguente:
- Nella pagina dei dettagli dell'editor di codice scegliere Crea spazio editor di codice. Quindi inserisci un nome per il tuo spazio e scegli Crea spazio:
- Nella pagina dei dettagli dello spazio dell'editor di codice, scegli la configurazione sottostante, tra cui:
- Il tipo di istanza sottostante Amazon Elastic Compute Cloud (Amazon EC2).
- Una dimensione del volume Amazon Elastic Block Storage (Amazon EBS) (può variare da 5 GB a 16 TB).
- L'immagine del contenitore da utilizzare (al momento del lancio sarà disponibile un'immagine di distribuzione SageMaker sia per CPU che per GPU).
- Uno script di configurazione del ciclo di vita da eseguire nel caso in cui desideri personalizzare il tuo ambiente durante la creazione dell'app.
- Un Amazon Elastic File System (Amazon EFS) condiviso da montare nello spazio dell'editor di codice (deve essere configurato dall'amministratore durante il provisioning del dominio).
- Dopo aver fornito i dettagli sulla configurazione dello spazio, scegli Gestisci lo spazio per fornire le tue risorse spaziali.
Se hai scelto un lancio veloce con la distribuzione SageMaker predefinita come immagine, lo spazio dell'editor di codice sarà disponibile in meno di un minuto. Se hai aggiunto configurazioni del ciclo di vita allo spazio, potrebbe essere necessario più tempo per installare le dipendenze da quello script.
Una volta effettuato il provisioning delle risorse, la pagina dei dettagli dello spazio mostrerà un file Apri l'editor di codice pulsante.
- Scegli Apri CodeEditor per avviare l'IDE.
L'IDE dell'editor di codice verrà avviato in una nuova scheda del browser.
Funzionalità dell'editor di codice
Code Editor viene fornito con un set unico di funzionalità per aumentare la produttività del tuo team ML:
- Infrastruttura completamente gestita – L'IDE dell'editor di codice viene eseguito su un'infrastruttura completamente gestita. Amazon SageMaker si occupa di mantenere aggiornate le istanze con le patch e gli aggiornamenti di sicurezza più recenti.
- Comporre le risorse su e giù – Con Code Editor, puoi modificare facilmente le risorse sottostanti (ad esempio, tipo di istanza, dimensione del volume EBS) su cui è in esecuzione Code Editor. Ciò è vantaggioso per gli sviluppatori che desiderano eseguire carichi di lavoro con esigenze di calcolo, memoria e archiviazione mutevoli.
- SageMaker ha fornito immagini: L'editor di codice è preconfigurato con Distribuzione SageMaker come immagine predefinita. Questa immagine contenitore contiene tutti i framework ML più popolari supportati da SageMaker, insieme a SDK Python di SageMaker, boto3e altre librerie specifiche di AWS e data science installate. Ciò riduce significativamente il tempo dedicato alla configurazione dell'ambiente e diminuisce la complessità della gestione delle dipendenze dei pacchetti nel progetto ML.
- Integrazione di Amazon CodeWhisperer – Code Editor include anche funzionalità di intelligenza artificiale generativa basate su Amazon Code Whisperer. Questa integrazione nativa ti consente di aumentare la tua produttività generando suggerimenti di codice all'interno dell'IDE.
- Integrazione con altri servizi AWS – Ottieni l'integrazione nativa con Servizio di archiviazione semplice Amazon (S3) benne, Registro dei contenitori Amazon Elastic archivi (ECR), Amazon RedShift, Amazon Cloud Watche altro tramite il Kit di strumenti AWS per VS Code che semplifica lo sviluppo in cloud.
Dettagli di architettura
Quando avvii l'editor di codice in SageMaker Studio, stai creando una nuova applicazione che viene eseguita come contenitore in un'istanza EC2 del tipo selezionato durante la configurazione dello spazio dell'editor di codice. SageMaker Studio gestisce per te il provisioning delle risorse sottostanti in un account gestito dal servizio. Il diagramma seguente illustra una versione semplificata dell'architettura dell'applicazione IDE dell'editor di codice:
Per un determinato profilo utente, puoi avviare più spazi dell'editor di codice, con una varietà di tipi di istanze ML (comprese le istanze di calcolo accelerato). Ogni spazio definisce la dimensione del volume EBS collegato, il tipo di istanza e il tipo di applicazione da eseguire nello spazio (ad esempio, Code Editor). Quando gli utenti eseguono lo spazio, viene effettuato il provisioning dell'istanza EC2 sottostante e di un editor di codice SageMaker Studio App viene istanziato, in base all'immagine del contenitore selezionata. Il volume EBS viene mantenuto durante i cicli di avvio/arresto dell'IDE App. Se gli utenti arrestano l'app Code Editor (ad esempio, per risparmiare sui costi di calcolo), le risorse di calcolo vengono arrestate ma il volume EBS viene preservato e ricollegato all'istanza al riavvio.
Tutte le applicazioni dell'editor di codice vengono eseguite in modo isolato; se è necessario condividere dati tra applicazioni, è possibile collegare un'unità Amazon Elastic File System (EFS) condivisa.
Affinché l'IDE dell'editor di codice utilizzi il file preinstallato Estensione AWS Toolkit per VS Code e utilizzi servizi AWS integrati come Amazon CodeWhisperer o origini dati come Amazon S3 e Amazon Redshift devi assicurarti che:
- Il ruolo di esecuzione del tuo profilo utente SageMaker Studio dispone delle autorizzazioni appropriate per utilizzare i servizi con cui desideri lavorare.
- Hai un modo per comunicare con tali servizi nel caso in cui disponi di un dominio SageMaker Studio in modalità solo VPC. Per ulteriori dettagli sui requisiti per utilizzare i servizi AWS in un dominio Studio in modalità solo VPC, fare riferimento a Connetti i notebook SageMaker Studio in un VPC a risorse esterne.
Panoramica della soluzione
Nelle sezioni seguenti, condividiamo come sviluppare un progetto ML di esempio con Code Editor su Amazon SageMaker Studio. Distribuiremo un modello LLM (Large Language Model) Mistral-7B in un endpoint in tempo reale Amazon SageMaker utilizzando un contenitore integrato di HuggingFace. In questo esempio, l'editor di codice può essere utilizzato da un team di ingegneri ML che necessita di funzionalità IDE avanzate per eseguire il debug del codice e distribuire l'endpoint. Puoi trovare il codice di esempio in questo Deposito GitHub. Mostriamo come strutturare il codice per facilitare la collaborazione tra i membri del team, come utilizzare AWS Toolkit for VS Code e Amazon Code Whisperer per accelerare lo sviluppo e come distribuire il modello Mistral-7B su un endpoint SageMaker. Esaminiamo alcune delle attività comuni degli sviluppatori nell'IDE.
Interagire con i servizi AWS direttamente dal tuo IDE
Fuori dagli schemi, Code Editor viene fornito con AWS Toolkit per codice di Visual Studio per fornirti un'esperienza integrata con altri servizi AWS durante il tuo progetto. In base all'autorizzazione AWS Identity and Access Management (IAM) del tuo profilo utente SageMaker Studio, puoi interagire con i dati nei bucket Amazon S3, trovare immagini di container in Amazon ECR, visualizzare i log di Amazon CloudWatch per il tuo endpoint SageMaker e sfruttare altre funzionalità per eseguire il tuo progetto ML end-to-end dal tuo IDE.
Struttura il tuo repository di codice per una collaborazione semplice
Puoi strutturare il repository del tuo progetto per massimizzare la produttività del tuo team. Ad esempio, puoi impostare un unico repository, con l'obiettivo di trovare un equilibrio tra common Convenzioni del progetto Python e le esigenze di collaborazione del tuo team.
Il tuo repository di codice può contenere un file .vscode
cartella con tutti i file necessari per standardizzare dipendenze, estensioni e configurazioni tra i diversi membri del team. Fare riferimento alla seguente animazione come riferimento.
È possibile condividere le dipendenze tra i membri del team tramite a requirements.txt
file. Puoi anche specificare a config.yaml
file per condividere le primitive di lancio per il tuo endpoint SageMaker. La sessione dell'editor di codice condividerà le stesse dipendenze e configurazione dei membri del team e ti consentirà di sviluppare ed eseguire rapidamente il debug del codice di inferenza e dell'endpoint
Sviluppa ed esegui il debug del tuo codice nell'IDE
Nell'esempio seguente mostriamo come sviluppare ed eseguire il debug del tuo file inference.py
script che verrà utilizzato nel tuo endpoint SageMaker:
Genera codice e casi di test con Amazon CodeWhisperer
Come parte di AWS Toolkit nell'editor di codice, Amazon Code Whisperer ti consente di creare in modo più rapido e sicuro con un compagno di codifica AI. Può fornirti suggerimenti sul codice in tempo reale, è ottimizzato per l'uso con i servizi AWS e viene fornito con scansione di sicurezza integrata. Nel nostro esempio utilizziamo Amazon CodeWhisperer per generare l'intera linea e il codice completo delle funzioni per distribuire e testare il tuo endpoint SageMaker
Distribuzione del tuo LLM in un endpoint SageMaker
Puoi distribuire il tuo modello su un endpoint SageMaker dal tuo IDE e monitorarne lo stato direttamente da SageMaker Studio.
Man mano che ridimensioni il tuo progetto ML in un'applicazione pronta per la produzione, l'editor di codice e AWS Toolkit ti consentiranno di gestire e monitorare le risorse della tua applicazione LLM mentre la crei, la distribuisci e la esegui.
Conclusione
L'editor di codice è disponibile in tutte le regioni AWS in cui è disponibile Amazon SageMaker Studio (eccetto GovCloud) e paghi solo per le risorse di elaborazione e storage sottostanti all'interno di SageMaker o altri servizi AWS, in base al tuo utilizzo.
Per iniziare con Code Editor su Amazon SageMaker Studio, puoi utilizzare il file Livello gratuito AWS, con 250 ore di istanza ml.t3.medium su Amazon SageMaker Studio al mese per i primi 2 mesi. Per ulteriori dettagli, fare riferimento a Prezzi di Amazon SageMaker.
Informazioni sugli autori
Eric Pena è un Senior Technical Product Manager nel team AWS Artificial Intelligence Platforms, che lavora su Amazon SageMaker Interactive Machine Learning. Attualmente si concentra sulle integrazioni IDE su SageMaker Studio. Ha conseguito un MBA presso il MIT Sloan e al di fuori del lavoro si diverte a giocare a basket e calcio.
Vikesh Pandey è un Machine Learning Specialist Solutions Architect presso AWS, che aiuta i clienti del settore finanziario a progettare e creare soluzioni basate su AI e ML generativi. Al di fuori del lavoro, a Vikesh piace provare diverse cucine e praticare sport all'aria aperta.
Bruno Pistone è un AI/ML Specialist Solutions Architect per AWS con sede a Milano. Lavora con grandi clienti aiutandoli a comprendere a fondo le loro esigenze tecniche e a progettare soluzioni di intelligenza artificiale e machine learning che sfruttano al meglio il cloud AWS e lo stack Amazon Machine Learning. Le sue competenze includono: machine learning end-to-end, industrializzazione del machine learning e intelligenza artificiale generativa. Gli piace passare il tempo con i suoi amici ed esplorare nuovi posti, oltre a viaggiare verso nuove destinazioni.
Giuseppe Angelo Porcelli è Principal Machine Learning Specialist Solutions Architect per Amazon Web Services. Con diversi anni di ingegneria del software e un background di ML, lavora con clienti di qualsiasi dimensione per comprendere le loro esigenze aziendali e tecniche e progettare soluzioni di intelligenza artificiale e ML che sfruttano al meglio il cloud AWS e lo stack di Amazon Machine Learning. Ha lavorato a progetti in diversi domini, tra cui MLOps, visione artificiale e NLP, coinvolgendo un'ampia gamma di servizi AWS. Nel tempo libero, Giuseppe si diverte a giocare a calcio.
Sofian Hamiti è un Solutions Architect specializzato in AI / ML presso AWS. Aiuta i clienti di tutti i settori ad accelerare il loro percorso AI / ML aiutandoli a creare e rendere operative soluzioni di machine learning end-to-end.
- Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
- PlatoData.Network Generativo verticale Ai. Potenzia te stesso. Accedi qui.
- PlatoAiStream. Intelligenza Web3. Conoscenza amplificata. Accedi qui.
- PlatoneESG. Carbonio, Tecnologia pulita, Energia, Ambiente, Solare, Gestione dei rifiuti. Accedi qui.
- Platone Salute. Intelligence sulle biotecnologie e sulle sperimentazioni cliniche. Accedi qui.
- Fonte: https://aws.amazon.com/blogs/machine-learning/new-code-editor-based-on-code-oss-vs-code-open-source-now-available-in-amazon-sagemaker-studio/
- :ha
- :È
- :Dove
- $ SU
- 10
- 100
- 11
- 12
- 13
- 15%
- 150
- 250
- 7
- a
- accelerare
- accelerata
- accesso
- Il mio account
- operanti in
- aggiunto
- aggiuntivo
- Inoltre
- Avanzate
- Vantaggio
- AI
- AI-alimentato
- AI / ML
- Mirare
- Tutti
- consentire
- consente
- lungo
- anche
- Amazon
- Amazon Code Whisperer
- Amazon EC2
- File system elastico Amazon (EFS)
- Apprendimento automatico di Amazon
- Amazon RedShift
- Amazon Sage Maker
- Amazon Sage Maker Studio
- Amazon Web Services
- an
- ed
- animazione
- Annunciare
- in qualsiasi
- App
- Applicazioni
- applicazioni
- opportuno
- architettura
- SONO
- artificiale
- intelligenza artificiale
- AS
- At
- allegare
- disponibile
- AWS
- AWS Identity and Access Management (IAM)
- sfondo
- Equilibrio
- basato
- Pallacanestro
- BE
- benefico
- MIGLIORE
- fra
- Bloccare
- Incremento
- entrambi
- Scatola
- ampio
- più ampia
- del browser
- costruire
- incassato
- affari
- ma
- pulsante
- by
- Materiale
- funzionalità
- che
- Custodie
- casi
- il cambiamento
- cambiando
- Scegli
- scelto
- clicca
- Cloud
- codice
- codebase
- codifica
- collaboreranno
- collaborazione
- viene
- Uncommon
- comunicare
- compagno
- compatibile
- complessità
- Calcolare
- computer
- Visione computerizzata
- informatica
- Configurazione
- configurato
- configurazione
- consolle
- contenere
- Contenitore
- di controllo
- Costi
- Creazione
- creazione
- Attualmente
- Clienti
- personalizzare
- cicli
- dati
- scienza dei dati
- Data
- diminuisce
- Predefinito
- definisce
- Laurea
- Richiesta
- dipendenze
- schierare
- Design
- Destinazioni
- dettagli
- sviluppare
- Costruttori
- sviluppatori
- Mercato
- diverso
- direttamente
- distribuzione
- dominio
- domini
- giù
- guidare
- durante
- e
- ogni
- facile
- editore
- senza sforzo
- Abilita
- fine
- da un capo all'altro
- endpoint
- Ingegneria
- Ingegneri
- accrescere
- entrare
- Ambiente
- esempio
- Tranne
- eccitato
- esecuzione
- esistente
- esperienza
- competenza
- Esplorare
- estensione
- estensioni
- esterno
- familiare
- più veloce
- caratteristica
- Caratteristiche
- Compila il
- File
- finanziario
- industrie finanziarie
- Trovate
- Nome
- si concentra
- i seguenti
- Calcio
- Nel
- quadri
- Gratis
- amici
- da
- pieno
- completamente
- function
- ulteriormente
- generare
- la generazione di
- generativo
- AI generativa
- ottenere
- gif
- GitHub
- dato
- GPU
- Maniglie
- Avere
- he
- aiutare
- aiuta
- il suo
- detiene
- ORE
- Come
- Tutorial
- HTML
- HTTPS
- Identità
- if
- Immagine
- immagini
- in
- includere
- inclusi
- Compreso
- Aumento
- industrie
- Infrastruttura
- install
- installato
- esempio
- integrato
- integrazione
- integrazioni
- Intelligence
- interagire
- interattivo
- ai miglioramenti
- coinvolgendo
- isolato
- IT
- SUO
- viaggio
- jpg
- conservazione
- Sapere
- Lingua
- grandi
- con i più recenti
- lanciare
- lancio
- apprendimento
- meno
- biblioteche
- ciclo di vita
- linea
- LLM
- a
- amore
- macchina
- machine learning
- make
- gestire
- gestito
- gestione
- direttore
- gestione
- Massimizzare
- medie
- Utenti
- Memorie
- forza
- migrare
- MILANO
- minuto
- CON
- ML
- MLOp
- Moda
- modello
- Monitorare
- Mese
- mese
- Scopri di più
- maggior parte
- Più popolare
- MONTARE
- multiplo
- Nome
- nativo
- necessaria
- Bisogno
- esigenze
- New
- nlp
- adesso
- of
- on
- ONE
- esclusivamente
- aprire
- open source
- ottimizzati
- Opzione
- or
- minimo
- Altro
- nostro
- su
- al di fuori
- panoramica
- pacchetto
- pagina
- pannello di eventi
- parte
- Patch
- Paga le
- per
- autorizzazione
- permessi
- Partner
- Piattaforme
- Platone
- Platone Data Intelligence
- PlatoneDati
- gioco
- Popolare
- alimentato
- Direttore
- Prodotto
- product manager
- della produttività
- Profilo
- progetto
- progetti
- fornire
- purché
- fornisce
- fornitura
- fornitura
- Python
- Presto
- rapidamente
- gamma
- tempo reale
- ridurre
- riduce
- riferimento
- riferimento
- regioni
- deposito
- Requisiti
- Risorse
- destra
- Ruolo
- Correre
- running
- corre
- sagemaker
- stesso
- Risparmi
- Scala
- scansione
- Scienze
- copione
- senza soluzione di continuità
- senza soluzione di continuità
- Sezione
- sezioni
- in modo sicuro
- problemi di
- vedere
- select
- selezionato
- anziano
- servizio
- Servizi
- Sessione
- set
- regolazione
- flessibile.
- alcuni
- Condividi
- condiviso
- mostrare attraverso le sue creazioni
- mostrato
- significativamente
- Un'espansione
- semplificata
- semplifica
- singolo
- Taglia
- Sloan
- Software
- Ingegneria del software
- Soluzioni
- alcuni
- Fonte
- fonti
- lo spazio
- spazi
- specialista
- specifico
- velocità
- spendere
- Spendere
- Sports
- pila
- standardizzazione
- iniziato
- Stato dei servizi
- Fermare
- fermato
- conservazione
- sciopero
- La struttura
- studio
- tale
- supporto
- supportato
- sicuro
- swap
- sistema
- Fai
- prende
- task
- team
- Membri del team
- le squadre
- Consulenza
- test
- di
- che
- Il
- loro
- Li
- poi
- questo
- quelli
- migliaia
- Attraverso
- tempo
- a
- toolkit
- strumenti
- cerca
- Digitare
- Tipi di
- sottostante
- capire
- unico
- Upgrades
- URL
- Impiego
- uso
- utilizzato
- Utente
- utenti
- utilizzando
- varietà
- versione
- via
- visione
- visivo
- visualizzare
- volume
- vs
- vs codice
- camminare
- volere
- Modo..
- we
- sito web
- servizi web
- WELL
- quando
- quale
- OMS
- tutto
- volere
- con
- entro
- senza
- Lavora
- lavorato
- lavoro
- lavori
- anni
- Tu
- Trasferimento da aeroporto a Sharm
- zefiro