Amazon Sage Maker Studio offre un'ampia gamma di ambienti di sviluppo integrati (IDE) completamente gestiti per lo sviluppo di machine learning (ML), tra cui JupyterLab, editor di codice basato su Code-OSS (Visual Studio Code Open Source) e RStudio. Fornisce l'accesso al set più completo di strumenti per ogni fase dello sviluppo ML, dalla preparazione dei dati alla creazione, formazione, distribuzione e gestione dei modelli ML. Puoi avviare JuptyerLab completamente gestito con la distribuzione SageMaker preconfigurata in pochi secondi per lavorare con notebook, codice e dati. L'interfaccia flessibile ed estensibile di SageMaker Studio ti consente di configurare e organizzare facilmente i flussi di lavoro ML e puoi utilizzare il compagno di codifica in linea basato sull'intelligenza artificiale per creare, eseguire il debug, spiegare e testare rapidamente il codice.
In questo post, diamo uno sguardo più da vicino al SageMaker Studio aggiornato e al suo IDE JupyterLab, progettato per aumentare la produttività degli sviluppatori ML. Introduciamo il concetto di Spaces e spieghiamo come JupyterLab Spaces consente la personalizzazione flessibile delle risorse di elaborazione, archiviazione e runtime per migliorare l'efficienza del flusso di lavoro ML. Discutiamo anche del nostro passaggio a un modello di esecuzione localizzato in JupyterLab, che si traduce in un'esperienza di codifica più rapida, più stabile e reattiva. Inoltre, copriamo la perfetta integrazione di strumenti di intelligenza artificiale generativa come Amazon Code Whisperer e Jupyter AI all'interno di SageMaker Studio JupyterLab Spaces, che illustra come consentono agli sviluppatori di utilizzare l'intelligenza artificiale per assistenza nella codifica e risoluzione di problemi innovativi.
Presentazione di Spaces in SageMaker Studio
Il nuovo Interfaccia basata sul Web di SageMaker Studio funge da centro di comando per avviare il tuo IDE preferito e accedere al tuo Amazon Sage Maker strumenti per creare, addestrare, ottimizzare e distribuire modelli. Oltre a JupyterLab e RStudio, SageMaker Studio ora include un editor di codice completamente gestito basato su Code-OSS (Visual Studio Code Open Source). Sia JupyterLab che Code Editor possono essere avviati utilizzando uno spazio di lavoro flessibile chiamato Spaces.
Uno spazio è una rappresentazione della configurazione di un IDE SageMaker, come JupyterLab o Code Editor, progettato per persistere indipendentemente dal fatto che un'applicazione (IDE) associata allo spazio sia attivamente in esecuzione o meno. Uno spazio rappresenta una combinazione di un'istanza di calcolo, archiviazione e altre configurazioni di runtime. Con Spaces puoi creare e scalare l'elaborazione e l'archiviazione per il tuo IDE su e giù mentre procedi, personalizzare gli ambienti di runtime e mettere in pausa e riprendere la codifica in qualsiasi momento e ovunque. Puoi creare più spazi di questo tipo, ciascuno configurato con una diversa combinazione di elaborazione, archiviazione e tempi di esecuzione.
Quando viene creato uno Spazio, è dotato di un Negozio di blocchi elastici di Amazon (AmazonEBS) volume, che viene utilizzato per archiviare file, dati, cache e altri elementi degli utenti. Viene collegato a un'istanza di calcolo ML ogni volta che viene eseguito uno spazio. Il volume EBS garantisce che i file utente, i dati, la cache e gli stati delle sessioni vengano ripristinati in modo coerente ogni volta che lo Space viene riavviato. È importante sottolineare che questo volume EBS rimane persistente, indipendentemente dal fatto che lo spazio sia in esecuzione o arrestato. Continuerà a persistere finché lo spazio non verrà eliminato.
Inoltre, abbiamo introdotto la funzionalità Bring Your Own File System per gli utenti che desiderano condividere ambienti e artefatti tra diversi spazi, utenti o persino domini. Ciò ti consente di equipaggiare facoltativamente i tuoi Spazi con i tuoi File system elastico Amazon (Amazon EFS), facilitando la condivisione delle risorse tra vari spazi di lavoro.
Creare uno spazio
Creare e lanciare un nuovo spazio è ora rapido e semplice. Sono necessari solo pochi secondi per configurare un nuovo spazio con istanze di lancio rapido e meno di 60 secondi per eseguire uno spazio. Gli spazi sono dotati di impostazioni predefinite per il calcolo e l'archiviazione, gestite dagli amministratori. Gli amministratori di SageMaker Studio possono stabilire preimpostazioni a livello di dominio per configurazioni di elaborazione, archiviazione e runtime. Questa configurazione ti consente di avviare rapidamente un nuovo spazio con il minimo sforzo e richiedendo solo pochi clic. Hai anche la possibilità di modificare le configurazioni di calcolo, archiviazione o runtime di uno spazio per un'ulteriore personalizzazione.
È importante notare che la creazione di uno spazio richiede l'aggiornamento del ruolo di esecuzione del dominio SageMaker con una policy come nell'esempio seguente. È necessario concedere agli utenti le autorizzazioni per gli spazi privati e i profili utente necessari per accedere a questi spazi privati. Per istruzioni dettagliate, fare riferimento a Dai ai tuoi utenti l'accesso a spazi privati.
Per creare uno spazio, completare i seguenti passaggi:
- In SageMaker Studio, scegli laboratorio giove sul Applicazioni menu.
- Scegli Crea lo spazio JupyterLab.
- Nel Nome, inserisci un nome per il tuo spazio.
- Scegli Crea spazio.
- Scegli Gestisci lo spazio per lanciare il tuo nuovo Spazio con le preimpostazioni predefinite o aggiornare la configurazione in base alle tue esigenze.
Riconfigurare uno spazio
Gli spazi sono progettati per consentire agli utenti di passare senza problemi tra diversi tipi di calcolo in base alle esigenze. Puoi iniziare creando un nuovo spazio con una configurazione specifica, composta principalmente da elaborazione e archiviazione. Se devi passare a un tipo di calcolo diverso con un conteggio vCPU più o meno alto, più o meno memoria o un'istanza basata su GPU in qualsiasi momento del tuo flusso di lavoro, puoi farlo facilmente. Dopo aver arrestato lo Space, puoi modificarne le impostazioni utilizzando l'interfaccia utente o API tramite l'interfaccia aggiornata di SageMaker Studio e quindi riavviare Space. SageMaker Studio gestisce automaticamente il provisioning del tuo spazio esistente nella nuova configurazione, senza richiedere alcuno sforzo aggiuntivo da parte tua.
Completa i seguenti passaggi per modificare uno spazio esistente:
- Nella pagina dei dettagli dello spazio, scegli Ferma lo spazio.
- Riconfigurare il calcolo, l'archiviazione o il runtime.
- Scegli Gestisci lo spazio per rilanciare lo spazio.
Il tuo spazio di lavoro verrà aggiornato con il nuovo tipo di istanza di archiviazione e di calcolo richiesto.
La nuova architettura SageMaker Studio JupyterLab
Il team di SageMaker Studio continua a inventare e semplificare la propria esperienza di sviluppo con il rilascio di una nuova esperienza SageMaker Studio JupyterLab completamente gestita. La nuova esperienza SageMaker Studio JupyterLab combina il meglio di entrambi i mondi: la scalabilità e la flessibilità di SageMaker Studio Classico (vedi l'appendice alla fine di questo post) con la stabilità e la familiarità dell'open source JupyterLab. Per comprendere il design di questa nuova esperienza JupyterLab, analizziamo il seguente diagramma dell'architettura. Questo ci aiuterà a comprendere meglio l'integrazione e le funzionalità di questa nuova piattaforma JupyterLab Spaces.
In sintesi, siamo passati a un’architettura localizzata. In questa nuova configurazione, il server Jupyter e i processi kernel operano insieme in un unico contenitore Docker, ospitato sulla stessa istanza di calcolo ML. Il provisioning di queste istanze ML viene effettuato quando uno spazio è in esecuzione e viene collegato a un volume EBS creato al momento della creazione iniziale dello spazio.
Questa nuova architettura apporta numerosi vantaggi; ne discuteremo alcuni nelle sezioni seguenti.
Latenza ridotta e maggiore stabilità
SageMaker Studio è passato a un modello di esecuzione locale, allontanandosi dal precedente modello suddiviso in cui il codice veniva archiviato su un montaggio EFS ed eseguito in remoto su un'istanza ML tramite Kernel Gateway remoto. Nella configurazione precedente, Kernel Gateway, un server Web headless, abilitava le operazioni del kernel tramite comunicazione remota con i kernel Jupyter tramite HTTPS/WSS. Le azioni dell'utente come l'esecuzione di codice, la gestione di notebook o l'esecuzione di comandi del terminale sono state elaborate da un'app Kernel Gateway su un'istanza ML remota, con Kernel Gateway che facilita queste operazioni su ZeroMQ (ZMQ) all'interno di un contenitore Docker. Il diagramma seguente illustra questa architettura.
L'architettura JupyterLab aggiornata esegue tutte le operazioni del kernel direttamente sull'istanza locale. Questo approccio locale al server Jupyter fornisce in genere prestazioni migliorate e un'architettura semplice. Riduce al minimo la latenza e la complessità della rete, semplifica l'architettura per facilitare il debug e la manutenzione, migliora l'utilizzo delle risorse e supporta modelli di messaggistica più flessibili per una varietà di carichi di lavoro complessi.
In sostanza, questo aggiornamento avvicina i notebook e il codice in esecuzione molto più vicini ai kernel, riducendo significativamente la latenza e aumentando la stabilità.
Controllo migliorato sullo spazio di archiviazione assegnato
SageMaker Studio Classic utilizzava originariamente Amazon EFS per fornire storage di file persistente e condiviso per le directory home degli utenti all'interno dell'ambiente SageMaker Studio. Questa configurazione ti consente di archiviare centralmente notebook, script e altri file di progetto, accessibili in tutte le sessioni e istanze di SageMaker Studio.
Con l'ultimo aggiornamento di SageMaker Studio, si verifica il passaggio dallo storage basato su Amazon EFS a una soluzione basata su Amazon EBS. I volumi EBS, forniti con SageMaker Studio Spaces, lo sono Volumi GP3 progettato per fornire prestazioni di base costanti di 3,000 IOPS, indipendentemente dalle dimensioni del volume. Questo nuovo storage Amazon EBS offre prestazioni più elevate per attività ad uso intensivo di I/O come l'addestramento dei modelli, l'elaborazione dei dati, l'elaborazione ad alte prestazioni e la visualizzazione dei dati. Questa transizione offre inoltre agli amministratori di SageMaker Studio maggiori informazioni e controllo sull'utilizzo dello spazio di archiviazione da parte dei profili utente all'interno di un dominio o su SageMaker. Ora puoi impostare il valore predefinito (DefaultEbsVolumeSizeInGb
) e massimo (MaximumEbsVolumeSizeInGb
) dimensioni di archiviazione per gli spazi JupyterLab all'interno di ciascun profilo utente.
Oltre a migliorare le prestazioni, hai la possibilità di ridimensionare in modo flessibile il volume di archiviazione collegato all'istanza di calcolo ML di Space modificando l'impostazione di Space utilizzando l'interfaccia utente o l'azione API dall'interfaccia di SageMaker Studio, senza richiedere alcuna azione di amministrazione. Tuttavia, tieni presente che puoi modificare le dimensioni del volume EBS solo in una direzione: dopo aver aumentato le dimensioni del volume EBS di Space, non potrai abbassarle nuovamente.
SageMaker Studio offre ora un controllo elevato dello spazio di archiviazione assegnato agli amministratori:
- Gli amministratori di SageMaker Studio possono gestire le dimensioni del volume EBS per i profili utente. Questi volumi JupyterLab EBS possono variare da un minimo di 5 GB a un massimo di 16 TB. Il seguente frammento di codice mostra come creare o aggiornare un profilo utente con le impostazioni di spazio massimo e predefinite:
- SageMaker Studio offre ora una funzionalità avanzata di codifica automatica per le risorse Amazon EBS, etichettando automaticamente i volumi creati dagli utenti con informazioni su dominio, utente e spazio. Questo progresso semplifica l'analisi dell'allocazione dei costi per le risorse di storage, aiutando gli amministratori a gestire e attribuire i costi in modo più efficace. È anche importante notare che questi volumi EBS sono ospitati all'interno dell'account di servizio, quindi non avrai visibilità diretta. Tuttavia, l'utilizzo dello spazio di archiviazione e i costi associati sono direttamente collegati all'ARN del dominio, all'ARN del profilo utente e all'ARN dello spazio, facilitando una semplice allocazione dei costi.
- Gli amministratori possono anche controllare la crittografia dei volumi EBS di uno spazio, inattivi, utilizzando le chiavi gestite dal cliente (CMK).
Tenancy condivisa con file system EFS Bring Your Own
I flussi di lavoro ML sono in genere collaborativi e richiedono una condivisione efficiente di dati e codice tra i membri del team. Il nuovo SageMaker Studio migliora questo aspetto collaborativo consentendo di condividere dati, codice e altri artefatti tramite un'interfaccia condivisa porta il tuo file system EFS. Questa unità EFS può essere configurata indipendentemente da SageMaker o potrebbe essere una risorsa Amazon EFS esistente. Dopo il provisioning, può essere montato senza problemi sui profili utente di SageMaker Studio. Questa funzionalità non è limitata ai profili utente all'interno di un singolo dominio: può estendersi a più domini, purché si trovino nella stessa regione.
Il seguente codice di esempio mostra come creare un dominio e collegarvi un volume EFS esistente utilizzando il relativo volume associato fs-id
. I volumi EFS possono essere collegati a un dominio a livello root o prefisso, come dimostrano i seguenti comandi:
Quando un montaggio EFS viene reso disponibile in un dominio e nei relativi profili utente, puoi scegliere di allegarlo a un nuovo spazio. Questa operazione può essere eseguita utilizzando l'interfaccia utente di SageMaker Studio o un'azione API, come mostrato nell'esempio seguente. È importante notare che quando uno spazio viene creato con un file system EFS fornito a livello di dominio, lo spazio ne eredita le proprietà. Ciò significa che se il provisioning del file system viene eseguito a livello di root o prefisso all'interno del dominio, queste impostazioni verranno applicate automaticamente allo spazio creato dagli utenti del dominio.
Dopo averlo montato su uno spazio, puoi individuare tutti i file che si trovano sopra il punto di montaggio fornito dall'amministratore. Questi file possono essere trovati nel percorso della directory /mnt/custom-file-system/efs/fs-12345678
.
I supporti EFS rendono semplice condividere gli artefatti tra lo spazio di un utente o tra più utenti o tra domini, rendendolo ideale per carichi di lavoro collaborativi. Con questa funzionalità puoi effettuare le seguenti operazioni:
- Condividi i dati – I supporti EFS sono ideali per archiviare set di dati di grandi dimensioni cruciali per gli esperimenti di data science. I proprietari di set di dati possono caricare questi montaggi con set di dati di training, convalida e test, rendendoli accessibili ai profili utente all'interno di un dominio o su più domini. Gli amministratori di SageMaker Studio possono anche integrare i montaggi EFS delle applicazioni esistenti mantenendo la conformità con le policy di sicurezza dell'organizzazione. Questo viene fatto attraverso il montaggio flessibile a livello di prefisso. Ad esempio, se i dati di produzione e di test sono archiviati sullo stesso montaggio EFS (come
fs-12345678:/data/prod and fs-12345678:/data/test
), montaggio/data/test
sui profili utente del dominio SageMaker garantisce agli utenti l'accesso solo al set di dati di test. Questa configurazione consente l'analisi o l'addestramento del modello mantenendo i dati di produzione sicuri e inaccessibili. - Condividi codice – I montaggi EFS facilitano la rapida condivisione degli artefatti di codice tra i profili utente. Negli scenari in cui gli utenti hanno bisogno di condividere rapidamente esempi di codice o collaborare su una base di codice comune senza le complessità dei frequenti comandi push/pull git, i montaggi EFS condivisi sono estremamente vantaggiosi. Offrono un modo conveniente per condividere gli artefatti del codice in fase di elaborazione all'interno di un team o tra team diversi in SageMaker Studio.
- Condividere ambienti di sviluppo – I montaggi EFS condivisi possono anche servire come mezzo per diffondere rapidamente ambienti sandbox tra utenti e team. I montaggi EFS forniscono una solida alternativa per condividere ambienti Python come conda o virtualenv su più spazi di lavoro. Questo approccio elude la necessità di distribuzione
requirements.txt
orenvironment.yml
file, che spesso possono portare all'attività ripetitiva di creare o ricreare ambienti tra diversi profili utente.
Queste funzionalità migliorano significativamente le capacità collaborative all'interno di SageMaker Studio, consentendo ai team di lavorare insieme in modo efficiente su progetti ML complessi. Inoltre, l'editor di codice basato su Code-OSS (Visual Studio Code Open Source) condivide gli stessi principi architetturali della già citata esperienza JupyterLab. Questo allineamento apporta numerosi vantaggi, come latenza ridotta, stabilità migliorata e controllo amministrativo migliorato e consente all'utente l'accesso a spazi di lavoro condivisi, simili a quelli offerti in JupyterLab Spaces.
Strumenti generativi basati sull'intelligenza artificiale su JupyterLab Spaces
L’intelligenza artificiale generativa, un campo in rapida evoluzione dell’intelligenza artificiale, utilizza algoritmi per creare nuovi contenuti come testo, immagini e codice da ampi dati esistenti. Questa tecnologia ha rivoluzionato la codifica automatizzando le attività di routine, generando strutture di codice complesse e offrendo suggerimenti intelligenti, semplificando così lo sviluppo e promuovendo la creatività e la risoluzione dei problemi nella programmazione. Essendo uno strumento indispensabile per gli sviluppatori, l'intelligenza artificiale generativa migliora la produttività e guida l'innovazione nel settore tecnologico. SageMaker Studio migliora l'esperienza degli sviluppatori con strumenti preinstallati come Amazon CodeWhisperer e Jupyter AI, utilizzando l'intelligenza artificiale generativa per accelerare il ciclo di vita dello sviluppo.
Amazon Code Whisperer
Amazon CodeWhisperer è un assistente di programmazione che migliora la produttività degli sviluppatori attraverso consigli e soluzioni sul codice in tempo reale. In quanto servizio AI gestito da AWS, è perfettamente integrato nell'IDE JupyterLab di SageMaker Studio. Questa integrazione rende Amazon CodeWhisperer un'aggiunta fluida e preziosa al flusso di lavoro di uno sviluppatore.
Amazon CodeWhisperer eccelle nell'aumentare l'efficienza degli sviluppatori automatizzando le attività di codifica comuni, suggerendo modelli di codifica più efficaci e diminuendo i tempi di debug. Serve come strumento essenziale sia per i programmatori principianti che per quelli esperti, fornendo approfondimenti sulle migliori pratiche, accelerando il processo di sviluppo e migliorando la qualità complessiva del codice. Per iniziare a utilizzare Amazon CodeWhisperer, assicurati che il file Riprendi i suggerimenti automatici la funzione è attivata. È possibile richiamare manualmente i suggerimenti sul codice utilizzando scorciatoie da tastiera.
In alternativa, scrivi un commento che descriva la funzione del codice prevista e inizia a scrivere il codice; Amazon CodeWhisperer inizierà a fornire suggerimenti.
Tieni presente che sebbene Amazon CodeWhisperer sia preinstallato, devi avere il file codewhisperer:GenerateRecommendations
autorizzazione come parte del ruolo di esecuzione per ricevere consigli sul codice. Per ulteriori dettagli, fare riferimento a Utilizzo di CodeWhisperer con Amazon SageMaker Studio. Quando utilizzi Amazon CodeWhisperer, AWS può, per scopi di miglioramento del servizio, archiviare dati sull'utilizzo e sui contenuti. Per disattivare Amazon CodeWhisperer politica di condivisione dei dati, puoi accedere a Configurazione opzione dal menu in alto, quindi vai a Editor delle impostazioni e disabilitare Condividi i dati di utilizzo con Amazon CodeWhisperer dal menu delle impostazioni di Amazon CodeWhisperer.
IA di Giove
IA di Giove è uno strumento open source che porta l'intelligenza artificiale generativa sui notebook Jupyter, offrendo una piattaforma solida e intuitiva per esplorare modelli di intelligenza artificiale generativa. Migliora la produttività in JupyterLab e Jupyter Notebooks fornendo funzionalità come %%ai magic per creare un parco giochi IA generativo all'interno dei notebook, un'interfaccia utente di chat nativa in JupyterLab per interagire con l'IA come assistente conversazionale e supporto per un'ampia gamma di linguaggi di grandi dimensioni fornitori di modelli (LLM) come AI21, Anthropic, Cohere e Hugging Face o servizi gestiti come Roccia Amazzonica ed endpoint SageMaker. Questa integrazione offre metodi più efficienti e innovativi per l'analisi dei dati, il machine learning e le attività di codifica. Ad esempio, puoi interagire con un LLM sensibile al dominio utilizzando l'interfaccia di chat Jupyternaut per ricevere assistenza con processi e flussi di lavoro o generare codice di esempio tramite CodeLlama, ospitato sugli endpoint SageMaker. Ciò lo rende uno strumento prezioso per sviluppatori e data scientist.
Jupyter AI fornisce un file vasta selezione di modelli linguistici pronti per l'uso fin dal primo utilizzo. Inoltre, i modelli personalizzati sono supportati anche tramite endpoint SageMaker, offrendo flessibilità e un'ampia gamma di opzioni per gli utenti. Offre inoltre supporto per l'incorporamento di modelli, consentendoti di eseguire confronti e test in linea e persino di creare o testare app RAG (Retrieval Augmented Generation) ad hoc.
Jupyter AI può fungere da assistente di chat, aiutandoti con esempi di codice, fornendo risposte alle domande e molto altro.
Puoi usare l'intelligenza artificiale di Jupyter %%ai
magic per generare codice di esempio all'interno del tuo notebook, come mostrato nello screenshot seguente.
JupyterLab 4.0
Il team JupyterLab ha rilasciato la versione 4.0, che presenta miglioramenti significativi in termini di prestazioni, funzionalità ed esperienza utente. Informazioni dettagliate su questa versione sono disponibili nel funzionario Documentazione JupyterLab.
Questa versione, ora standard in SageMaker Studio JupyterLab, introduce prestazioni ottimizzate per la gestione di notebook di grandi dimensioni e operazioni più veloci, grazie a miglioramenti come l'ottimizzazione delle regole CSS e l'adozione di CodeMirror 6 e MathJax 3. I miglioramenti principali includono un editor di testo aggiornato con migliore accessibilità e personalizzazione , un nuovo gestore di estensioni per una facile installazione delle estensioni Python e funzionalità di ricerca di documenti migliorate con funzionalità avanzate. Inoltre, la versione 4.0 apporta miglioramenti all'interfaccia utente, miglioramenti all'accessibilità e aggiornamenti agli strumenti di sviluppo e alcune funzionalità sono state trasferite a JupyterLab 3.6.
Conclusione
I progressi in SageMaker Studio, in particolare con la nuova esperienza JupyterLab, segnano un significativo passo avanti nello sviluppo ML. L'interfaccia utente aggiornata di SageMaker Studio, con la sua integrazione di JupyterLab, Code Editor e RStudio, offre un ambiente ottimizzato e senza precedenti per gli sviluppatori ML. L'introduzione di JupyterLab Spaces offre flessibilità e facilità nella personalizzazione delle risorse di elaborazione e archiviazione, migliorando l'efficienza complessiva dei flussi di lavoro ML. Il passaggio da un'architettura del kernel remoto a un modello localizzato in JupyterLab aumenta notevolmente la stabilità diminuendo la latenza di avvio. Ciò si traduce in un'esperienza di codifica più rapida, più stabile e reattiva. Inoltre, l’integrazione di strumenti di intelligenza artificiale generativa come Amazon CodeWhisperer e Jupyter AI in JupyterLab dà ulteriore potere agli sviluppatori, consentendoti di utilizzare l’intelligenza artificiale per assistenza nella codifica e risoluzione di problemi innovativa. Il controllo migliorato sullo storage assegnato e la possibilità di condividere codice e dati senza sforzo tramite montaggi EFS autogestiti facilitano notevolmente i progetti collaborativi. Infine, il rilascio di JupyterLab 4.0 all'interno di SageMaker Studio sottolinea questi miglioramenti, offrendo prestazioni ottimizzate, migliore accessibilità e un'interfaccia più user-friendly, consolidando così il ruolo di JupyterLab come pietra angolare dello sviluppo ML efficiente ed efficace nel panorama tecnologico moderno.
Prova SageMaker Studio JupyterLab Spaces utilizzando il nostro funzionalità di bordo rapida, che ti consente di creare un nuovo dominio per singoli utenti in pochi minuti. Condividi i tuoi pensieri nella sezione commenti!
Appendice: architettura del gateway del kernel di SageMaker Studio Classic
A SageMaker Classico il dominio è un'aggregazione logica di un volume EFS, un elenco di utenti autorizzati ad accedere al dominio e configurazioni relative a sicurezza, applicazione, rete e altro. Nell'architettura SageMaker Studio Classic di SageMaker, ogni utente all'interno del dominio SageMaker ha un profilo utente distinto. Questo profilo comprende dettagli specifici come il ruolo dell'utente e il suo ID utente Posix nel volume EFS, oltre ad altri dati univoci. Gli utenti accedono al proprio profilo utente individuale tramite un'app Jupyter Server dedicata, connessa tramite HTTPS/WSS nel proprio browser web. SageMaker Studio Classic utilizza un'architettura kernel remota utilizzando una combinazione di tipi di app Jupyter Server e Kernel Gateway, consentendo ai server notebook di interagire con i kernel su host remoti. Ciò significa che i kernel Jupyter non operano sull'host del server notebook, ma all'interno di contenitori Docker su host separati. In sostanza, il tuo notebook è archiviato nella directory home di EFS ed esegue il codice in remoto su un altro Cloud di calcolo elastico di Amazon (Amazon EC2), che ospita un contenitore Docker precostruito dotato di librerie ML come PyTorch, TensorFlow, Scikit-Learn e altre.
L'architettura del kernel remoto in SageMaker Studio offre notevoli vantaggi in termini di scalabilità e flessibilità. Tuttavia, presenta dei limiti, tra cui un massimo di quattro app per tipo di istanza e potenziali colli di bottiglia dovuti a numerose connessioni HTTPS/WSS a un tipo di istanza EC2 comune. Queste limitazioni potrebbero influenzare negativamente l'esperienza dell'utente.
Il seguente diagramma dell'architettura illustra l'architettura SageMaker Studio Classic. Illustra il processo di connessione dell'utente a un'app Kernel Gateway tramite un'app Jupyter Server, utilizzando il browser Web preferito.
Circa gli autori
Pranav Murthy è un AI/ML Specialist Solutions Architect presso AWS. Il suo obiettivo è aiutare i clienti a creare, addestrare, distribuire e migrare carichi di lavoro di machine learning (ML) su SageMaker. In precedenza ha lavorato nel settore dei semiconduttori sviluppando modelli di visione artificiale (CV) di grandi dimensioni e di elaborazione del linguaggio naturale (NLP) per migliorare i processi dei semiconduttori utilizzando tecniche ML all'avanguardia. Nel tempo libero gli piace giocare a scacchi e viaggiare. Puoi trovare Pranav su LinkedIn.
Kunal Jha è un Senior Product Manager presso AWS. Il suo obiettivo è creare Amazon SageMaker Studio come la scelta migliore del settore per lo sviluppo ML end-to-end. Nel suo tempo libero, Kunal ama sciare ed esplorare il Pacifico nordoccidentale. Lo puoi trovare su LinkedIn.
Majisha Namath Parambath è un ingegnere software senior presso Amazon SageMaker. Lavora in Amazon da oltre 8 anni e attualmente sta lavorando per migliorare l'esperienza end-to-end di Amazon SageMaker Studio.
Bharat Nandamuri è un ingegnere software senior che lavora su Amazon SageMaker Studio. È appassionato di creazione di servizi backend su larga scala con particolare attenzione all'ingegneria per i sistemi ML. Fuori dal lavoro gli piace giocare a scacchi, fare escursioni e guardare film.
Derek Lause è un ingegnere del software presso AWS. Si impegna a fornire valore ai clienti tramite Amazon SageMaker Studio e le istanze notebook. Nel suo tempo libero, Derek ama trascorrere il tempo con la famiglia e gli amici e fare escursioni. Puoi trovare Derek su LinkedIn.
- Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
- PlatoData.Network Generativo verticale Ai. Potenzia te stesso. Accedi qui.
- PlatoAiStream. Intelligenza Web3. Conoscenza amplificata. Accedi qui.
- PlatoneESG. Carbonio, Tecnologia pulita, Energia, Ambiente, Solare, Gestione dei rifiuti. Accedi qui.
- Platone Salute. Intelligence sulle biotecnologie e sulle sperimentazioni cliniche. Accedi qui.
- Fonte: https://aws.amazon.com/blogs/machine-learning/boost-productivity-on-amazon-sagemaker-studio-introducing-jupyterlab-spaces-and-generative-ai-tools/
- :ha
- :È
- :non
- :Dove
- $ SU
- 000
- 100
- 11
- 12
- 16
- 25
- 60
- 7
- 8
- a
- capacità
- capace
- Chi siamo
- sopra
- accelerare
- accelerando
- accesso
- accessibilità
- accessibile
- Accedendo
- Il mio account
- operanti in
- Legge
- Action
- azioni
- attivamente
- atti
- Ad
- aggiunta
- aggiuntivo
- Inoltre
- amministrazione
- amministrativo
- amministratori
- Adozione
- Avanzate
- avanzamento
- avanzamenti
- vantaggi
- influenzare
- Dopo shavasana, sedersi in silenzio; saluti;
- aggregazione
- AI
- Modelli AI
- AI-alimentato
- AI / ML
- Algoritmi
- allineamento
- Tutti
- assegnazione
- consentire
- consente
- a fianco di
- anche
- alternativa
- Sebbene il
- Amazon
- Amazon Code Whisperer
- Amazon EC2
- Amazon Sage Maker
- Amazon Sage Maker Studio
- Amazon Web Services
- tra
- an
- .
- ed
- risposte
- Antropico
- in qualsiasi
- ovunque
- api
- App
- Applicazioni
- APPLICA
- approccio
- applicazioni
- architettonico
- architettura
- SONO
- Italia
- Arte
- artificiale
- intelligenza artificiale
- AS
- aspetto
- Assistenza
- Assistant
- associato
- At
- allegare
- aumentata
- autore
- autorizzato
- automaticamente
- Automatizzare
- disponibile
- lontano
- AWS
- precedente
- BACKEND
- base
- basato
- Linea di base
- BE
- stato
- iniziare
- principiante
- benefico
- vantaggi
- MIGLIORE
- best practice
- Meglio
- fra
- Bloccare
- Incremento
- potenziamento
- entrambi
- strozzature
- Scatola
- Porta
- ampio
- del browser
- costruire
- Costruzione
- ma
- by
- Cache
- detto
- Materiale
- funzionalità
- centro
- certo
- Scacchi
- scegliere
- Scegli
- classico
- più vicino
- codice
- base del codice
- codifica
- collaboreranno
- collaborativo
- combinazione
- combina
- commento
- Commenti
- impegnata
- Uncommon
- Comunicazione
- compagno
- confronto
- completamento di una
- complesso
- complessità
- complessità
- conformità
- globale
- Calcolare
- computer
- Visione computerizzata
- informatica
- concetto
- condizione
- Configurazione
- configurato
- collegato
- Collegamento
- Connessioni
- coerente
- costantemente
- Consistente
- Contenitore
- Tecnologie Container
- contenuto
- continua
- continua
- di controllo
- Comodo
- discorsivo
- pietra angolare
- Costo
- Costi
- potuto
- coprire
- creare
- creato
- Creazione
- la creatività
- cruciale
- CSS
- Attualmente
- costume
- cliente
- Clienti
- personalizzazione
- personalizzare
- dati
- analisi dei dati
- elaborazione dati
- scienza dei dati
- visualizzazione dati
- dataset
- dedicato
- Predefinito
- consegnare
- scavare
- dimostrare
- schierare
- distribuzione
- Derek
- descrivendo
- Design
- progettato
- dettagliati
- dettagli
- Costruttori
- sviluppatori
- in via di sviluppo
- Mercato
- strumenti di sviluppo
- diverso
- dirette
- direttamente
- directory
- discutere
- distinto
- distribuzione
- distribuzione
- do
- docker
- documento
- dominio
- domini
- fatto
- giù
- guidare
- unità
- dovuto
- ogni
- In precedenza
- alleviare
- più facile
- facile
- editore
- effetto
- Efficace
- in maniera efficace
- efficienza
- efficiente
- in modo efficiente
- sforzo
- senza sforzo
- senza sforzo
- o
- elevata
- incorporamento
- e potenza
- Potenzia
- enable
- abilitato
- Abilita
- consentendo
- comprende
- crittografia
- fine
- da un capo all'altro
- ingegnere
- Ingegneria
- accrescere
- migliorata
- miglioramenti
- Migliora
- migliorando
- assicura
- entrare
- Ambiente
- ambienti
- attrezzato
- essenza
- essential
- stabilire
- Anche
- evoluzione
- esempio
- esecuzione
- esistente
- esperienza
- esperimenti
- Spiegare
- Esplorare
- estendere
- estensione
- estensioni
- estensivo
- extra
- Faccia
- facilitare
- facilitando
- falso
- Familiarità
- famiglia
- FAST
- più veloce
- caratteristica
- Caratteristiche
- Grazie
- pochi
- campo
- Compila il
- File
- Trovare
- Flessibilità
- flessibile
- flessibilmente
- fluido
- Focus
- concentrato
- si concentra
- i seguenti
- Nel
- Avanti
- promozione
- essere trovato
- quattro
- Gratis
- frequente
- amici
- da
- completamente
- function
- funzionalità
- ulteriormente
- porta
- generare
- la generazione di
- ELETTRICA
- generativo
- AI generativa
- Idiota
- dà
- Go
- concedere
- borse di studio
- afferrala
- maggiore
- molto
- Maniglie
- Manovrabilità
- Avere
- he
- Aiuto
- aiutare
- Alta
- Alte prestazioni
- superiore
- vivamente
- lui
- il suo
- Casa
- host
- ospitato
- padroni di casa
- case
- Come
- Tutorial
- Tuttavia
- HTML
- http
- HTTPS
- ID
- ideale
- if
- illustra
- illustrante
- immagini
- importante
- importante
- competenze
- migliorata
- miglioramento
- miglioramenti
- miglioramento
- in
- inaccessibile
- includere
- inclusi
- Compreso
- Aumento
- è aumentato
- Aumenta
- crescente
- studente indipendente
- indipendentemente
- individuale
- industria
- informazioni
- inizialmente
- Innovazione
- creativi e originali
- interno
- intuizione
- intuizioni
- installazione
- esempio
- istruzioni
- integrare
- integrato
- integrazione
- Intelligence
- Intelligente
- destinato
- interagire
- si interagisce
- Interfaccia
- ai miglioramenti
- introdurre
- introdotto
- Introduce
- l'introduzione di
- Introduzione
- IT
- SUO
- jpg
- ad appena
- conservazione
- Le
- Tasti
- etichettatura
- paesaggio
- Lingua
- grandi
- infine
- Latenza
- con i più recenti
- lanciare
- lanciato
- lancio
- portare
- Salto
- apprendimento
- meno
- Livello
- biblioteche
- ciclo di vita
- piace
- limiti
- connesso
- Lista
- LLM
- caricare
- locale
- collocato
- logico
- Lunghi
- Guarda
- inferiore
- macchina
- machine learning
- fatto
- magia
- Mantenere
- manutenzione
- make
- FA
- Fare
- gestire
- gestito
- direttore
- gestione
- manualmente
- marchio
- massimo
- Maggio..
- si intende
- Utenti
- Memorie
- Menu
- di messaggistica
- metodi
- migrare
- minimo
- minimizza
- ordine
- Minuti
- ML
- modello
- modelli
- moderno
- modificare
- Scopri di più
- più efficiente
- Inoltre
- maggior parte
- MONTARE
- Film
- in movimento
- molti
- multiplo
- devono obbligatoriamente:
- Nome
- nativo
- Naturale
- Elaborazione del linguaggio naturale
- Navigare
- necessaria
- Bisogno
- di applicazione
- negativamente
- Rete
- internazionale
- New
- nlp
- no
- notevole
- Nota
- taccuino
- adesso
- numerose
- of
- offrire
- offerto
- offerta
- Offerte
- ufficiale
- di frequente
- on
- Onboard
- ONE
- esclusivamente
- su
- aprire
- open source
- operare
- Operazioni
- ottimizzazione
- ottimizzati
- Opzione
- Opzioni
- or
- organizzativa
- originariamente
- Altro
- nostro
- su
- al di fuori
- ancora
- complessivo
- proprio
- proprietari
- Pacifico
- pagina
- parte
- particolarmente
- appassionato
- sentiero
- modelli
- pausa
- per
- Eseguire
- performance
- autorizzazione
- permessi
- piattaforma
- Platone
- Platone Data Intelligence
- PlatoneDati
- parco giochi
- gioco
- punto
- Termini e Condizioni
- politica
- Post
- potenziale
- pratiche
- preferito
- preparazione
- precedente
- in precedenza
- principalmente
- principi
- un bagno
- problem-solving
- processi
- Elaborato
- i processi
- lavorazione
- Prodotto
- product manager
- Produzione
- della produttività
- Profilo
- Profili
- Programmazione
- progetto
- progetti
- proprietà
- fornire
- fornitori
- fornisce
- fornitura
- fini
- Python
- pytorch
- qualità
- Domande
- Presto
- più veloce
- rapidamente
- gamma
- rapidamente
- pronto
- tempo reale
- ricevere
- raccomandazioni
- Ridotto
- riducendo
- riferimento
- Indipendentemente
- regione
- relazionato
- rilancio
- rilasciare
- rilasciato
- resti
- a distanza
- da remoto
- ripetitivo
- rappresentazione
- rappresenta
- Requisiti
- richiede
- risorsa
- Risorse
- di risposta
- REST
- rinnovate
- limitato
- risultante
- Risultati
- curriculum vitae
- rivoluzionato
- destra
- robusto
- Ruolo
- radice
- routine
- Regola
- Correre
- running
- corre
- runtime
- sagemaker
- stesso
- sandbox
- Scalabilità
- Scala
- Scenari
- Scienze
- scienziati
- scikit-impara
- script
- senza soluzione di continuità
- senza soluzione di continuità
- Cerca
- condito
- secondo
- sezioni
- sicuro
- problemi di
- politiche di sicurezza
- vedere
- semiconduttore
- anziano
- separato
- servire
- server
- Server
- serve
- servizio
- Servizi
- Sessione
- sessioni
- set
- regolazione
- impostazioni
- flessibile.
- alcuni
- Condividi
- condiviso
- azioni
- compartecipazione
- lei
- spostamento
- mostrato
- Spettacoli
- significativa
- significativamente
- simile
- semplifica
- semplificare
- singolo
- Taglia
- Dimensioni
- frammento
- So
- Software
- Software Engineer
- solido
- solidificando
- soluzione
- Soluzioni
- alcuni
- Fonte
- lo spazio
- spazi
- specialista
- specifico
- Spendere
- Spin
- dividere
- Stabilità
- stabile
- Standard
- inizia a
- startup
- Regione / Stato
- dichiarazione
- stati
- step
- Passi
- Fermare
- fermato
- conservazione
- Tornare al suo account
- memorizzati
- memorizzare
- lineare
- aerodinamico
- razionalizzazione
- strutture
- studio
- tale
- SOMMARIO
- supporto
- supportato
- sicuro
- Interruttore
- sistema
- SISTEMI DI TRATTAMENTO
- Fai
- prende
- Task
- task
- team
- Membri del team
- le squadre
- Tech
- industria tecnologica
- tecniche
- Tecnologia
- tensorflow
- terminal
- condizioni
- test
- test
- testo
- di
- Grazie
- che
- I
- loro
- Li
- poi
- Là.
- in tal modo
- Strumenti Bowman per analizzare le seguenti finiture:
- di
- questo
- quelli
- Attraverso
- tempo
- a
- insieme
- strumenti
- top
- verso
- Treni
- Training
- transizione
- transizione
- Di viaggio
- vero
- prova
- sintonizzare
- Digitare
- Tipi di
- tipicamente
- ui
- sottolineature
- capire
- unico
- ineguagliabile
- fino a quando
- Aggiornanento
- aggiornato
- Aggiornamenti
- aggiornamento
- upgrade
- aggiornato
- us
- Impiego
- uso
- utilizzato
- Utente
- Esperienza da Utente
- user-friendly
- utenti
- usa
- utilizzando
- convalida
- Prezioso
- APPREZZIAMO
- varietà
- vario
- versione
- via
- visibilità
- visione
- visivo
- visualizzazione
- volume
- volumi
- Prima
- guardare
- Modo..
- we
- sito web
- browser web
- web server
- servizi web
- Web-basata
- sono stati
- quando
- ogni volta che
- se
- quale
- while
- OMS
- largo
- volere
- desiderio
- con
- entro
- senza
- Lavora
- lavorare insieme
- lavorato
- flusso di lavoro
- flussi di lavoro
- lavoro
- Il mondo di
- scrivere
- anni
- Tu
- Trasferimento da aeroporto a Sharm
- zefiro