Fornisci e gestisci ambienti ML con Amazon SageMaker Canvas utilizzando AWS CDK e AWS Service Catalog

Ripubblicato da Platone

Seguaci: 0

La proliferazione dell'apprendimento automatico (ML) in un'ampia gamma di casi d'uso sta diventando prevalente in ogni settore. Tuttavia, questo supera l'aumento del numero di professionisti del riciclaggio che sono stati tradizionalmente responsabili dell'implementazione di queste soluzioni tecniche per realizzare risultati di business.

Nell'azienda odierna, è necessario che l'apprendimento automatico sia utilizzato da professionisti non di ML che siano esperti con i dati, che è la base del ML. Per rendere tutto ciò una realtà, il valore del ML viene realizzato in tutta l'azienda attraverso piattaforme ML senza codice. Queste piattaforme consentono a persone diverse, ad esempio analisti aziendali, di utilizzare il ML senza scrivere una singola riga di codice e di fornire soluzioni ai problemi aziendali in modo rapido, semplice e intuitivo. Tela di Amazon SageMaker è un servizio visivo point-and-click che consente agli analisti aziendali di utilizzare il ML per risolvere i problemi aziendali generando autonomamente previsioni accurate, senza richiedere alcuna esperienza di ML o dover scrivere una singola riga di codice. Canvas ha ampliato l'uso del ML nell'azienda con un'interfaccia intuitiva di facile utilizzo che aiuta le aziende a implementare rapidamente le soluzioni.

Sebbene Canvas abbia consentito la democratizzazione del ML, resta ancora la sfida del provisioning e della distribuzione di ambienti ML in modo sicuro. In genere, questa è responsabilità dei team IT centrali nella maggior parte delle grandi aziende. In questo post, discutiamo di come i team IT possono amministrare, fornire e gestire ambienti ML sicuri utilizzando Tela di Amazon SageMaker, Kit di sviluppo cloud AWS (AWS CDK) e Catalogo dei servizi AWS. Il post presenta una guida passo passo per gli amministratori IT per raggiungere questo obiettivo in modo rapido e su larga scala.

Panoramica di AWS CDK e AWS Service Catalog

AWS CDK è un framework di sviluppo software open source per definire le risorse delle tue applicazioni cloud. Utilizza la familiarità e la potenza espressiva dei linguaggi di programmazione per modellare le tue applicazioni, fornendo al contempo le risorse in modo sicuro e ripetibile.

AWS Service Catalog ti consente di gestire centralmente servizi IT, applicazioni, risorse e metadati distribuiti. Con AWS Service Catalog puoi creare, condividere, organizzare e gestire le risorse cloud con i modelli Infrastructure as Code (IaC) e abilitare un provisioning rapido e diretto.

Panoramica della soluzione

Consentiamo il provisioning di ambienti ML utilizzando Canvas in tre passaggi:

Innanzitutto, condividiamo come puoi gestire un portafoglio di risorse necessarie per l'utilizzo approvato di Canvas utilizzando AWS Service Catalog.
Quindi, distribuiamo un esempio di portfolio di AWS Service Catalog per Canvas utilizzando AWS CDK.
Infine, dimostriamo come eseguire il provisioning di ambienti Canvas on demand in pochi minuti.

Prerequisiti

Per eseguire il provisioning di ambienti ML con Canvas, AWS CDK e AWS Service Catalog, devi effettuare le seguenti operazioni:

Avere accesso all'account AWS in cui verrà distribuito il portfolio di Service Catalog. Assicurati di disporre delle credenziali e delle autorizzazioni per distribuire lo stack AWS CDK nel tuo account. Il Workshop sull'AWS CDK è una risorsa utile a cui puoi fare riferimento se hai bisogno di supporto.
Ti consigliamo di seguire alcune best practice che vengono evidenziate attraverso i concetti descritti in dettaglio nelle seguenti risorse:
clone questo repository GitHub nel tuo ambiente.

Fornitura di ambienti ML approvati con Amazon SageMaker Canvas utilizzando AWS Service Catalog

Nei settori regolamentati e nella maggior parte delle grandi aziende, è necessario rispettare i requisiti imposti dai team IT per il provisioning e la gestione degli ambienti ML. Questi possono includere una rete privata sicura, crittografia dei dati, controlli per consentire solo agli utenti autorizzati e autenticati come Gestione dell'identità e dell'accesso di AWS (IAM) per l'accesso a soluzioni come Canvas e la registrazione e il monitoraggio rigorosi a fini di audit.

In qualità di amministratore IT, puoi utilizzare AWS Service Catalog per creare e organizzare ambienti ML sicuri e riproducibili con SageMaker Canvas in un portafoglio di prodotti. Questo viene gestito utilizzando i controlli IaC incorporati per soddisfare i requisiti menzionati in precedenza e possono essere forniti su richiesta in pochi minuti. Puoi anche mantenere il controllo su chi può accedere a questo portafoglio per lanciare i prodotti.

Il diagramma seguente illustra questa architettura.

Esempio di flusso

In questa sezione, mostriamo un esempio di portafoglio di AWS Service Catalog con SageMaker Canvas. Il portfolio è costituito da diversi aspetti dell'ambiente Canvas che fanno parte del portfolio Service Catalog:

Dominio Studio – Canvas è un'applicazione che viene eseguita all'interno Domini di studio. Il dominio è composto da un File system elastico Amazon (Amazon EFS), un elenco di utenti autorizzati e una gamma di sicurezza, applicazione, policy e Cloud privato virtuale di Amazon (VPC) configurazioni. Un account AWS è collegato a un dominio per regione.
Bucket Amazon S3 – Dopo aver creato il dominio Studio, an Servizio di archiviazione semplice Amazon Il bucket (Amazon S3) è predisposto per Canvas per consentire l'importazione di set di dati da file locali, noto anche come caricamento di file locali. Questo bucket si trova nell'account del cliente e viene fornito una volta.
Utente della tela – SageMaker Canvas è un'applicazione in cui è possibile aggiungere profili utente all'interno del dominio Studio per ciascun utente Canvas, che può procedere all'importazione di set di dati, creare e addestrare modelli ML senza scrivere codice ed eseguire previsioni sul modello.
Chiusura programmata delle sessioni Canvas – Gli utenti di Canvas possono disconnettersi dall'interfaccia Canvas quando hanno terminato le loro attività. In alternativa, gli amministratori possono chiudere le sessioni Canvas dal Console di gestione AWS come parte della gestione delle sessioni Canvas. In questa parte del portfolio di AWS Service Catalog, an AWS Lambda function viene creato e predisposto per chiudere automaticamente le sessioni Canvas a intervalli pianificati definiti. Questo aiuta a gestire le sessioni aperte e chiuderle quando non sono in uso.

Questo flusso di esempio può essere trovato in Repository GitHub per una rapida consultazione.

Distribuisci il flusso con AWS CDK

In questa sezione, distribuiamo il flusso descritto in precedenza utilizzando AWS CDK. Dopo che è stato distribuito, puoi anche eseguire il monitoraggio della versione e gestire il portafoglio.

Lo stack del portafoglio può essere trovato in app.py e il prodotto si impila sotto il products/ cartella. Puoi scorrere i ruoli IAM, Servizio di gestione delle chiavi AWS (AWS KMS) e l'impostazione VPC nel file studio_constructs/ cartella. Prima di distribuire lo stack nel tuo account, puoi modificare le seguenti righe in app.py e concedi al portafoglio l'accesso a un ruolo IAM di tua scelta.

Puoi gestire l'accesso al portfolio per gli utenti, i gruppi e i ruoli IAM pertinenti. Vedere Concessione dell'accesso agli utenti per ulteriori dettagli.

Distribuisci il portafoglio nel tuo account

Ora puoi eseguire i seguenti comandi per installare l'AWS CDK e assicurarti di avere le giuste dipendenze per distribuire il portfolio:

npm install -g aws-cdk@2.27.0
python3 -m venv .venv
source .venv/bin/activate
pip3 install -r requirements.txt

Esegui i seguenti comandi per distribuire il portfolio nel tuo account:

ACCOUNT_ID=$(aws sts get-caller-identity --query Account | tr -d '"')
AWS_REGION=$(aws configure get region)
cdk bootstrap aws://${ACCOUNT_ID}/${AWS_REGION}
cdk deploy --require-approval never

I primi due comandi ottengono l'ID account e la regione corrente utilizzando il file Interfaccia della riga di comando di AWS (AWS CLI) sul tuo computer. Seguendo questo, cdk bootstrap ed cdk deploy crea risorse in locale e distribuisci lo stack in pochi minuti.

Il portfolio è ora disponibile in AWS Service Catalog, come mostrato nella schermata seguente.

Provisioning su richiesta

I prodotti all'interno del portafoglio possono essere lanciati rapidamente e facilmente su richiesta dal vettovagliamento menu sulla console di AWS Service Catalog. Un flusso tipico consiste nell'avviare prima il dominio Studio e lo spegnimento automatico di Canvas perché in genere si tratta di un'azione una tantum. È quindi possibile aggiungere utenti Canvas al dominio. L'ID dominio e l'ARN del ruolo IAM utente vengono salvati Gestore di sistemi AWS e vengono popolati automaticamente con i parametri utente come mostrato nella schermata seguente.

È inoltre possibile utilizzare i tag di allocazione dei costi allegati a ciascun utente. Per esempio, UserCostCenter è un tag di esempio in cui puoi aggiungere il nome di ciascun utente.

Considerazioni chiave per la gestione degli ambienti ML tramite Canvas

Ora che abbiamo fornito e distribuito un portfolio di AWS Service Catalog incentrato su Canvas, vorremmo evidenziare alcune considerazioni per governare gli ambienti ML basati su Canvas incentrati sul dominio e sul profilo utente.

Di seguito sono riportate considerazioni relative al dominio Studio:

Networking for Canvas è gestito a livello di dominio Studio, in cui il dominio viene distribuito su una sottorete VPC privata per una connettività sicura. Vedere Protezione della connettività di Amazon SageMaker Studio utilizzando un VPC privato per saperne di più.
Un ruolo di esecuzione IAM predefinito è definito a livello di dominio. Questo ruolo predefinito viene assegnato a tutti gli utenti Canvas nel dominio.
La crittografia viene eseguita utilizzando AWS KMS crittografando il volume EFS nel dominio. Per ulteriori controlli, puoi specificare la tua chiave gestita, nota anche come chiave gestita dal cliente (CMK). Vedere Proteggi i dati inattivi utilizzando la crittografia per saperne di più.
La possibilità di caricare file dal disco locale viene eseguita allegando una policy di condivisione delle risorse cross-origin (CORS) al bucket S3 utilizzato da Canvas. Vedere Concedi ai tuoi utenti le autorizzazioni per caricare file locali per saperne di più.

Di seguito sono riportate considerazioni relative al profilo utente:

L'autenticazione in Studio può essere eseguita sia tramite Single Sign-On (SSO) che IAM. Se disponi di un provider di identità esistente per federare gli utenti per accedere alla console, puoi assegnare un profilo utente di Studio a ciascuna identità federata utilizzando IAM. Vedi la sezione Assegnazione del criterio agli utenti di Studio in Configurazione di Amazon SageMaker Studio per team e gruppi con isolamento completo delle risorse per saperne di più.
Puoi assegnare ruoli di esecuzione IAM a ciascun profilo utente. Durante l'utilizzo di Studio, un utente assume il ruolo mappato al proprio profilo utente che sovrascrive il ruolo di esecuzione predefinito. Puoi usarlo per controlli di accesso dettagliati all'interno di un team.
È possibile ottenere l'isolamento utilizzando i controlli di accesso basati sugli attributi (ABAC) per garantire che gli utenti possano accedere solo alle risorse per il proprio team. Vedere Configurazione di Amazon SageMaker Studio per team e gruppi con isolamento completo delle risorse per saperne di più.
È possibile eseguire il monitoraggio dei costi a grana fine applicando tag di allocazione dei costi ai profili utente.

ripulire

Per ripulire le risorse create dallo stack AWS CDK sopra, vai alla pagina degli stack AWS CloudFormation ed elimina gli stack Canvas. Puoi anche correre cdk destroy dalla cartella del repository, per fare lo stesso.

Conclusione

In questo post, abbiamo condiviso come eseguire il provisioning di ambienti ML in modo rapido e semplice con Canvas utilizzando AWS Service Catalog e AWS CDK. Abbiamo discusso di come creare un portfolio su AWS Service Catalog, eseguire il provisioning del portfolio e distribuirlo nel tuo account. Gli amministratori IT possono utilizzare questo metodo per distribuire e gestire utenti, sessioni e costi associati durante il provisioning di Canvas.

Scopri di più su Canvas sul e la Guida per sviluppatori. Per ulteriori letture, puoi imparare come farlo consentire agli analisti aziendali di accedere a SageMaker Canvas utilizzando AWS SSO senza la console. Puoi anche imparare come analisti aziendali e data scientist possono collaborare più rapidamente utilizzando Canvas e Studio.

Informazioni sugli autori

Davide Gallitelli è uno Specialist Solutions Architect per AI/ML nella regione EMEA. Ha sede a Bruxelles e lavora a stretto contatto con i clienti in tutto il Benelux. È uno sviluppatore sin da quando era molto giovane, iniziando a programmare all'età di 7 anni. Ha iniziato a studiare AI/ML all'università e da allora se ne è innamorato.

Sofian Hamiti è un Solutions Architect specializzato in AI / ML presso AWS. Aiuta i clienti di tutti i settori ad accelerare il loro percorso AI / ML aiutandoli a creare e rendere operative soluzioni di machine learning end-to-end.

Shyam Srinivasan è Principal Product Manager del team AWS AI/ML, leader nella gestione dei prodotti per Amazon SageMaker Canvas. Shyam si preoccupa di rendere il mondo un posto migliore attraverso la tecnologia ed è appassionato di come AI e ML possano essere un catalizzatore in questo viaggio.

Avi Patel lavora come ingegnere del software nel team Amazon SageMaker Canvas. Il suo background consiste nel lavorare a tutto stack con un focus sul frontend. Nel tempo libero, gli piace contribuire a progetti open source nello spazio crittografico e conoscere nuovi protocolli DeFi.

Jared Heywood è Senior Business Development Manager presso AWS. È uno specialista globale di AI/ML che aiuta i clienti con l'apprendimento automatico senza codice. Ha lavorato nello spazio AutoML negli ultimi 5 anni e ha lanciato prodotti su Amazon come Amazon SageMaker JumpStart e Amazon SageMaker Canvas.