Con il cloud computing, man mano che la potenza di calcolo e i dati sono diventati più disponibili, il machine learning (ML) sta ora avendo un impatto in ogni settore ed è una parte fondamentale di ogni azienda e settore.
Amazon Sage Maker Studio è il primo ambiente di sviluppo ML (IDE) completamente integrato con un'interfaccia visiva basata sul web. Puoi eseguire tutti i passaggi di sviluppo ML e avere accesso, controllo e visibilità completi in ogni passaggio necessario per creare, addestrare e distribuire i modelli.
Amazon RedShift è un data warehouse cloud completamente gestito, veloce, sicuro e scalabile. Le organizzazioni spesso desiderano utilizzare SageMaker Studio per ottenere previsioni dai dati archiviati in un data warehouse come Amazon Redshift.
Come descritto nel Framework ben progettato di AWS, la separazione dei carichi di lavoro tra gli account consente alla tua organizzazione di impostare limiti comuni isolando gli ambienti. Ciò può essere particolarmente utile per determinati requisiti di sicurezza, nonché per semplificare il controllo dei costi e il monitoraggio tra progetti e team. Le organizzazioni con un'architettura multi-account in genere dispongono di Amazon Redshift e SageMaker Studio in due account AWS separati. Inoltre, Amazon Redshift e SageMaker Studio sono in genere configurati in VPC con sottoreti private per migliorare la sicurezza e ridurre il rischio di accessi non autorizzati come best practice.
Amazon RedShift supporta nativamente condivisione dei dati tra account quando vengono utilizzati i tipi di nodo RA3. Se utilizzi qualsiasi altro tipo di nodo Amazon Redshift, come DS2 o DC2, puoi utilizzare il peering VPC per stabilire una connessione tra account tra Amazon Redshift e SageMaker Studio.
In questo post, esaminiamo le istruzioni dettagliate per stabilire una connessione tra account a qualsiasi tipo di nodo Amazon Redshift (RA3, DC2, DS2) collegando il cluster Amazon Redshift situato in un account AWS a SageMaker Studio in un altro AWS account nella stessa regione utilizzando il peering VPC.
Panoramica della soluzione
Iniziamo con due account AWS: un account produttore con il data warehouse di Amazon Redshift e un account consumatore per Amazon Sage Maker Casi d'uso ML in cui è configurato SageMaker Studio. Di seguito è riportata una panoramica di alto livello del flusso di lavoro:
- Configura SageMaker Studio con
VPCOnly
modalità nell'account del consumatore. Ciò impedisce a SageMaker di fornire l'accesso a Internet ai tuoi notebook da studio. Tutto il traffico di SageMaker Studio passa attraverso il VPC e le sottoreti specificati. - Aggiorna il tuo dominio SageMaker Studio per attivarlo
SourceIdentity
per propagare il nome del profilo utente. - Creare un Gestione dell'identità e dell'accesso di AWS (IAM) nell'account produttore di Amazon Redshift che il ruolo IAM di SageMaker Studio assumerà per accedere ad Amazon Redshift.
- Aggiorna il ruolo di esecuzione IAM di SageMaker nell'account consumatore di SageMaker Studio che SageMaker Studio utilizzerà per assumere il ruolo nell'account Amazon Redshift del produttore.
- Configura una connessione di peering tra VPC nell'account produttore di Amazon Redshift e nell'account consumatore di SageMaker Studio.
- Interroga Amazon Redshift in SageMaker Studio nell'account consumer.
Il diagramma seguente illustra l'architettura della nostra soluzione.
Prerequisiti
I passaggi in questo post presuppongono che Amazon Redshift venga avviato in una sottorete privata nell'account produttore di Amazon Redshift. L'avvio di Amazon Redshift in una sottorete privata fornisce un ulteriore livello di sicurezza e isolamento rispetto all'avvio in una sottorete pubblica perché la sottorete privata non è direttamente accessibile da Internet ed è più protetta da attacchi esterni.
Per scaricare le librerie pubbliche, devi creare un VPC e una sottorete privata e pubblica nell'account utente SageMaker. Quindi avvia un gateway NAT nella sottorete pubblica e aggiungi un gateway Internet per SageMaker Studio nella sottorete privata per accedere a Internet. Per istruzioni su come stabilire una connessione a una sottorete privata, fare riferimento a Come si configura un gateway NAT per una sottorete privata in Amazon VPC?
Configura SageMaker Studio con la modalità VPCOnly nell'account consumer
Per creare SageMaker Studio con VPCOnly
modalità, completare i seguenti passaggi:
- Sulla console di SageMaker, scegli Studio nel pannello di navigazione.
- Avvia SageMaker Studio, scegli Configurazione standarde scegli Configurazione.
Se lo stai già utilizzando AWS IAM Identity Center (successore di AWS Single Sign-On) per accedere ai tuoi account AWS, puoi utilizzarlo per l'autenticazione. In caso contrario, puoi utilizzare IAM per l'autenticazione e utilizzare i ruoli federati esistenti.
- Nel Impostazioni generali sezione, selezionare Crea un nuovo ruolo.
- Nel Crea un ruolo IAM sezione, facoltativamente specificare il proprio Servizio di archiviazione semplice Amazon (Amazon S3) selezionando i bucket Qualsiasi, Specifica, o Nessuna, Quindi scegliere Crea ruolo.
Questo crea un ruolo di esecuzione SageMaker, ad esempio AmazonSageMaker-ExecutionRole-00000000
.
- Sotto Sezione Rete e archiviazione, scegli il VPC, la sottorete (sottorete privata) e il gruppo di sicurezza che hai creato come prerequisito.
- Seleziona Solo VPC, Quindi scegliere Avanti.
Aggiorna il tuo dominio SageMaker Studio per attivare SourceIdentity per propagare il nome del profilo utente
SageMaker Studio è integrato con AWS CloudTrail per consentire agli amministratori di monitorare e controllare l'attività degli utenti e le chiamate API dai notebook SageMaker Studio. È possibile configurare SageMaker Studio per registrare l'identità dell'utente (in particolare, il file nome del profilo utente) per monitorare e controllare l'attività degli utenti e le chiamate API dai notebook SageMaker Studio negli eventi CloudTrail.
Per registrare attività utente specifiche tra più profili utente, ti consigliamo di attivare SourceIdentity
per propagare il dominio SageMaker Studio con il nome del profilo utente. Ciò consente di rendere persistenti le informazioni dell'utente nella sessione in modo da poter attribuire azioni a un utente specifico. Questo attributo viene mantenuto anche quando si concatenano i ruoli, in modo da poter ottenere una visibilità dettagliata delle loro azioni nell'account produttore. Al momento in cui è stato scritto questo post, puoi configurarlo solo utilizzando il file Interfaccia della riga di comando di AWS (AWS CLI) o qualsiasi strumento a riga di comando.
Per aggiornare questa configurazione, tutte le app nel dominio devono trovarsi nel file Arrestato or Soppresso stato.
Utilizzare il codice seguente per abilitare la propagazione del nome del profilo utente come SourceIdentity
:
Ciò richiede che tu aggiunga sts:SetSourceIdentity
nella relazione di fiducia per il tuo ruolo di esecuzione.
Crea un ruolo IAM nell'account produttore di Amazon Redshift che SageMaker Studio deve assumere per accedere ad Amazon Redshift
Per creare un ruolo che SageMaker assumerà per accedere ad Amazon Redshift, completa i seguenti passaggi:
- Apri la console IAM nell'account produttore di Amazon Redshift.
- Scegli Ruoli nel riquadro di navigazione, quindi scegli Crea ruolo.
- Sulla Seleziona un'entità attendibile pagina, selezionare Politica di fiducia personalizzata.
- Inserisci la seguente policy di attendibilità personalizzata nell'editor e fornisci il tuo ID account consumatore SageMaker e il ruolo di esecuzione SageMaker che hai creato:
- Scegli Avanti.
- Sulla Aggiungi le autorizzazioni richieste pagina, scegli Crea politica.
- Aggiungi la seguente policy di esempio e apporta le modifiche necessarie in base alla tua configurazione.
- Salva la politica aggiungendo un nome, ad esempio
RedshiftROAPIUserAccess
.
Il SourceIdentity
viene utilizzato per collegare l'identità dell'utente originale di SageMaker Studio all'utente del database Amazon Redshift. Le azioni dell'utente nell'account produttore possono quindi essere monitorate utilizzando gli audit log del database CloudTrail e Amazon Redshift.
- Sulla Assegna un nome, rivedi e crea pagina, inserire un nome di ruolo, rivedere le impostazioni e scegliere Crea ruolo.
Aggiorna il ruolo IAM nell'account consumatore SageMaker che SageMaker Studio assume nell'account produttore Amazon Redshift
Per aggiornare il ruolo di esecuzione di SageMaker in modo che assuma il ruolo che abbiamo appena creato, completa i seguenti passaggi:
- Apri la console IAM nell'account consumer SageMaker.
- Scegli Ruoli nel riquadro di navigazione, quindi scegli il ruolo di esecuzione SageMaker che abbiamo creato (
AmazonSageMaker-ExecutionRole-*
). - Nel Politica di autorizzazioni sezione, nella Aggiungi autorizzazioni menù, scegliere Crea una politica in linea.
- Nell'editor, sul JSON scheda, inserire la seguente politica, dove è l'ARN del ruolo che hai creato nell'account produttore di Amazon Redshift:
Puoi ottenere l'ARN del ruolo creato nell'account produttore di Amazon Redshift sulla console IAM, come mostrato nello screenshot seguente.
- Scegli Politica di revisione.
- Nel Nome, inserisci un nome per la tua politica.
- Scegli Crea politica.
Le tue politiche di autorizzazione dovrebbero essere simili allo screenshot seguente.
Configura una connessione di peering tra i VPC nell'account produttore di Amazon Redshift e l'account consumatore di SageMaker Studio
Per stabilire la comunicazione tra il VPC di SageMaker Studio e il VPC di Amazon Redshift, è necessario eseguire il peering dei due VPC utilizzando il peering VPC. Completare i seguenti passaggi per stabilire una connessione:
- Nell'account Amazon Redshift o SageMaker, apri la console Amazon VPC.
- Nel pannello di navigazione, scegli Connessioni di peering, Quindi scegliere Crea connessione di peering.
- Nel Nome, inserisci un nome per la tua connessione.
- Sotto Seleziona un VPC locale con cui eseguire il peering, scegli un VPC locale.
- Sotto Seleziona un altro VPC con cui eseguire il peering, specifica un altro VPC nella stessa regione e un altro account.
- Scegli Crea connessione di peering.
- Esamina la connessione peering VPC e scegli Richiesta accettata attivare.
Dopo che la connessione peering VPC è stata stabilita correttamente, puoi creare instradamenti sui VPC SageMaker e Amazon Redshift per completare la connettività tra di loro.
- Nell'account SageMaker, apri la console Amazon VPC.
- Scegli Tabelle rotte nel riquadro di navigazione, quindi scegli il VPC associato a SageMaker e modifica i percorsi.
- Aggiungi CIDR per il VPC Amazon Redshift di destinazione e la destinazione come connessione di peering.
- Inoltre, aggiungi un gateway NAT.
- Scegli Salvare le modifiche.
- Nell'account Amazon Redshift, apri la console Amazon VPC.
- Scegli Tabelle rotte nel riquadro di navigazione, quindi scegli il VPC associato ad Amazon Redshift e modifica i percorsi.
- Aggiungi CIDR per il VPC SageMaker di destinazione e la destinazione come connessione di peering.
- Inoltre, aggiungi un gateway Internet.
- Scegli Salvare le modifiche.
Puoi connetterti a SageMaker Studio dal tuo VPC tramite un endpoint di interfaccia nel tuo VPC invece di connetterti tramite Internet. Quando utilizzi un endpoint di interfaccia VPC, la comunicazione tra il tuo VPC e l'API o il runtime di SageMaker viene condotta interamente e in modo sicuro all'interno della rete AWS.
- Per creare un endpoint VPC, nell'account SageMaker, apri la console VPC.
- Scegli endpoint nel riquadro di navigazione, quindi scegli Crea endpoint.
- Specifica il VPC SageMaker, le rispettive sottoreti e i gruppi di sicurezza appropriati per consentire il traffico NFS in entrata e in uscita per il dominio dei notebook SageMaker e scegli Crea l'endpoint VPC.
Interroga Amazon Redshift in SageMaker Studio nell'account consumatore
Dopo che tutta la rete è stata stabilita correttamente, segui i passaggi in questa sezione per connetterti al cluster Amazon Redshift nell'account consumer di SageMaker Studio utilizzando la libreria SDK AWS per i panda:
- In SageMaker Studio, crea un nuovo taccuino.
- Se il pacchetto SDK AWS per panda non è installato, puoi installarlo utilizzando quanto segue:
Questa installazione non è permanente e andrà persa se l'app KernelGateway viene eliminata. I pacchetti personalizzati possono essere aggiunti come parte di a Configurazione del ciclo di vita.
- Immettere il seguente codice nella prima cella ed eseguire il codice. Sostituire
RoleArn
edregion_name
valori basati sulle impostazioni del tuo account:
- Inserisci il seguente codice in una nuova cella ed esegui il codice per ottenere il nome del profilo utente SageMaker corrente:
- Inserisci il seguente codice in una nuova cella ed esegui il codice:
Per interrogare correttamente Amazon Redshift, l'amministratore del database deve assegnare all'utente appena creato le autorizzazioni di lettura necessarie all'interno del cluster Amazon Redshift nell'account produttore.
- Inserisci il seguente codice in una nuova cella, aggiorna la query in modo che corrisponda alla tua tabella Amazon Redshift ed esegui la cella. Ciò dovrebbe restituire correttamente i record per l'ulteriore elaborazione e analisi dei dati.
Ora puoi iniziare a creare trasformazioni e analisi dei dati in base ai tuoi requisiti aziendali.
ripulire
Per ripulire qualsiasi risorsa ed evitare di incorrere in costi ricorrenti, elimina gli endpoint VPC di SageMaker, il cluster Amazon Redshift e le app, gli utenti e il dominio di SageMaker Studio. Elimina anche tutti i bucket e gli oggetti S3 che hai creato.
Conclusione
In questo post, abbiamo mostrato come stabilire una connessione tra account tra VPC Amazon Redshift e SageMaker Studio privati in account diversi utilizzando il peering VPC e accedere ai dati di Amazon Redshift in SageMaker Studio utilizzando il concatenamento dei ruoli IAM, registrando anche l'identità dell'utente quando l'utente accesso ad Amazon Redshift da SageMaker Studio. Con questa soluzione, elimini la necessità di spostare manualmente i dati tra account per accedere ai dati. Abbiamo anche spiegato come accedere al cluster Amazon Redshift utilizzando l'SDK AWS per la libreria panda in SageMaker Studio e preparare i dati per i tuoi casi d'uso ML.
Per ulteriori informazioni su Amazon Redshift e SageMaker, fare riferimento a Guida per gli sviluppatori di database Amazon Redshift ed Documentazione Amazon SageMaker.
Informazioni sugli autori
Supriya Puragunda è Senior Solutions Architect presso AWS. Aiuta gli account dei clienti chiave nel loro percorso di AI e ML. È appassionata di intelligenza artificiale basata sui dati e dell'area di approfondimento dell'apprendimento automatico.
Marc Karp è un Machine Learning Architect con il team di Amazon SageMaker. Si concentra sull'aiutare i clienti a progettare, distribuire e gestire i carichi di lavoro ML su larga scala. Nel tempo libero ama viaggiare ed esplorare posti nuovi.
- Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
- PlatoData.Network Generativo verticale Ai. Potenzia te stesso. Accedi qui.
- PlatoAiStream. Intelligenza Web3. Conoscenza amplificata. Accedi qui.
- PlatoneESG. Automobilistico/VE, Carbonio, Tecnologia pulita, Energia, Ambiente, Solare, Gestione dei rifiuti. Accedi qui.
- BlockOffset. Modernizzare la proprietà della compensazione ambientale. Accedi qui.
- Fonte: https://aws.amazon.com/blogs/machine-learning/configure-cross-account-access-of-amazon-redshift-clusters-in-amazon-sagemaker-studio-using-vpc-peering/
- :ha
- :È
- :non
- :Dove
- $ SU
- 10
- 100
- 11
- 13
- 14
- 15%
- 7
- 8
- 9
- a
- WRI
- accesso
- accessibile
- accessibile
- Accedendo
- Il mio account
- conti
- operanti in
- Action
- azioni
- attività
- aggiungere
- aggiunto
- l'aggiunta di
- aggiuntivo
- amministratori
- AI
- Tutti
- consentire
- consente
- già
- anche
- Amazon
- Amazon RedShift
- Amazon Sage Maker
- Amazon Sage Maker Studio
- Amazon Web Services
- tra
- an
- .
- ed
- Un altro
- in qualsiasi
- api
- App
- opportuno
- applicazioni
- architettura
- SONO
- RISERVATA
- AS
- associato
- assumere
- assume
- At
- attacchi
- revisione
- Autenticazione
- disponibile
- evitare
- AWS
- basato
- BE
- è diventato
- perché
- stato
- MIGLIORE
- fra
- entrambi
- costruire
- Costruzione
- affari
- by
- chiamata
- Bandi
- Materiale
- Può ottenere
- casi
- centro
- certo
- catena
- Scegli
- Cloud
- il cloud computing
- Cluster
- codice
- Uncommon
- Comunicazione
- rispetto
- completamento di una
- Calcolare
- informatica
- condizione
- condotto
- Configurazione
- configurato
- Connettiti
- Collegamento
- veloce
- Connettività
- consolle
- Consumer
- di controllo
- controlli
- Nucleo
- Costo
- Costi
- creare
- creato
- crea
- Credenziali
- Corrente
- costume
- cliente
- Clienti
- dati
- elaborazione dati
- condivisione dei dati
- data-driven
- Banca Dati
- datetime
- schierare
- profondità
- descritta
- Design
- destinazione
- Costruttori
- Mercato
- diverso
- direttamente
- do
- dominio
- scaricare
- ogni
- editore
- effetto
- o
- eliminato
- enable
- Abilita
- endpoint
- entrare
- interamente
- Ambiente
- ambienti
- stabilire
- sviluppate
- eventi
- Ogni
- esecuzione
- esistente
- Esplorare
- esterno
- FAST
- Nome
- si concentra
- seguire
- i seguenti
- Nel
- da
- completamente
- ulteriormente
- porta
- ottenere
- Gruppo
- Gruppo
- Avere
- he
- aiutare
- aiuta
- alto livello
- il suo
- Come
- Tutorial
- HTML
- http
- HTTPS
- i
- ID
- Identità
- if
- illustra
- Impact
- importare
- competenze
- in
- industria
- informazioni
- install
- installazione
- installato
- invece
- istruzioni
- integrato
- Interfaccia
- Internet
- accesso ad Internet
- ai miglioramenti
- da solo
- IT
- viaggio
- jpg
- json
- ad appena
- Le
- lanciare
- lanciato
- lancio
- strato
- IMPARARE
- apprendimento
- biblioteche
- Biblioteca
- linea
- locale
- collocato
- ceppo
- registrazione
- Guarda
- perso
- macchina
- machine learning
- make
- Fare
- gestire
- gestito
- manualmente
- partita
- Menu
- Metadati
- metodo
- ML
- Moda
- modelli
- Monitorare
- monitorati
- monitoraggio
- Scopri di più
- cambiano
- devono obbligatoriamente:
- Nome
- Navigazione
- necessaria
- Bisogno
- esigenze
- Rete
- internazionale
- New
- recentemente
- nodo
- taccuino
- adesso
- oggetto
- oggetti
- of
- di frequente
- on
- ONE
- esclusivamente
- aprire
- or
- organizzazione
- organizzazioni
- i
- Altro
- altrimenti
- nostro
- ancora
- panoramica
- pacchetto
- Packages
- pagina
- panda
- vetro
- parte
- particolarmente
- passare
- appassionato
- pera
- Eseguire
- autorizzazione
- permessi
- Partner
- Platone
- Platone Data Intelligence
- PlatoneDati
- Termini e Condizioni
- politica
- Post
- energia
- pratica
- Previsioni
- Preparare
- impedisce
- Direttore
- un bagno
- lavorazione
- produttore
- Profilo
- Profili
- progetti
- fornire
- fornisce
- fornitura
- la percezione
- Leggi
- raccomandato
- record
- record
- ricorrenti
- ridurre
- regione
- rapporto
- sostituire
- richiesta
- necessario
- Requisiti
- richiede
- risorsa
- Risorse
- quelli
- ritorno
- problemi
- recensioni
- Rischio
- Ruolo
- ruoli
- percorsi
- Correre
- sagemaker
- stesso
- scalabile
- Scala
- sdk
- Sezione
- sicuro
- in modo sicuro
- problemi di
- Selezione
- anziano
- separato
- separazione
- Servizi
- Sessione
- set
- impostazioni
- alcuni
- compartecipazione
- lei
- dovrebbero
- ha mostrato
- mostrato
- simile
- Un'espansione
- semplificare
- singolo
- So
- soluzione
- Soluzioni
- specifico
- in particolare
- specificato
- inizia a
- Regione / Stato
- dichiarazione
- step
- Passi
- conservazione
- memorizzati
- studio
- sottorete
- sottoreti
- Con successo
- tale
- tavolo
- Target
- team
- le squadre
- temporaneo
- che
- Il
- L'area
- loro
- Li
- poi
- questo
- Attraverso
- TIE
- tempo
- a
- traffico
- Treni
- trasformazioni
- Di viaggio
- Affidati ad
- di fiducia
- TURNO
- seconda
- Digitare
- Tipi di
- tipicamente
- Aggiornanento
- uso
- utilizzato
- Utente
- utenti
- utilizzando
- Valori
- versione
- visibilità
- camminava
- volere
- Prima
- we
- sito web
- servizi web
- Web-basata
- WELL
- quando
- while
- volere
- con
- entro
- flusso di lavoro
- scritto
- Tu
- Trasferimento da aeroporto a Sharm
- zefiro