Crea e addestra modelli ML utilizzando un'architettura data mesh su AWS: parte 1

Le organizzazioni di vari settori utilizzano l'intelligenza artificiale (AI) e l'apprendimento automatico (ML) per risolvere le sfide aziendali specifiche del loro settore. Ad esempio, nel settore dei servizi finanziari, puoi utilizzare l'intelligenza artificiale e il machine learning per risolvere le sfide relative al rilevamento delle frodi, alla previsione del rischio di credito, al marketing diretto e molti altri.

Le grandi imprese a volte creano un centro di eccellenza (CoE) per far fronte alle esigenze di diverse linee di business (LoB) con analisi innovative e progetti di machine learning.

Per generare modelli ML di alta qualità e performanti su larga scala, devono eseguire le seguenti operazioni:

• Fornisci un modo semplice per accedere ai dati rilevanti per le loro analisi e ML CoE
• Crea responsabilità sui fornitori di dati da singoli LoB per condividere risorse di dati curate che sono rilevabili, comprensibili, interoperabili e affidabili

Ciò può ridurre il tempo di ciclo lungo per convertire i casi d'uso di ML dalla sperimentazione alla produzione e generare valore aziendale in tutta l'organizzazione.

Un'architettura data mesh si sforza di risolvere queste sfide tecniche e organizzative introducendo un approccio socio-tecnico decentralizzato per condividere, accedere e gestire i dati in ambienti complessi e su larga scala, all'interno o tra le organizzazioni. Il modello di progettazione della mesh di dati crea un modello di condivisione dei dati responsabile che si allinea con la crescita dell'organizzazione per raggiungere l'obiettivo finale di aumentare il ritorno degli investimenti aziendali nei team di dati, nel processo e nella tecnologia.

In questa serie in due parti, forniamo indicazioni su come le organizzazioni possono creare un'architettura di dati moderna utilizzando un modello di progettazione di mesh di dati su AWS e abilitare un'analisi e un CoE ML per creare e addestrare modelli ML con i dati su più LoB. Utilizziamo un esempio di un'organizzazione di servizi finanziari per impostare il contesto e il caso d'uso per questa serie.

In questo primo post, mostriamo le procedure per configurare un'architettura data mesh con più account di produttori e consumatori di dati AWS. Quindi ci concentriamo su un prodotto dati, che è di proprietà di un LoB all'interno dell'organizzazione finanziaria, e su come può essere condiviso in un ambiente data mesh per consentire ad altri LoB di consumare e utilizzare questo prodotto dati. Ciò si rivolge principalmente alla persona del data steward, che ha la responsabilità di snellire e standardizzare il processo di condivisione dei dati tra produttori e consumatori di dati e garantire il rispetto delle regole di governance dei dati.

Nel secondo post, mostriamo un esempio di come un'analisi e un ML CoE possono consumare il prodotto di dati per un caso d'uso di previsione del rischio. Ciò si rivolge principalmente alla persona del data scientist, che è responsabile dell'utilizzo di risorse di dati a livello di organizzazione e di terze parti per creare e addestrare modelli di machine learning che estraggono informazioni di business per migliorare l'esperienza dei clienti dei servizi finanziari.

Panoramica della mesh di dati

La fondatrice del pattern data mesh, Zhamak Dehghani nel suo libro Data Mesh che fornisce valore basato sui dati su larga scala, ha definito quattro principi verso l'obiettivo della rete di dati:

• Proprietà del dominio distribuito – Perseguire un passaggio organizzativo dalla proprietà centralizzata dei dati da parte di specialisti che gestiscono le tecnologie della piattaforma dati a un modello di proprietà dei dati decentralizzato, riportando la proprietà e la responsabilità dei dati alle LoB in cui i dati vengono prodotti (domini allineati alla fonte) o consumati ( domini allineati al consumo).
• I dati come prodotto – Spingere a monte la responsabilità della condivisione di risorse di dati curate, di alta qualità, interoperabili e sicure. Pertanto, i produttori di dati di diverse LoB sono responsabili della creazione dei dati in forma consumabile direttamente alla fonte.
• Analisi self-service – Per semplificare l'esperienza degli utenti di dati di analisi e ML in modo che possano scoprire, accedere e utilizzare i prodotti di dati con i loro strumenti preferiti. Inoltre, per semplificare l'esperienza dei fornitori di dati LoB nella creazione, distribuzione e manutenzione di prodotti di dati tramite ricette e componenti e modelli riutilizzabili.
• Governance computazionale federata – Per federare e automatizzare il processo decisionale coinvolto nella gestione e nel controllo dell'accesso ai dati in modo che sia al livello dei proprietari dei dati delle diverse LoB, il che è ancora in linea con le politiche legali, di conformità e di sicurezza dell'organizzazione più ampia che vengono infine applicate attraverso la maglia.

AWS ha presentato la sua visione per la creazione di una rete di dati su AWS in vari post:

• In primo luogo, ci siamo concentrati sulla parte organizzativa associata alla proprietà del dominio distribuito e ai dati come principi di prodotto. Gli autori hanno descritto la visione di allineare più LOB all'interno dell'organizzazione verso una strategia di prodotto dati che fornisca ai domini allineati al consumo gli strumenti per trovare e ottenere i dati di cui hanno bisogno, garantendo nel contempo il controllo necessario sull'uso di tali dati introducendo la responsabilità per i domini allineati alla fonte per fornire prodotti di dati pronti per essere utilizzati direttamente alla fonte. Per ulteriori informazioni, fare riferimento a Come JPMorgan Chase ha costruito un'architettura data mesh per generare un valore significativo per migliorare la propria piattaforma dati aziendale.
• Quindi ci siamo concentrati sulla parte tecnica associata alla creazione di prodotti di dati, analisi self-service e principi di governance computazionale federata. Gli autori hanno descritto i servizi AWS principali che consentono ai domini allineati alla fonte di creare e condividere prodotti di dati, un'ampia varietà di servizi che possono consentire ai domini allineati ai consumatori di consumare prodotti di dati in modi diversi in base ai loro strumenti preferiti e ai casi d'uso che stanno lavorando verso, e infine, i servizi AWS che regolano la procedura di condivisione dei dati applicando politiche di accesso ai dati. Per ulteriori informazioni, fare riferimento a Progetta un'architettura data mesh utilizzando AWS Lake Formation e AWS Glue.
• Abbiamo anche mostrato una soluzione per automatizzare il rilevamento dei dati e il controllo dell'accesso tramite un'interfaccia utente mesh di dati centralizzata. Per maggiori dettagli, fare riferimento a Crea un flusso di lavoro di condivisione dei dati con AWS Lake Formation per la tua rete di dati.

Caso d'uso dei servizi finanziari

In genere, le grandi organizzazioni di servizi finanziari hanno più LoB, come servizi bancari al consumo, banche di investimento e gestione patrimoniale, e anche uno o più team di analisi e ML CoE. Ogni LoB fornisce diversi servizi:

• La LoB consumer banking fornisce una varietà di servizi a consumatori e aziende, inclusi credito e mutui, gestione della liquidità, soluzioni di pagamento, prodotti di deposito e investimento e altro ancora
• La LoB commerciale o di investimento offre soluzioni finanziarie complete, come prestiti, rischio di fallimento e pagamenti all'ingrosso ai clienti, comprese le piccole imprese, le medie imprese e le grandi società
• La LoB di gestione patrimoniale offre prodotti previdenziali e servizi di investimento in tutte le classi di attività

Ogni LoB definisce i propri prodotti di dati, che sono curati da persone che comprendono i dati e sono più adatti a specificare chi è autorizzato a utilizzarli e come possono essere utilizzati. Al contrario, altri LoB e domini applicativi come l'analisi e il ML CoE sono interessati a scoprire e utilizzare prodotti di dati qualificati, combinarli insieme per generare approfondimenti e prendere decisioni basate sui dati.

L'illustrazione seguente illustra alcuni LoB ed esempi di prodotti di dati che possono essere condivisi. Mostra anche i consumatori di prodotti di dati come l'analisi e il ML CoE, che creano modelli ML che possono essere implementati in applicazioni rivolte ai clienti per migliorare ulteriormente l'esperienza del cliente finale.

Seguendo il concetto socio-tecnico di data mesh, si parte dall'aspetto sociale con una serie di fasi organizzative, come le seguenti:

• Utilizzo di esperti di dominio per definire i limiti di ciascun dominio, in modo che ogni prodotto di dati possa essere mappato su un dominio specifico
• Identificare i proprietari dei prodotti dati forniti da ciascun dominio, in modo che ogni prodotto dati abbia una strategia definita dal proprietario
• Identificazione delle politiche di governance da incentivi globali e locali o federati, in modo che quando i consumatori di dati accedono a un prodotto di dati specifico, la politica di accesso associata al prodotto possa essere applicata automaticamente attraverso un livello di governance dei dati centrale

Passiamo quindi all'aspetto tecnico, che include il seguente scenario end-to-end definito nel diagramma precedente:

1. Fornisci alla LoB consumer banking strumenti per creare un prodotto di dati del profilo di credito al consumo pronto per l'uso.
2. Consenti alla LoB di consumer banking di condividere i prodotti di dati nel livello di governance centrale.
3. Incorpora definizioni globali e federate delle politiche di accesso ai dati che dovrebbero essere applicate durante l'accesso al prodotto dei dati del profilo di credito del consumatore attraverso la governance centrale dei dati.
4. Consenti all'analisi e al CoE ML di scoprire e accedere al prodotto dati attraverso il livello di governance centrale.
5. Fornisci all'analisi e al CoE ML gli strumenti per utilizzare il prodotto di dati per creare e addestrare un modello di previsione del rischio di credito. Non copriamo i passaggi finali (6 e 7 nel diagramma precedente) in questa serie. Tuttavia, per mostrare il valore aziendale che un tale modello ML può apportare all'organizzazione in uno scenario end-to-end, illustriamo quanto segue:
6. Questo modello potrebbe essere successivamente distribuito ai sistemi rivolti ai clienti come un portale Web di consumer banking o un'applicazione mobile.
7. Può essere specificamente utilizzato all'interno della domanda di prestito per valutare il profilo di rischio delle richieste di credito e di mutuo.

Successivamente, descriviamo le esigenze tecniche di ciascuno dei componenti.

Approfondimento delle esigenze tecniche

Per rendere i prodotti di dati disponibili per tutti, le organizzazioni devono semplificare la condivisione dei dati tra diverse entità all'interno dell'organizzazione mantenendo un controllo appropriato su di essi o, in altre parole, bilanciare l'agilità con una governance adeguata.

Consumatore di dati: analisi e ML CoE

I consumatori di dati come i data scientist di analytics e ML CoE devono essere in grado di fare quanto segue:

• Scopri e accedi a set di dati rilevanti per un determinato caso d'uso
• Assicurati che i set di dati a cui desiderano accedere siano già curati, aggiornati e abbiano descrizioni solide
• Richiedi l'accesso ai set di dati di interesse per i loro casi aziendali
• Usa i loro strumenti preferiti per interrogare ed elaborare tali set di dati all'interno del loro ambiente per ML senza la necessità di replicare i dati dalla posizione remota originale o di preoccuparti delle complessità ingegneristiche o infrastrutturali associate all'elaborazione dei dati archiviati fisicamente in un sito remoto
• Ricevi una notifica di eventuali aggiornamenti dei dati effettuati dai proprietari dei dati

Produttore di dati: proprietà del dominio

I produttori di dati, come i team di dominio di diversi LoB nell'organizzazione dei servizi finanziari, devono registrare e condividere set di dati curati che contengono quanto segue:

• Metadati tecnici e operativi, come nomi e dimensioni di database e tabelle, schemi di colonne e chiavi
• Metadati aziendali come descrizione, classificazione e sensibilità dei dati
• Monitoraggio dei metadati come l'evoluzione dello schema dall'origine al modulo di destinazione e qualsiasi modulo intermedio
• Metadati sulla qualità dei dati come rapporti di correttezza e completezza e bias dei dati
• Politiche e procedure di accesso

Questi sono necessari per consentire ai consumatori di dati di scoprire e accedere ai dati senza fare affidamento su procedure manuali o dover contattare gli esperti di dominio del prodotto dati per acquisire maggiori conoscenze sul significato dei dati e su come è possibile accedervi.

Data governance: rilevabilità, accessibilità e verificabilità

Le organizzazioni devono bilanciare le agilità illustrate in precedenza con un'adeguata mitigazione dei rischi associati alla fuga di dati. In particolare nei settori regolamentati come i servizi finanziari, è necessario mantenere la governance dei dati centralizzata per fornire l'accesso ai dati e il controllo di audit complessivi, riducendo al contempo l'ingombro dello storage evitando più copie degli stessi dati in luoghi diversi.

Nelle tradizionali architetture data lake centralizzate, i produttori di dati pubblicano spesso dati grezzi e trasferiscono la responsabilità della cura dei dati, della gestione della qualità dei dati e del controllo dell'accesso ai dati e agli ingegneri dell'infrastruttura in un team di piattaforma dati centralizzata. Tuttavia, questi team di piattaforme dati potrebbero avere meno familiarità con i vari domini di dati e continuare a fare affidamento sul supporto dei produttori di dati per essere in grado di curare e governare correttamente l'accesso ai dati in base alle politiche applicate a ciascun dominio di dati. Al contrario, gli stessi produttori di dati sono nella posizione migliore per fornire risorse di dati curate e qualificate e sono consapevoli delle politiche di accesso specifiche del dominio che devono essere applicate durante l'accesso alle risorse di dati.

Panoramica della soluzione

Il diagramma seguente mostra l'architettura di alto livello della soluzione proposta.

Ci occupiamo del consumo di dati da parte dell'analisi e ML CoE con Amazzone Atena ed Amazon Sage Maker in parte 2 di questa serie.

In questo post, ci concentriamo sul processo di onboarding dei dati nella mesh di dati e descriviamo come un singolo LoB come il team dei dati del dominio bancario dei consumatori può utilizzare strumenti AWS come Colla AWS ed DataBrew di AWS Glue per preparare, curare e migliorare la qualità dei propri prodotti di dati, quindi registrare tali prodotti di dati nell'account centrale di governance dei dati tramite Formazione AWS Lake.

Consumer banking LoB (produttore di dati)

Uno dei principi fondamentali del data mesh è il concetto di dati come prodotto. È molto importante che il team dei dati del dominio di consumer banking lavori alla preparazione di prodotti di dati pronti per l'uso da parte dei consumatori di dati. Questo può essere fatto utilizzando gli strumenti di estrazione, trasformazione e caricamento (ETL) di AWS come AWS Glue per elaborare i dati grezzi raccolti Servizio di archiviazione semplice Amazon (Amazon S3), o in alternativa connettersi ai data store operativi dove vengono prodotti i dati. Puoi anche usare DataBrew, che è uno strumento di preparazione dei dati visivi senza codice che semplifica la pulizia e la normalizzazione dei dati.

Ad esempio, durante la preparazione del prodotto dei dati del profilo di credito al consumo, il team dei dati del dominio del consumer banking può eseguire una semplice cura per tradurre dal tedesco all'inglese i nomi degli attributi dei dati grezzi recuperati dal set di dati open source Statlog dati sul credito tedesco, che consiste di 20 attributi e 1,000 righe.

Governance dei dati

Il servizio AWS principale per abilitare la governance della mesh di dati è Lake Formation. Lake Formation offre la possibilità di imporre la governance dei dati all'interno di ogni dominio di dati e tra i domini per garantire che i dati siano facilmente individuabili e sicuri. Fornisce un modello di sicurezza federato che può essere amministrato centralmente, con le migliori pratiche per il rilevamento dei dati, la sicurezza e la conformità, consentendo al contempo un'elevata agilità all'interno di ciascun dominio.

Lake Formation offre un'API per semplificare il modo in cui i dati vengono inseriti, archiviati e gestiti, insieme alla sicurezza a livello di riga per proteggere i tuoi dati. Fornisce inoltre funzionalità come il controllo granulare degli accessi, le tabelle governate e l'ottimizzazione dell'archiviazione.

Inoltre, Lake Formations offre a API per la condivisione dei dati che puoi utilizzare per condividere i dati tra account diversi. Ciò consente al consumatore di analisi e ML CoE di eseguire query Athena che eseguono query e uniscono tabelle su più account. Per ulteriori informazioni, fare riferimento al Guida per gli sviluppatori di AWS Lake Formation.

Gestore dell'accesso alle risorse AWS (AWS RAM) fornisce un modo sicuro per condividere le risorse tramite AWS Identity and Access Manager (IAM) ruoli e utenti negli account AWS all'interno di un'organizzazione o unità organizzative (UO) in Organizzazioni AWS.

Lake Formation insieme alla RAM AWS offre un modo per gestire la condivisione dei dati e l'accesso tra gli account AWS. Ci riferiamo a questo approccio come Controllo dell'accesso basato sulla RAM. Per maggiori dettagli su questo approccio, fare riferimento a Crea un flusso di lavoro di condivisione dei dati con AWS Lake Formation per la tua rete di dati.

Lake Formation offre anche un altro modo per gestire la condivisione e l'accesso ai dati Tag di formazione del lago. Ci riferiamo a questo approccio come controllo degli accessi basato su tag. Per maggiori dettagli, fare riferimento a Crea un'architettura di dati moderna e un pattern di mesh di dati su larga scala utilizzando il controllo degli accessi basato su tag AWS Lake Formation.

In questo post, utilizziamo l'approccio di controllo dell'accesso basato su tag perché semplifica la creazione di policy su un numero minore di tag logici che si trovano comunemente in diverse LoB invece di specificare policy su risorse denominate a livello di infrastruttura.

Prerequisiti

Per configurare un'architettura data mesh, sono necessari almeno tre account AWS: un account produttore, un account centrale e un account consumatore.

Distribuire l'ambiente della mesh di dati

Per distribuire un ambiente mesh di dati, puoi utilizzare quanto segue Repository GitHub. Questo repository ne contiene tre AWS CloudFormazione modelli che distribuiscono un ambiente mesh di dati che include ciascuno degli account (produttore, centrale e consumatore). All'interno di ogni account, puoi eseguire il modello CloudFormation corrispondente.

Conto centrale

Nell'account centrale, completare i seguenti passaggi:

1. Avvia lo stack CloudFormation:
   
2. Crea due utenti IAM:
   1. DataMeshOwner
   2. ProducerSteward
3. Grant DataMeshOwner come amministratore di Lake Formation.
4. Crea un ruolo IAM:
   1. LFRegisterLocationServiceRole
5. Crea due criteri IAM:
   1. ProducerStewardPolicy
   2. S3DataLakePolicy
6. Crea il database della carta di credito per ProducerSteward al conto produttore.
7. Condividi l'autorizzazione alla posizione dei dati con l'account produttore.

Conto produttore

Nell'account produttore, completa i seguenti passaggi:

1. Avvia lo stack CloudFormation:
   
2. Crea il bucket S3 credit-card, che tiene il tavolo credit_card.
3. Consenti l'accesso al bucket S3 per il ruolo del servizio Lake Formation dell'account centrale.
4. Crea il crawler di AWS Glue creditCrawler-<ProducerAccountID>.
5. Crea un ruolo del servizio crawler di AWS Glue.
6. Concedi le autorizzazioni per la posizione del bucket S3 credit-card-<ProducerAccountID>-<aws-region> al ruolo del crawler di AWS Glue.
7. Crea un utente IAM responsabile del produttore.

Conto del consumatore

Nell'account consumatore, completare i seguenti passaggi:

1. Avvia lo stack CloudFormation:
   
2. Crea il bucket S3 <AWS Account ID>-<aws-region>-athena-logs.
3. Crea il gruppo di lavoro Atena consumer-workgroup.
4. Crea l'utente IAM ConsumerAdmin.

Aggiungi un database e sottoscrivi l'account del consumatore ad esso

Dopo aver eseguito i modelli, puoi passare attraverso il passo-passo guida per aggiungere un prodotto nel catalogo dati e farvi abbonare il consumatore. La guida inizia con la creazione di un database in cui il produttore può inserire i suoi prodotti e poi spiega come il consumatore può iscriversi a quel database e accedere ai dati. Tutto questo viene eseguito durante l'utilizzo Tag LF, qual è controllo degli accessi basato su tag per la Formazione del Lago.

Registrazione del prodotto dati

L'architettura seguente descrive i passaggi dettagliati di come il team LoB consumer banking in qualità di produttori di dati può registrare i propri prodotti di dati nell'account di governance dei dati centrale (prodotti di dati integrati nella rete di dati dell'organizzazione).

I passaggi generali per registrare un prodotto dati sono i seguenti:

1. Creare un database di destinazione per il prodotto dati nell'account di governance centrale. Ad esempio, il modello CloudFormation dell'account centrale crea già il database di destinazione credit-card.
2. Condividi il database di destinazione creato con l'origine nell'account produttore.
3. Creare un collegamento alla risorsa del database condiviso nell'account produttore. Nello screenshot seguente, lo vediamo sulla console Lake Formation nell'account del produttore rl_credit-card è il collegamento alla risorsa del credit-card Banca dati.
   
4. Compila le tabelle (con i dati curati nell'account produttore) all'interno del database dei collegamenti alle risorse (rl_credit-card) utilizzando un crawler di AWS Glue nell'account produttore.
   

La tabella creata viene visualizzata automaticamente nell'account di governance centrale. Lo screenshot seguente mostra un esempio della tabella in Lake Formation nell'account centrale. Questo è dopo aver eseguito i passaggi precedenti per popolare il database di collegamento delle risorse rl_credit-card nel conto produttore.

Conclusione

Nella parte 1 di questa serie, abbiamo discusso gli obiettivi delle organizzazioni di servizi finanziari per ottenere una maggiore agilità per i loro team di analisi e ML e ridurre il tempo dai dati agli approfondimenti. Ci siamo anche concentrati sulla creazione di un'architettura data mesh su AWS, dove abbiamo introdotto servizi AWS facili da usare, scalabili e convenienti come AWS Glue, DataBrew e Lake Formation. I team di produzione dei dati possono utilizzare questi servizi per creare e condividere prodotti di dati curati, di alta qualità, interoperabili e sicuri, pronti per essere utilizzati da diversi consumatori di dati per scopi analitici.

In parte 2, ci concentriamo sui team di analisi e ML CoE che utilizzano prodotti di dati condivisi dalla LoB di consumer banking per creare un modello di previsione del rischio di credito utilizzando servizi AWS come Athena e SageMaker.

---

Circa gli autori

Karim Hammuda è un architetto di soluzioni specializzato per l'analisi presso AWS con una passione per l'integrazione dei dati, l'analisi dei dati e la BI. Collabora con i clienti AWS per progettare e creare soluzioni di analisi che contribuiscono alla crescita del loro business. Nel tempo libero, gli piace guardare documentari televisivi e giocare ai videogiochi con suo figlio.

Hasan Poonawala è un Senior AI/ML Specialist Solutions Architect presso AWS, Hasan aiuta i clienti a progettare e distribuire applicazioni di machine learning in produzione su AWS. Ha oltre 12 anni di esperienza lavorativa come data scientist, professionista dell'apprendimento automatico e sviluppatore di software. Nel tempo libero, Hasan ama esplorare la natura e trascorrere del tempo con amici e familiari.

Benoît de Patoul è un architetto specializzato in soluzioni AI/ML presso AWS. Aiuta i clienti fornendo guida e assistenza tecnica per creare soluzioni relative all'IA/ML utilizzando AWS. Nel tempo libero gli piace suonare il piano e passare il tempo con gli amici.