Risolvi i problemi aziendali end-to-end attraverso il machine learning nelle soluzioni JumpStart di Amazon SageMaker

Ripubblicato da Platone

Seguaci: 0

JumpStart di Amazon SageMaker fornisce modelli open source preaddestrati per un'ampia gamma di tipi di problemi per aiutarti a iniziare a utilizzare il machine learning (ML). JumpStart fornisce inoltre modelli di soluzioni che configurano l'infrastruttura per casi d'uso comuni e notebook di esempio eseguibili per ML con Amazon Sage Maker.

Come utente aziendale, con le soluzioni JumpStart puoi fare quanto segue:

Esplora le soluzioni e valuta quali si adattano meglio alle tue esigenze aziendali.
Avvia soluzioni con un solo clic Amazon Sage Maker Studio. Questo lancia un AWS CloudFormazione modello per creare le risorse richieste.
Modifica la soluzione per soddisfare le tue esigenze con l'accesso al notebook sottostante e alle risorse del modello.
Una volta terminato, elimina le risorse acquisite.

Questo post si concentra sulle cinque soluzioni ML recentemente aggiunte per affrontare cinque diverse sfide aziendali. Al momento della stesura di questo articolo, JumpStart offre 23 soluzioni aziendali che vanno dal rilevamento di frodi nelle transazioni finanziarie al riconoscimento della grafia. Il numero di soluzioni offerte tramite JumpStart aumenta regolarmente man mano che vengono aggiunte altre soluzioni.

Panoramica della soluzione

Le cinque nuove soluzioni sono le seguenti:

Ottimizzazione dei prezzi – Offre modelli ML personalizzabili per aiutarti a prendere decisioni ottimali per l'impostazione del prezzo del tuo prodotto o servizio al fine di raggiungere il tuo obiettivo aziendale, come la massimizzazione delle entrate, del profitto o altre metriche personalizzate.
Previsione delle specie di uccelli – Mostra come addestrare e ottimizzare un modello di rilevamento degli oggetti. Dimostra l'ottimizzazione del modello attraverso l'aumento delle immagini di training e traccia i miglioramenti di precisione che si verificano attraverso le iterazioni (epoche) del lavoro di training.
Previsione di sopravvivenza al cancro del polmone – Mostra come inserire caratteristiche radiomiche 2D e 3D e dati demografici del paziente in un algoritmo ML per prevedere le possibilità di sopravvivenza di un paziente dal cancro al polmone. I risultati di questa previsione possono aiutare i fornitori ad adottare misure proattive adeguate.
Classificazione dei pagamenti finanziari – Dimostra come addestrare e distribuire un modello ML per classificare le transazioni finanziarie in base alle informazioni sulle transazioni. Puoi utilizzare questa soluzione anche come passaggio intermedio nel rilevamento di frodi, personalizzazione o rilevamento di anomalie.
Previsione del tasso di abbandono per i clienti di telefonia mobile – Dimostra come sviluppare rapidamente un modello di previsione del tasso di abbandono utilizzando un set di dati sulle transazioni di chiamate mobili. Questo è un semplice esempio per gli utenti che non conoscono il machine learning.

Prerequisiti

Per utilizzare queste soluzioni, assicurati di avere accesso a Studio con un ruolo di esecuzione che ti consenta di eseguire la funzionalità SageMaker. Per il tuo ruolo utente in Studio, assicurati che il file Progetti SageMaker e JumpStart l'opzione è attivata.

Nelle sezioni seguenti, esamineremo ciascuna delle cinque nuove soluzioni e ne discuteremo in dettaglio il funzionamento, insieme ad alcuni consigli su come utilizzarla per le vostre esigenze aziendali.

Ottimizzazione del prezzo

Alle aziende piace utilizzare varie leve per ottenere i migliori risultati. Ad esempio, il prezzo di un prodotto o di un servizio è una leva che un’azienda può controllare. La domanda è come decidere a quale prezzo fissare un prodotto o un servizio, al fine di massimizzare un obiettivo aziendale come il profitto o le entrate.

Questa soluzione fornisce modelli ML personalizzabili per aiutarti a prendere decisioni ottimali per l'impostazione del prezzo del tuo prodotto o servizio al fine di raggiungere il tuo obiettivo, come massimizzare le entrate, il profitto o altre metriche personalizzate. La soluzione utilizza approcci di ML e di inferenza causale per apprendere le relazioni prezzo-volume dai dati storici ed è in grado di fornire raccomandazioni dinamiche sui prezzi in tempo reale per ottimizzare le metriche degli obiettivi personalizzati.

La schermata seguente mostra i dati di input di esempio.

La soluzione comprende tre parti:

Stima dell'elasticità del prezzo – Questo viene stimato mediante inferenza causale tramite un algoritmo double ML
Previsione del volume – Questo è previsto utilizzando l’algoritmo di Prophet
Ottimizzazione del prezzo – Ciò si ottiene mediante una simulazione what-if attraverso diversi scenari di prezzo

La soluzione fornisce il prezzo consigliato per il giorno successivo per massimizzare le entrate. Inoltre, gli output includono l'elasticità del prezzo stimata, che è un valore che indica l'effetto del prezzo sul volume, e un modello di previsione, che è in grado di prevedere il volume del giorno successivo. Il grafico seguente mostra come un modello causale che incorpora l'elasticità del prezzo calcolata funziona molto meglio in un'analisi what-if (con grandi deviazioni dal comportamento del prezzo) rispetto a un modello predittivo che utilizza Prophet per prevedere il volume utilizzando dati di serie temporali.

Potresti applicare questa soluzione alla tua azienda per i seguenti casi d'uso:

Determinare il prezzo ottimale dei beni per un negozio al dettaglio
Stimare l'effetto dei buoni sconto sugli acquisti dei clienti
Prevedere l'effetto dei vari metodi di incentivazione in qualsiasi attività

Previsione delle specie di uccelli

Oggi esistono diverse applicazioni di visione artificiale (CV) per le aziende. Una di queste applicazioni è il rilevamento degli oggetti, in cui un algoritmo ML rileva la posizione di un oggetto in un'immagine disegnando un riquadro attorno ad esso e identifica il tipo di oggetto a cui si riferisce. Imparare come applicare un modello di rilevamento degli oggetti e perfezionarlo può essere di grande valore per un'organizzazione che ha esigenze di CV.

Questa soluzione fornisce un esempio di come tradurre le specifiche del riquadro di delimitazione quando si forniscono immagini all'algoritmo SageMaker. Questa soluzione dimostra anche come migliorare un modello di rilevamento di oggetti aggiungendo immagini di training capovolte orizzontalmente (immagini speculari).

Viene fornito un quaderno per sperimentare le sfide di rilevamento di oggetti quando sono presenti un gran numero di classi (200 specie di uccelli). Il taccuino mostra anche come tracciare i miglioramenti della precisione che si verificano nelle epoche del lavoro di formazione. L'immagine seguente mostra immagini di esempio dal set di dati degli uccelli.

Questa soluzione contiene cinque passaggi:

Preparare i dati, incluso il download e RecordIO generazione di file.
Crea e addestra un modello di rilevamento degli oggetti.
Distribuisci un endpoint e valuta le prestazioni del modello.
Crea e addestra nuovamente un modello di rilevamento degli oggetti con il set di dati espanso.
Distribuisci un endpoint e valuta le prestazioni del modello espanso.

Ottieni quanto segue come output:

Risultati del rilevamento degli oggetti con l'unione delle scatole all'immagine di prova
Un modello di rilevamento di oggetti addestrato
Un modello di rilevamento di oggetti addestrati con un set di dati espanso (capovolto) aggiuntivo
Due endpoint separati distribuiti con uno per ciascun modello

Il grafico seguente mostra il miglioramento del modello rispetto alle iterazioni del modello (epoche) durante l'addestramento.

Gli esempi seguenti provengono da due immagini di prova.

Potresti applicare questa soluzione alla tua azienda per i seguenti casi d'uso:

Rilevamento di oggetti su un nastro trasportatore in un'industria di imballaggio
Rileva i condimenti su una pizza
Implementare applicazioni operative della catena di fornitura che coinvolgano il rilevamento di oggetti

Previsione di sopravvivenza al cancro del polmone

Il COVID-19 ha portato molta più attenzione alle sfide mediche legate ai polmoni. Ha anche esercitato molta pressione su ospedali, medici, infermieri e radiologi. Immagina la possibilità di applicare il machine learning come potente strumento per assistere i professionisti medici e aiutarli ad accelerare il loro lavoro. In questa soluzione, mostriamo come le caratteristiche radiomiche 2D e 3D e i dati demografici del paziente possono essere inseriti in un algoritmo ML per prevedere le possibilità di sopravvivenza di un paziente dal cancro al polmone. I risultati di questa previsione possono aiutare i fornitori ad adottare misure proattive adeguate.

Questa soluzione dimostra come creare una pipeline ML scalabile per il set di dati di radiogenomica del cancro polmonare non a piccole cellule (NSCLC), costituito da dati di sequenziamento dell'RNA, dati clinici (che riflettono i dati EHR) e immagini mediche. L'utilizzo di più tipi di dati per creare un modello di macchina viene definito come multi-modale M.L. Questa soluzione prevede l’esito della sopravvivenza dei pazienti con diagnosi di carcinoma polmonare non a piccole cellule.

L'immagine seguente mostra un esempio dei dati di input dal set di dati Radiogenomics sul cancro polmonare non a piccole cellule (NSCLC).

Come parte della soluzione, l'RNA totale è stato estratto dal tessuto tumorale e analizzato con la tecnologia di sequenziamento dell'RNA. Sebbene i dati originali contengano più di 22,000 geni, conserviamo 21 geni da 10 cluster di geni altamente coespressi (metageni) che sono stati identificati, convalidati in coorti di espressione genica disponibili al pubblico e correlati con la prognosi.

Le cartelle cliniche sono archiviate in formato CSV. Ogni riga corrisponde a un paziente e le colonne contengono informazioni sui pazienti, inclusi dati demografici, stadio del tumore e stato di sopravvivenza.

Per i dati genomici, conserviamo 21 geni da 10 cluster di geni altamente coespressi (metageni) che sono stati identificati, convalidati in coorti di espressione genica disponibili al pubblico e correlati con la prognosi.

Per i dati di imaging medico, creiamo caratteristiche radiomiche 3D a livello del paziente che spiegano le dimensioni, la forma e gli attributi visivi dei tumori osservati nelle scansioni TC. Per ogni studio del paziente, vengono eseguiti i seguenti passaggi:

Leggi i file di sezione DICOM 2D sia per la scansione TC che per la segmentazione del tumore, combinali in volumi 3D, salva i volumi in formato NIfTI.
Allinea il volume CT e la segmentazione del tumore in modo da poter concentrare il calcolo all'interno del tumore.
Calcola le caratteristiche radiomiche che descrivono la regione del tumore utilizzando la libreria piradiomica.
Estrarre 120 caratteristiche radiomiche di otto classi, come rappresentazioni statistiche della distribuzione e della co-occorrenza dell'intensità all'interno della regione tumorale di interesse e misurazioni basate sulla forma che descrivono morfologicamente il tumore.

Per creare una visione multimodale di un paziente per l'addestramento del modello, uniamo i vettori delle caratteristiche di tre modalità. Quindi elaboriamo i dati. Innanzitutto, normalizziamo la gamma di funzionalità indipendenti utilizzando il ridimensionamento delle funzionalità. Quindi eseguiamo l'analisi delle componenti principali (PCA) sulle caratteristiche per ridurre la dimensionalità e identificare le caratteristiche più discriminanti che contribuiscono con una varianza del 95% nei dati.

Ciò si traduce in una riduzione della dimensionalità da 215 caratteristiche fino a 45 componenti principali, che costituiscono caratteristiche per lo studente supervisionato.

La soluzione produce un modello ML che prevede lo stato di sopravvivenza dei pazienti con NSCLC (vivo o morto) in forma di probabilità. Oltre al modello e alla previsione, generiamo anche report per spiegare il modello. La pipeline di imaging medico produce volumi TC polmonari 3D e segmentazione del tumore a fini di visualizzazione.

È possibile applicare questa soluzione ai casi d'uso nel settore sanitario e delle scienze della vita.

Classificazione dei pagamenti finanziari

Prendere tutte le transazioni finanziarie di un’azienda o di un consumatore e organizzarle in varie categorie può essere molto utile. Può aiutare l'utente a sapere quanto ha speso in quale categoria e può anche generare avvisi quando le transazioni o la spesa in una determinata categoria aumentano o diminuiscono inaspettatamente.

Questa soluzione dimostra come addestrare e distribuire un modello ML per classificare le transazioni finanziarie in base alle informazioni sulle transazioni. Molte banche lo forniscono come servizio per offrire ai propri utenti finali una panoramica delle loro abitudini di spesa. Puoi utilizzare questa soluzione anche come passaggio intermedio nel rilevamento di frodi, personalizzazione o rilevamento di anomalie. Utilizziamo SageMaker per addestrare e distribuire un modello XGBoost con l'infrastruttura sottostante richiesta.

Il set di dati sintetici che mostriamo questa soluzione ha le seguenti caratteristiche:

categoria_transazione – La categoria della transazione, tra le seguenti 19 opzioni: Uncategorized, Entertainment, Education, Shopping, Personal Care, Health and Fitness, Food and Dining, Gifts and Donations, Investments, Bills and Utilities, Auto and Transport, Travel, Fees and Charges, Business Services, Personal Services, Taxes, Gambling, Homee Pension and insurances.
receiver_id – Un identificatore per la parte ricevente. L'identificatore è composto da 16 numeri.
identità del mittente – Un identificatore per la parte mittente. L'identificatore è composto da 16 numeri.
quantità – L'importo trasferito.
timestamp – Il timestamp della transazione nel formato AAAA-MM-GG HH:MM:SS.

Le prime cinque osservazioni del set di dati sono le seguenti:

Per questa soluzione utilizziamo XGBoost, un'implementazione open source popolare ed efficiente dell'algoritmo degli alberi con gradiente potenziato. Il gradient boosting è un algoritmo di apprendimento supervisionato che tenta di prevedere con precisione una variabile target combinando un insieme di stime da un insieme di modelli più semplici e più deboli. La sua implementazione è disponibile negli algoritmi integrati di SageMaker.

La soluzione di classificazione dei pagamenti finanziari prevede quattro passaggi:

Prepara i dati.
Costruisci un negozio di funzionalità.
Crea e addestra un modello XGBoost.
Distribuisci un endpoint e valuta le prestazioni del modello.

Otteniamo il seguente output:

Un modello XGBoost addestrato basato sul nostro set di dati di esempio
Un endpoint SageMaker in grado di prevedere la categoria della transazione

Dopo aver eseguito questa soluzione, dovresti vedere un report di classificazione simile al seguente.

Le possibili applicazioni per la tua azienda includono quanto segue:

Varie applicazioni finanziarie nel settore bancario al dettaglio e di investimento
Quando le transazioni devono essere classificate in qualsiasi caso d'uso (non solo finanziario)

Previsione del tasso di abbandono per i clienti di telefonia mobile

Prevedere il tasso di abbandono dei clienti è un’esigenza aziendale molto comune. Numerosi studi dimostrano che il costo per mantenere un cliente esistente è molto inferiore rispetto all’acquisizione di un nuovo cliente. La sfida spesso deriva dalle aziende che hanno difficoltà a comprendere il motivo per cui un cliente abbandona o a costruire un modello che preveda l’abbandono.

In questo esempio, gli utenti che non conoscono il machine learning possono sperimentare come sviluppare rapidamente un modello di previsione del tasso di abbandono utilizzando un set di dati sulle transazioni di chiamate mobili. Questa soluzione utilizza SageMaker per addestrare e distribuire un modello XGBoost su un set di dati del profilo cliente per prevedere se è probabile che un cliente lasci un operatore di telefonia mobile.

Il set di dati utilizzato da questa soluzione è disponibile pubblicamente ed è menzionato nel libro Discovering Knowledge in Data di Daniel T. Larose. È attribuito dall'autore all'Irvine Repository of Machine Learning Datasets dell'Università della California.

Questo set di dati utilizza i seguenti 21 attributi per descrivere il profilo di un cliente di un operatore di telefonia mobile statunitense sconosciuto.

Stato: lo stato americano in cui risiede il cliente, indicato con una sigla di due lettere; ad esempio, OH o NJ
Durata account: il numero di giorni in cui questo account è stato attivo
Prefisso: il prefisso di tre cifre del numero di telefono del cliente corrispondente
Telefono: il restante numero di telefono di sette cifre
Piano Int'l: se il cliente ha un piano tariffario internazionale: sì/no
Piano VMail: se il cliente dispone di una funzione di posta vocale: sì/no
Messaggio VMail: il numero medio di messaggi di posta vocale al mese
Minuti giornalieri: il numero totale di minuti di chiamata utilizzati durante il giorno
Chiamate giornaliere: il numero totale di chiamate effettuate durante la giornata
Tariffa giornaliera: il costo fatturato delle chiamate diurne
Eve Mins, Eve Calls, Eve Charge: il costo fatturato per le chiamate effettuate durante la serata
Minuti notturni, Chiamate notturne, Addebito notturno: il costo fatturato per le chiamate effettuate durante la notte
Minuti internazionali, Chiamate internazionali, Addebito internazionale: il costo fatturato per le chiamate internazionali
Chiamate CustServ: il numero di chiamate effettuate al Servizio Clienti
Churn?: se il cliente ha abbandonato il servizio: vero/falso

Questa soluzione contiene tre fasi:

Prepara i dati.
Crea e addestra un modello XGBoost.
Distribuisci un endpoint e valuta le prestazioni del modello.

Otteniamo il seguente output:

Un modello XGBoost addestrato basato sul nostro set di dati di esempio per prevedere l'abbandono degli utenti
Un endpoint SageMaker in grado di prevedere l'abbandono degli utenti

Questo modello aiuta a stimare quanti dei 5,000 clienti di telefonia mobile probabilmente smetteranno di utilizzare il proprio attuale operatore di telefonia mobile.

Il grafico seguente mostra una distribuzione di probabilità del tasso di abbandono come risultato del modello.

Potresti applicarlo alla tua attività per i seguenti casi d'uso:

Prevedi il tasso di abbandono dei clienti nella tua attività
Classificare quali clienti possono aprire la tua email di marketing e chi no (classificazione binaria)
Prevedere quali studenti potrebbero abbandonare un corso

Pulisci risorse

Dopo aver eseguito una soluzione in JumpStart, assicurati di scegliere Elimina tutte le risorse quindi tutte le risorse che hai creato nel processo vengono eliminate e la fatturazione viene interrotta.

Sommario

Questo post ti ha mostrato come risolvere vari problemi aziendali applicando il machine learning, sulla base delle soluzioni JumpStart. Sebbene questo post si concentri sulle cinque nuove soluzioni aggiunte di recente a JumpStart, sono disponibili in totale 23 soluzioni. Ti invitiamo ad accedere a Studio e a esaminare tu stesso le soluzioni JumpStart e iniziare a trarne un valore immediato. Per ulteriori informazioni, fare riferimento a Amazon Sage Maker Studio ed SageMaker JumpStart.

Nota: se non vedi tutte le cinque soluzioni precedenti nella console JumpStart della tua regione AWS, attendi una settimana e controlla di nuovo. Li stiamo rilasciando in varie regioni in modo graduale.

Informazioni sugli autori

Il dottor Raju Penmatcha è un AI/ML Specialist Solutions Architect in piattaforme AI presso AWS. Lavora sulla suite di servizi low-code/no-code in SageMaker che aiuta i clienti a creare e distribuire facilmente modelli e soluzioni di machine learning. Quando non aiuta i clienti, gli piace viaggiare in posti nuovi.

Manan Shah è un responsabile dello sviluppo software presso Amazon Web Services. È un appassionato di ML e si concentra sulla creazione di prodotti AI/ML senza codice/a basso codice. Si sforza di consentire ad altre persone tecniche e di talento di creare ottimo software.