Notebook illustrativi in ​​Amazon SageMaker JumpStart

JumpStart di Amazon SageMaker è l'hub di Machine Learning (ML) di SageMaker che fornisce modelli preaddestrati e pubblicamente disponibili per un'ampia gamma di tipi di problemi per aiutarti a iniziare con il machine learning.

JumpStart offre anche notebook di esempio che utilizzano Amazon Sage Maker funzionalità come l'addestramento delle istanze spot e gli esperimenti su un'ampia varietà di tipi di modelli e casi d'uso. Questi notebook di esempio contengono codice che mostra come applicare soluzioni ML utilizzando SageMaker e JumpStart. Possono essere adattati per soddisfare le proprie esigenze e possono quindi accelerare lo sviluppo dell'applicazione.

Di recente, abbiamo aggiunto 10 nuovi notebook a JumpStart Amazon Sage Maker Studio. Questo post si concentra su questi nuovi taccuini. Al momento della stesura di questo documento, JumpStart offre 56 notebook, che vanno dall'utilizzo di modelli di elaborazione del linguaggio naturale (NLP) all'avanguardia alla correzione di bias nei set di dati durante l'addestramento dei modelli.

I 10 nuovi taccuini possono aiutarti nei seguenti modi:

• Offrono codice di esempio da eseguire così com'è dall'interfaccia utente JumpStart in Studio e vedere come funziona il codice
• Mostrano l'utilizzo di varie API SageMaker e JumpStart
• Offrono una soluzione tecnica che puoi personalizzare ulteriormente in base alle tue esigenze

Il numero di notebook offerti tramite JumpStart aumenta regolarmente man mano che vengono aggiunti altri notebook. Questi quaderni sono disponibili anche su github.

Panoramica sui taccuini

I 10 nuovi taccuini sono i seguenti:

• Apprendimento contestuale con AlexaTM 20B – Dimostra come utilizzare AlexaTM 20B per l'apprendimento contestuale con apprendimento zero-shot e few-shot su cinque attività di esempio: riepilogo del testo, generazione del linguaggio naturale, traduzione automatica, risposta a domande estrattive e inferenza e classificazione del linguaggio naturale.
• Studente lineare di equità in SageMaker – Recentemente ci sono state preoccupazioni circa i pregiudizi negli algoritmi ML a causa dell'imitazione dei pregiudizi umani esistenti. Questo notebook applica i concetti di equità per regolare le previsioni del modello in modo appropriato.
• Gestisci la sperimentazione ML utilizzando SageMaker Search – Amazon SageMaker Search ti consente di trovare e valutare rapidamente le esecuzioni di addestramento del modello più rilevanti da potenzialmente centinaia e migliaia di lavori di addestramento del modello SageMaker.
• Modello di argomento neurale SageMaker – SageMaker Neural Topic Model (NTM) è un algoritmo di apprendimento non supervisionato che tenta di descrivere un insieme di osservazioni come una combinazione di categorie distinte.
• Prevedi le violazioni della velocità di guida – L'algoritmo SageMaker DeepAR può essere utilizzato per addestrare un modello per più strade contemporaneamente e prevedere le violazioni per più telecamere stradali.
• Previsione del cancro al seno - Questo notebook utilizza il set di dati diagnostici sul cancro al seno dell'UCI per creare un modello predittivo del fatto che un'immagine della massa del seno indichi un tumore benigno o maligno.
• Previsioni di ensemble da più modelli – Combinando o calcolando la media delle previsioni da più fonti e modelli, in genere otteniamo una previsione migliore. Questo taccuino illustra questo concetto.
• Inferenza asincrona SageMaker – L'inferenza asincrona è una nuova opzione di inferenza per le esigenze di inferenza quasi in tempo reale. Le richieste possono richiedere fino a 15 minuti per l'elaborazione e hanno dimensioni di payload fino a 1 GB.
• TensorFlow porta il tuo modello – Scopri come addestrare un modello TensorFlow in locale e distribuirlo su SageMaker utilizzando questo notebook.
• Scikit-learn porta il tuo modello – Questo notebook mostra come utilizzare un modello Scikit-learn pre-addestrato con il contenitore SageMaker Scikit-learn per creare rapidamente un endpoint ospitato per quel modello.

Prerequisiti

Per utilizzare questi notebook, assicurati di avere accesso a Studio con un ruolo di esecuzione che ti consenta di eseguire la funzionalità SageMaker. Il breve video di seguito ti aiuterà a navigare verso i taccuini JumpStart.

Nelle sezioni seguenti, esaminiamo ciascuna delle 10 nuove soluzioni e discutiamo alcuni dei loro dettagli interessanti.

Apprendimento contestuale con AlexaTM 20B

AlexaTM 20B è un modello sequence-to-sequence (seq2seq) multitasking, multilingue e su larga scala, addestrato su una combinazione di dati Common Crawl (mC4) e Wikipedia in 12 lingue, utilizzando attività di denoising e Causal Language Modeling (CLM). Raggiunge prestazioni all'avanguardia su attività linguistiche contestuali comuni come il riepilogo one-shot e la traduzione automatica one-shot, superando i modelli solo decoder come GPT3 di Open AI e PaLM di Google, che sono oltre otto volte più grandi.

Apprendimento contestuale, noto anche come suggerimento, si riferisce a un metodo in cui si utilizza un modello PNL su una nuova attività senza doverlo perfezionare. Alcuni esempi di attività vengono forniti al modello solo come parte dell'input di inferenza, un paradigma noto come apprendimento contestuale in pochi colpi. In alcuni casi, il modello può funzionare bene senza alcun dato di addestramento, solo con una spiegazione di ciò che dovrebbe essere previsto. Questo è chiamato apprendimento nel contesto zero-shot.

Questo notebook dimostra come distribuire AlexaTM 20B tramite l'API JumpStart ed eseguire l'inferenza. Dimostra inoltre come AlexaTM 20B può essere utilizzato per l'apprendimento contestuale con cinque attività di esempio: riepilogo del testo, generazione del linguaggio naturale, traduzione automatica, risposta a domande estrattive e inferenza e classificazione del linguaggio naturale.

Il taccuino dimostra quanto segue:

• Riepilogo del testo one-shot, generazione del linguaggio naturale e traduzione automatica utilizzando un singolo esempio di formazione per ciascuna di queste attività
• Risposta a domande zero-shot e inferenza del linguaggio naturale più classificazione utilizzando il modello così com'è, senza la necessità di fornire esempi di formazione.

Prova a eseguire il tuo testo su questo modello e guarda come riassume il testo, estrae domande e risposte o traduce da una lingua all'altra.

Studente lineare di equità in SageMaker

Recentemente ci sono state preoccupazioni circa i pregiudizi negli algoritmi ML a causa dell'imitazione dei pregiudizi umani esistenti. Al giorno d'oggi, diversi metodi ML hanno forti implicazioni sociali, ad esempio vengono utilizzati per prevedere prestiti bancari, tassi assicurativi o pubblicità. Sfortunatamente, un algoritmo che impara dai dati storici erediterà naturalmente i pregiudizi del passato. Questo notebook presenta come superare questo problema utilizzando SageMaker e algoritmi equi nel contesto degli studenti lineari.

Inizia introducendo alcuni dei concetti e della matematica alla base dell'equità, quindi scarica i dati, addestra un modello e infine applica i concetti di equità per regolare le previsioni del modello in modo appropriato.

Il taccuino dimostra quanto segue:

• Esecuzione di un modello lineare standard sul set di dati per adulti dell'UCI.
• Mostrare ingiustizia nelle previsioni del modello
• Correggere i dati per rimuovere i bias
• Riqualificazione del modello

Prova a eseguire i tuoi dati utilizzando questo codice di esempio e rileva se sono presenti distorsioni. Dopodiché, prova a rimuovere i pregiudizi, se presenti, nel tuo set di dati utilizzando le funzioni fornite in questo notebook di esempio.

Gestisci la sperimentazione ML utilizzando SageMaker Search

SageMaker Search ti consente di trovare e valutare rapidamente le esecuzioni di addestramento del modello più rilevanti da potenzialmente centinaia e migliaia di lavori di addestramento del modello SageMaker. Lo sviluppo di un modello ML richiede una sperimentazione continua, il tentativo di nuovi algoritmi di apprendimento e l'ottimizzazione degli iperparametri, il tutto osservando l'impatto di tali modifiche sulle prestazioni e sull'accuratezza del modello. Questo esercizio iterativo porta spesso a un'esplosione di centinaia di esperimenti di addestramento del modello e versioni del modello, rallentando la convergenza e la scoperta di un modello vincente. Inoltre, l'esplosione di informazioni rende molto difficile tracciare il lignaggio di una versione del modello, la combinazione unica di set di dati, algoritmi e parametri che ha prodotto quel modello in primo luogo.

Questo taccuino mostra come utilizzare SageMaker Search per organizzare, monitorare e valutare in modo rapido e semplice i lavori di addestramento dei modelli su SageMaker. Puoi cercare tutti gli attributi di definizione dall'algoritmo di apprendimento utilizzato, le impostazioni degli iperparametri, i set di dati di addestramento utilizzati e persino i tag che hai aggiunto ai lavori di addestramento del modello. Puoi anche confrontare e classificare rapidamente le tue esecuzioni di addestramento in base alle relative metriche delle prestazioni, come la perdita di addestramento e l'accuratezza della convalida, creando così classifiche per identificare i modelli vincenti che possono essere distribuiti negli ambienti di produzione. SageMaker Search è in grado di risalire rapidamente alla discendenza completa di una versione del modello distribuita in un ambiente live, fino ai set di dati utilizzati per l'addestramento e la convalida del modello.

Il taccuino dimostra quanto segue:

• Training di un modello lineare tre volte
• Utilizzo di SageMaker Search per organizzare e valutare questi esperimenti
• Visualizzazione dei risultati in una classifica
• Distribuzione di un modello su un endpoint
• Tracciamento della discendenza del modello a partire dall'endpoint

Nel tuo sviluppo di modelli predittivi, potresti eseguire diversi esperimenti. Prova a utilizzare SageMaker Search in tali esperimenti e scopri come può aiutarti in diversi modi.

Modello di argomento neurale SageMaker

SageMaker Neural Topic Model (NTM) è un algoritmo di apprendimento non supervisionato che tenta di descrivere un insieme di osservazioni come una combinazione di categorie distinte. NTM è più comunemente usato per scoprire un numero specificato dall'utente di argomenti condivisi da documenti all'interno di un corpus di testo. Qui ogni osservazione è un documento, le caratteristiche sono la presenza (o il numero di occorrenze) di ogni parola e le categorie sono gli argomenti. Poiché il metodo non è supervisionato, gli argomenti non sono specificati in anticipo e non è garantito che siano allineati con il modo in cui un essere umano può classificare naturalmente i documenti. Gli argomenti vengono appresi come distribuzione di probabilità sulle parole che ricorrono in ciascun documento. Ogni documento, a sua volta, è descritto come una miscela di argomenti.

Questo notebook utilizza l'algoritmo SageMaker NTM per addestrare un modello sul set di dati 20NewsGroups. Questo set di dati è stato ampiamente utilizzato come benchmark per la modellazione degli argomenti.

Il taccuino dimostra quanto segue:

• Creazione di un processo di addestramento SageMaker su un set di dati per produrre un modello NTM
• Utilizzo del modello per eseguire l'inferenza con un endpoint SageMaker
• Esplorare il modello addestrato e visualizzare gli argomenti appresi

Puoi facilmente modificare questo taccuino per eseguirlo sui tuoi documenti di testo e dividerli in vari argomenti.

Prevedi le violazioni della velocità di guida

Questo taccuino dimostra la previsione delle serie temporali utilizzando l'algoritmo SageMaker DeepAR analizzando il set di dati sulla violazione degli autovelox della città di Chicago. Il set di dati è ospitato da Data.gov ed è gestito dalla US General Services Administration, Technology Transformation Service.

Queste violazioni vengono catturate dai sistemi di telecamere e sono disponibili per migliorare la vita del pubblico attraverso il portale dei dati della città di Chicago. Il set di dati sulla violazione degli autovelox può essere utilizzato per discernere i modelli nei dati e ottenere informazioni significative.

Il set di dati contiene più posizioni delle telecamere e conteggi giornalieri delle violazioni. Ogni numero di violazioni giornaliere per una telecamera può essere considerato una serie temporale separata. Puoi utilizzare l'algoritmo SageMaker DeepAR per addestrare un modello per più strade contemporaneamente e prevedere le violazioni per più telecamere stradali.

Il taccuino dimostra quanto segue:

• Addestramento dell'algoritmo SageMaker DeepAR sul set di dati di serie temporali utilizzando istanze spot
• Effettuare inferenze sul modello addestrato per effettuare previsioni di violazione del traffico

Con questo notebook, puoi imparare come risolvere i problemi delle serie temporali utilizzando l'algoritmo DeepAR in SageMaker e provare ad applicarlo ai tuoi set di dati delle serie temporali.

Previsione del cancro al seno

Questo taccuino prende un esempio per la previsione del cancro al seno utilizzando il set di dati diagnostici del cancro al seno dell'UCI. Utilizza questo set di dati per costruire un modello predittivo del fatto che un'immagine di massa mammaria indichi un tumore benigno o maligno.

Il taccuino dimostra quanto segue:

• Configurazione di base per l'utilizzo di SageMaker
• Conversione di set di dati nel formato Protobuf utilizzato dagli algoritmi SageMaker e caricamento in Servizio di archiviazione semplice Amazon (Amazon S3)
• Addestramento di un modello di apprendimento lineare SageMaker sul set di dati
• Hosting del modello addestrato
• Punteggio utilizzando il modello addestrato

Puoi consultare questo taccuino per scoprire come risolvere un problema aziendale utilizzando SageMaker e comprendere i passaggi necessari per l'addestramento e l'hosting di un modello.

Previsioni di ensemble da più modelli

Nelle applicazioni pratiche del machine learning su attività predittive, un modello spesso non è sufficiente. La maggior parte dei concorsi di previsione in genere richiede la combinazione di previsioni da più fonti per ottenere una previsione migliore. Combinando o calcolando la media delle previsioni da più fonti o modelli, in genere otteniamo una previsione migliore. Ciò accade perché c'è una notevole incertezza nella scelta del modello e non esiste un vero modello in molte applicazioni pratiche. Pertanto, è vantaggioso combinare le previsioni di diversi modelli. Nella letteratura bayesiana, questa idea è indicata come media del modello bayesiano e ha dimostrato di funzionare molto meglio della semplice scelta di un modello.

Questo taccuino presenta un esempio illustrativo per prevedere se una persona guadagna più di $ 50,000 all'anno in base a informazioni sulla sua istruzione, esperienza lavorativa, genere e altro.

Il taccuino dimostra quanto segue:

• Preparazione del notebook SageMaker
• Caricamento di un set di dati da Amazon S3 utilizzando SageMaker
• Indagare e trasformare i dati in modo che possano essere inviati agli algoritmi SageMaker
• Stima di un modello utilizzando l'algoritmo SageMaker XGBoost (Extreme Gradient Boosting).
• Hosting del modello su SageMaker per fare previsioni continue
• Stima di un secondo modello utilizzando il metodo di apprendimento lineare SageMaker
• Combinando le previsioni di entrambi i modelli e valutando la previsione combinata
• Generazione di previsioni finali sul set di dati di test

Prova a eseguire questo notebook sul tuo set di dati e a utilizzare più algoritmi. Prova a sperimentare varie combinazioni di modelli offerti da SageMaker e JumpStart e scopri quale combinazione di assemblaggio di modelli offre i migliori risultati sui tuoi dati.

Inferenza asincrona di SageMaker

L'inferenza asincrona di SageMaker è una nuova funzionalità di SageMaker che accoda le richieste in arrivo e le elabora in modo asincrono. SageMaker offre attualmente due opzioni di inferenza per consentire ai clienti di distribuire modelli ML: un'opzione in tempo reale per carichi di lavoro a bassa latenza e trasformazione in batch, un'opzione offline per elaborare le richieste di inferenza su batch di dati disponibili in anticipo. L'inferenza in tempo reale è adatta per carichi di lavoro con dimensioni del payload inferiori a 6 MB e richiede che le richieste di inferenza vengano elaborate entro 60 secondi. La trasformazione batch è adatta per l'inferenza offline su batch di dati.

L'inferenza asincrona è una nuova opzione di inferenza per le esigenze di inferenza quasi in tempo reale. Le richieste possono richiedere fino a 15 minuti per l'elaborazione e hanno dimensioni di payload fino a 1 GB. L'inferenza asincrona è adatta per i carichi di lavoro che non hanno requisiti di latenza inferiori al secondo e hanno requisiti di latenza rilassati. Ad esempio, potrebbe essere necessario elaborare un'inferenza su un'immagine di grandi dimensioni di diversi MB entro 5 minuti. Inoltre, gli endpoint di inferenza asincrona ti consentono di controllare i costi riducendo il numero di istanze dell'endpoint a zero quando sono inattive, quindi paghi solo quando gli endpoint elaborano le richieste.

Il taccuino dimostra quanto segue:

• Creazione di un modello SageMaker
• Creazione di un endpoint utilizzando questo modello e la configurazione dell'inferenza asincrona
• Effettuare previsioni rispetto a questo endpoint asincrono

Questo notebook mostra un esempio funzionante di creazione di un endpoint asincrono per un modello SageMaker.

TensorFlow porta il tuo modello

Un modello TensorFlow viene addestrato localmente su un'attività di classificazione in cui viene eseguito questo notebook. Quindi viene distribuito su un endpoint SageMaker.

Il taccuino dimostra quanto segue:

• Addestramento locale di un modello TensorFlow sul set di dati IRIS
• Importare quel modello in SageMaker
• Ospitandolo su un endpoint

Se disponi di modelli TensorFlow sviluppati da te, questo notebook di esempio può aiutarti a ospitare il tuo modello su un endpoint gestito SageMaker.

Scikit-learn porta il tuo modello

SageMaker include funzionalità per supportare un ambiente notebook ospitato, formazione distribuita, senza server e hosting in tempo reale. Funziona meglio quando tutti e tre questi servizi vengono utilizzati insieme, ma possono anche essere utilizzati indipendentemente. Alcuni casi d'uso potrebbero richiedere solo l'hosting. Forse il modello è stato addestrato prima che SageMaker esistesse, in un servizio diverso.

Il taccuino dimostra quanto segue:

• Utilizzo di un modello Scikit-learn pre-addestrato con il contenitore SageMaker Scikit-learn per creare rapidamente un endpoint ospitato per quel modello

Se disponi di modelli Scikit-learn sviluppati da te, questo notebook di esempio può aiutarti a ospitare il tuo modello su un endpoint gestito SageMaker.

Pulisci risorse

Dopo aver eseguito un notebook in JumpStart, assicurati di farlo Elimina tutte le risorse in modo che tutte le risorse create nel processo vengano eliminate e la fatturazione venga interrotta. L'ultima cella in questi notebook in genere elimina gli endpoint creati.

Sommario

Questo post ti ha illustrato 10 nuovi notebook di esempio aggiunti di recente a JumpStart. Sebbene questo post si concentri su questi 10 nuovi taccuini, ci sono un totale di 56 taccuini disponibili al momento della stesura di questo documento. Ti invitiamo ad accedere a Studio ed esplorare tu stesso i taccuini JumpStart e iniziare a trarne valore immediato. Per ulteriori informazioni, fare riferimento a Amazon Sage Maker Studio ed SageMaker JumpStart.

---

L'autore

Il dottor Raju Penmatcha è AI/ML Specialist Solutions Architect in piattaforme AI presso AWS. Ha conseguito il dottorato di ricerca presso la Stanford University. Lavora a stretto contatto sui servizi della suite low/no-code in SageMaker che aiutano i clienti a creare e distribuire facilmente modelli e soluzioni di machine learning.