Nuovo corso di approfondimento tecnico: fondamenti di intelligenza artificiale generativa su AWS

Ripubblicato da Platone

Seguaci: 0

Generative AI Foundations su AWS è un nuovo corso di approfondimento tecnico che fornisce i fondamenti concettuali, consigli pratici e indicazioni pratiche per pre-addestrare, perfezionare e distribuire modelli di base all'avanguardia su AWS e al di là. Sviluppato dalle fondazioni mondiali di IA generativa di AWS, Emily Webber, questo corso pratico gratuito e il codice sorgente GitHub di supporto sono stati lanciati tramite AWS Youtube. Se stai cercando una playlist curata delle migliori risorse, concetti e indicazioni per aggiornarti sui modelli di base, e in particolare su quelli che sbloccano le capacità generative nei tuoi progetti di data science e machine learning, non cercare oltre.

Durante questa immersione profonda di 8 ore, ti verranno presentate le tecniche, i servizi e le tendenze chiave che ti aiuteranno a comprendere i modelli fondamentali da zero. Ciò significa scomporre teoria, matematica e concetti astratti combinati con esercizi pratici per acquisire un'intuizione funzionale per l'applicazione pratica. Durante il corso, ci concentreremo su un ampio spettro di tecniche di intelligenza artificiale generativa progressivamente complesse, offrendoti una solida base per comprendere, progettare e applicare i tuoi modelli per ottenere le migliori prestazioni. Inizieremo ricapitolando i modelli di base, comprendendo da dove provengono, come funzionano, come si relazionano con l'intelligenza artificiale generativa e cosa puoi fare per personalizzarli. Imparerai quindi a scegliere il modello di fondazione più adatto al tuo caso d'uso.

Dopo aver sviluppato una forte comprensione contestuale dei modelli di fondazione e di come utilizzarli, verrai introdotto all'argomento principale di questo corso: la pre-formazione di nuovi modelli di fondazione. Imparerai perché vorresti farlo e come e dove è competitivo. Imparerai anche come utilizzare le leggi di ridimensionamento per scegliere il modello, il set di dati e le dimensioni di calcolo corretti. Tratteremo la preparazione di set di dati di addestramento su larga scala su AWS, inclusa la scelta delle istanze e delle tecniche di archiviazione giuste. Tratteremo la messa a punto dei modelli di base, la valutazione delle tecniche recenti e la comprensione di come eseguirli con i tuoi script e modelli. Ci immergeremo nell'apprendimento per rinforzo con feedback umano, esplorando come usarlo abilmente e su larga scala per massimizzare davvero le prestazioni del modello di base.

Infine, imparerai come applicare la teoria alla produzione distribuendo il tuo nuovo modello di base Amazon Sage Maker, anche su più GPU e utilizzando i migliori modelli di progettazione come il recupero della generazione aumentata e il dialogo concatenato. Come bonus aggiuntivo, ti guideremo attraverso un'analisi approfondita di Stable Diffusion, suggerimenti sulle migliori pratiche ingegneristiche, alzando LangChain e altro ancora.

Più un lettore che un consumatore di video? Puoi consultare il mio libro in 15 capitoli "Pretrain Vision and Large Language Models in Python: tecniche end-to-end per la creazione e la distribuzione di modelli di base su AWS", pubblicato il 31 maggio 2023 con la pubblicazione di Packt ed è ora disponibile su Amazon. Vuoi entrare subito nel codice? Sono con te: ogni video inizia con una panoramica di 45 minuti dei concetti chiave e delle immagini. Poi ti darò una panoramica di 15 minuti della parte pratica. Tutti i notebook di esempio e il codice di supporto verranno forniti in un repository pubblico, che puoi utilizzare per eseguire autonomamente le operazioni. Sentiti libero di contattarmi su Medium, LinkedIn, GitHubo tramite i tuoi team AWS. Impara di più riguardo IA generativa su AWS.

Sentieri felici!

Struttura del corso

1. Introduzione ai modelli di fondazione

Cosa sono i grandi modelli linguistici e come funzionano?
Da dove vengono?
Quali sono altri tipi di IA generativa?
Come si personalizza un modello di fondazione?
Come si valuta un modello generativo?
Esame pratico: modelli di base su SageMaker

Slide della lezione 1

Lezione 1 risorse dimostrative pratiche

2. Scegliere il giusto modello di fondazione

Perché iniziare con il giusto modello di base è importante
Considerando le dimensioni
Considerando la precisione
- Considerando la facilità d'uso
Considerando la licenza
Considerando gli esempi precedenti di questo modello che funziona bene nel tuo settore
- Considerando benchmark esterni

Slide della lezione 2

Lezione 2 risorse dimostrative pratiche

3. Utilizzo di modelli di fondazione preaddestrati: ingegneria tempestiva e messa a punto

I vantaggi di iniziare con un modello di fondazione pre-addestrato
Ingegneria rapida:
- Colpo zero
- Colpo singolo
- Pochi colpi
- Riassunto
  - Classificazione
- Traduzione
Ritocchi
- Classica messa a punto
- Ottimizzazione efficiente dei parametri
- La nuova libreria di Hugging Face
- Esame pratico: ingegneria rapida e messa a punto su SageMaker

Slide della lezione 3

Lezione 3 risorse dimostrative pratiche

4. Addestramento preliminare di un nuovo modello di fondazione

Perché vorresti o dovresti creare un nuovo modello di fondazione?
- Confronto tra preformazione e messa a punto
Preparazione del set di dati per il preaddestramento
Formazione distribuita su SageMaker: librerie, script, lavori, risorse
Perché e come adattare un nuovo script alla formazione distribuita di SageMaker

Slide della lezione 4

Lezione 4 risorse dimostrative pratiche

5. Preparazione dei dati e formazione su larga scala

Opzioni per la preparazione dei dati su larga scala su AWS
Spiegare il parallelismo dei processi di SageMaker sulle istanze della CPU
Spiegare le modalità di invio dei dati a SageMaker Training
Introduzione a FSx per Lustre
Utilizzo di FSx for Lustre su larga scala per SageMaker Training
Guida pratica: configurazione di Lustre per SageMaker Training

Slide della lezione 5

Lezione 5 risorse dimostrative pratiche

6. Apprendimento per rinforzo con feedback umano

Cos'è questa tecnica e perché ci interessa
Come aggira i problemi con la soggettività e l'obiettività classificando le preferenze umane su larga scala
Come funziona?
Come farlo con SageMaker Ground Truth
Modello di ricompensa aggiornato
Visita pratica: RLFH su SageMaker

Slide della lezione 6

Lezione 6 risorse dimostrative pratiche

7. Implementazione di un modello di base

Perché vogliamo distribuire i modelli?
Diverse opzioni per la distribuzione di FM su AWS
Come ottimizzare il modello per la distribuzione
Approfondimento del contenitore di distribuzione di modelli di grandi dimensioni
Principali suggerimenti di configurazione per la distribuzione di FM su SageMaker
Suggerimenti ingegneristici rapidi per richiamare i modelli di fondazione
Utilizzo della generazione aumentata di recupero per mitigare le allucinazioni
Guida pratica: distribuzione di un FM su SageMaker

Slide della lezione 7

Lezione 7 risorse dimostrative pratiche

Sommario

Generative AI Foundations su AWS è uno dei sette nuovi corsi AWS gratuiti e a basso costo disponibili per aiutarti a utilizzare l'intelligenza artificiale generativa per persone di tutti i ruoli e livelli di esperienza. Che tu sia un leader aziendale interessato a come l'intelligenza artificiale generativa può trasformare la tua azienda o uno sviluppatore che cerca di utilizzare l'intelligenza artificiale generativa per aumentare la tua produttività, offriamo corsi di formazione per aiutarti a sviluppare le tue conoscenze e abilità pratiche con i servizi di intelligenza artificiale generativa di Amazon. Trova la formazione più adatta al tuo livello di abilità e al tuo caso d'uso in questo post del blog: 7 corsi AWS gratuiti e a basso costo che possono aiutarti a utilizzare l'intelligenza artificiale generativa.

Circa l'autore

Emilia Webber si è unito ad AWS subito dopo il lancio di SageMaker e da allora ha cercato di parlarne al mondo! Oltre a creare nuove esperienze ML per i clienti, Emily ama meditare e studiare il buddismo tibetano.