AWS Deep Learning Challenge vede l'uso innovativo e di grande impatto delle istanze Amazon EC2 DL1

Nel Sfida di apprendimento profondo di AWS tenutosi dal 5 gennaio 2022 al 1 marzo 2022, i partecipanti del mondo accademico, delle startup e delle organizzazioni aziendali si sono uniti per testare le proprie competenze e formare un modello di deep learning a loro scelta utilizzando Cloud di calcolo elastico di Amazon (Amazon EC2) Istanze DL1 e SynapseAI SDK di Habana. Le istanze EC2 DL1 basate sugli acceleratori Gaudi di Habana Labs, una società Intel, sono progettate specificamente per l'addestramento di modelli di deep learning. I partecipanti sono stati in grado di realizzare i significativi vantaggi in termini di prezzo/prestazioni offerti da DL1 rispetto alle istanze basate su GPU.

Siamo lieti di annunciare i vincitori e mostrare alcuni dei modelli di machine learning (ML) che sono stati addestrati in questo hackathon. Imparerai alcuni dei casi d'uso del deep learning supportati dalle istanze EC2 DL1, tra cui la visione artificiale, l'elaborazione del linguaggio naturale e la modellazione acustica.

Modelli vincenti

Il nostro vincitore del primo posto è a progetto presentato da Gustavo Zomer. È un'implementazione del multilingua CLIP (Pre-formazione Linguaggio-Immagine Contrastante). CLIP è stato introdotto da OpenAI nel 2021 come un modo per addestrare un classificatore di immagini più generalizzabile su set di dati più grandi attraverso l'apprendimento auto-supervisionato. È addestrato su un ampio set di immagini con un'ampia varietà di supervisione del linguaggio naturale che è abbondantemente disponibile su Internet, ma è limitato alla lingua inglese. Questo progetto sostituisce il codificatore di testo in CLIP con un codificatore di testo multilingue chiamato XLM-RoBERTa per ampliare l'applicabilità del modello a più lingue. Questa implementazione modificata di CLIP è in grado di accoppiare immagini con didascalie in più lingue. Il modello è stato addestrato su 16 acceleratori in due istanze DL1, mostrando come l'addestramento ML può essere ridimensionato per utilizzare più acceleratori Gaudi su più nodi per aumentare il throughput dell'addestramento e ridurre i tempi di addestramento. I giudici sono rimasti colpiti dall'uso efficace del deep learning per abbattere le barriere linguistiche e dall'implementazione tecnica, che ha utilizzato la formazione distribuita.

Al secondo posto abbiamo a progetto presentato da Remco van Akker. Utilizza un GAN (Generative Adversarial Network) per generare dati di immagini retiniche sintetiche per applicazioni mediche. I dati sintetici vengono utilizzati nell'addestramento dei modelli nelle applicazioni mediche per superare la scarsità di dati medici annotati, la cui produzione è laboriosa e costosa. I dati sintetici possono essere utilizzati come parte dell'aumento dei dati per rimuovere i pregiudizi e rendere più generalizzabili i modelli di visione nelle applicazioni mediche. Questo progetto si è distinto perché ha implementato un modello generativo su DL1 per risolvere un problema del mondo reale che ha un impatto sull'applicazione di AI e ML in ambito sanitario.

A completare la nostra top tre c'era un progetto presentato da Zohar Jackson che ha implementato un modello di trasformatore di visione per la segmentazione semantica. Questo progetto usa la libreria Ray Tune per mettere a punto gli iperparametri e usa Horovod per parallelizzare l'addestramento su 16 acceleratori Gaudi su due istanze DL1.

Oltre ai primi tre vincitori, i partecipanti hanno vinto molti altri premi, tra cui la migliore implementazione tecnica, il massimo impatto potenziale e il progetto più creativo. Facciamo le nostre congratulazioni a tutti i vincitori di questo hackathon per aver creato un tale hackathon insieme diversificato di progetti di grande impatto su istanze EC2 DL1 basate sull'acceleratore Gaudi. Non vediamo l'ora di vedere cosa i nostri partecipanti continueranno a costruire sulle istanze DL1 in futuro.

Inizia con le istanze DL1

Come dimostrato dai vari progetti in questo hackathon, puoi utilizzare le istanze EC2 DL1 per addestrare modelli di deep learning per casi d'uso come l'elaborazione del linguaggio naturale, il rilevamento di oggetti e il riconoscimento di immagini. Con le istanze DL1, ottieni anche fino al 40% in più di rapporto prezzo/prestazioni per l'addestramento di modelli di deep learning rispetto alle istanze EC2 basate su GPU dell'attuale generazione. Visitare Istanze Amazon EC2 DL1 per ulteriori informazioni su come le istanze DL1 possono accelerare i carichi di lavoro di formazione.

Circa gli autori

Dvij Bajpai è Senior Product Manager presso AWS. Lavora allo sviluppo di istanze EC2 per carichi di lavoro nell'apprendimento automatico e nell'elaborazione ad alte prestazioni.

Amr Ragab è Principal Solutions Architect presso AWS. Fornisce una guida tecnica per aiutare i clienti a eseguire complessi carichi di lavoro computazionali su larga scala.

Shruti Koparkar è Senior Product Marketing Manager presso AWS. Aiuta i clienti a esplorare, valutare e adottare l'infrastruttura di elaborazione accelerata EC2 per le loro esigenze di machine learning.